Visão geral da migração de fita do Armazenamento do Azure

Este artigo se concentra em migrações de fita. O objetivo é simplificar, fornecer orientação e considerações para executar uma migração bem-sucedida de dados armazenados em várias mídias de fita para os serviços de armazenamento do Azure.

Descrição geral

A fita armazena uma grande parte dos dados mundiais e continua sendo um dos tipos dominantes de mídia de armazenamento. A mídia de fita existe há décadas e ainda é muito usada com centenas de exabytes de novas fitas enviadas todos os anos.

As fitas são um ótimo meio para armazenar dados frios. Eles são rápidos na leitura sequencial, mas os estágios que exigem movimentos mecânicos (como carga e descarga de fitas, busca de fitas, etc.) são mais lentos. Isso torna as fitas inutilizáveis para acesso tradicional e aleatório e é a principal razão pela qual ainda hoje os dados armazenados em fitas raramente são usados. Além disso, a fita é um meio magnético que requer um manuseio especial. Eles são sensíveis ao ambiente, particularmente à temperatura e à umidade. Se mantidos dentro de sua faixa ambiental operacional, eles podem alcançar alta durabilidade e boa taxa de sucesso de restauração. No entanto, quando mantida em um ambiente hostil, a deterioração acontece com frequência e torna a fita ilegível.

Grandes porções de fitas armazenam dados escuros (dados que são criados e armazenados, mas não usados para qualquer finalidade). Dados obscuros não trazem valor para o proprietário dos dados. Com o aumento da capacidade de IA e acessibilidade, a tendência está mudando. Os clientes estão analisando como os dados escuros podem ajudá-los a aumentar a eficiência, abrir novos fluxos de receita ou aumentar sua vantagem competitiva. Para aproveitar os dados escuros, muitas organizações estão considerando migrar os dados de fitas para o armazenamento em nuvem. O armazenamento em nuvem fornece uma maneira fácil de analisar os dados, extrair valor comercial (com serviços como IA, Machine Learning, Azure Search, etc.) ou reduzir custos aproveitando o armazenamento de arquivamento para retenção de longo prazo.

Algumas das principais razões pelas quais estamos vendo um aumento nas migrações de fita para nuvem são:

• Extraindo valor comercial de dados obscuros,
• Reduzir o esforço necessário para gerenciar dados com retenção de longo prazo,
• Evite o processo de migração de uma geração de fita para outra,
• Reduzir o risco de perda de dados, especialmente para gerações mais antigas de fitas,
• Substitua as instalações externas de armazenamento em fita,
• Simplifique os processos de recuperação de desastres,
• Aplicação de ferramentas modernas como IA e ML a dados históricos.

Considerações

Antes do início de um processo de migração de fita, as opções devem ser cuidadosamente consideradas. A primeira consideração é decidir quem executa a migração. Duas opções são comumente usadas:

• O cliente realizou a migração onde o cliente executa a migração de ponta a ponta,
• Parceiro de migração de fitas em que o cliente envia as fitas para o parceiro e o parceiro executa o processo de migração.

Várias considerações importantes podem facilmente orientar nossa decisão sobre quem pode executar a migração, cliente ou parceiro.

Recursos

Os recursos são a parte mais crítica do processo de migração de fita e os dividimos nas seguintes categorias:

O hardware é geralmente a parte mais desafiadora. Se estivermos migrando gerações de fitas existentes, o hardware estará disponível, mas será usado como parte da produção existente. Mas, para as gerações mais antigas de fitas, o hardware geralmente está em fim de vida útil e é mais difícil de adquirir. Com a geração de fitas mais antiga, o uso de um parceiro de migração de fitas é uma opção preferida e mais simples. Quando o hardware de produção é usado para migrações, é necessário um planejamento cuidadoso para garantir que a migração não interfira com as cargas de trabalho de produção. Aqui podemos aplicar três modelos diferentes:

1. Use hardware dedicado para migração: modelo de migração mais simples, fácil de agendar e planejar sem impacto na produção. Ele adiciona custo para adquirir o hardware (se ainda não estiver disponível) e causa uma baixa utilização de hardware após a migração.
2. Execute a migração fora do horário de expediente no hardware de produção: modelo de migração sem impacto na produção. Requer agendamento complexo, execução e pessoas trabalhando fora do expediente. Só é possível se o hardware de produção não for utilizado 24 horas por dia, 7 dias por semana.
3. Execute a produção e a migração juntas: o modelo de migração menos preferido, pois pode facilmente afetar a produção. Esse modelo reduz o hardware disponível para produção, requer programação e planejamento complexos. Se esse modelo for usado, os processos em torno da redução do impacto na produção são críticos para manter o cronograma de migração sob controle. Este modelo é recomendado apenas quando o hardware de produção tem baixa utilização.

Opções de transferência de dados

Depois que os dados são lidos de fitas, eles precisam ser movidos para o Armazenamento do Azure. Os dados podem ser movidos usando a rede ou dispositivos offline, como o Azure Data Box. Alguns dos parâmetros que estão afetando a escolha para opções de transferência de dados são:

• Largura de banda de rede disponível
• Cronograma necessário para concluir a migração
• Frequência das alterações de dados

Saiba mais sobre as orientações para selecionar a opção ideal aqui. A transferência de rede é uma opção mais simples e preferida. A combinação de rede e método offline também é possível, mas requer mais planejamento para garantir que os dados migrados não se sobreponham.

Se não houver recursos disponíveis para executar a migração, independentemente do tipo de recurso, nossa única opção é usar um parceiro de migração de fita. Nesse caso, podemos escolher entre duas opções:

1. Migração realizada no local do cliente: o parceiro de migração de fita envia o hardware, contrata pessoas e executa o trabalho no local do cliente. O cliente precisa fornecer acesso às fitas, espaço dedicado para o equipamento, conexões de rede e acesso ao serviço de Armazenamento do Azure. O parceiro é responsável por todas as outras atividades.
2. Migração realizada no site do parceiro: o cliente envia as fitas para o parceiro e fornece acesso ao serviço de Armazenamento do Azure. O parceiro de migração de fitas executa todo o trabalho para migrar os dados das fitas para o Armazenamento do Azure.

A segunda opção é mais fácil e mais comumente usada. Os parceiros de migração de fita têm instalações projetadas e equipadas para executar a migração de fita em grande escala. Essa opção também reduz o risco e o cronograma, já que os parceiros têm mais recursos de hardware disponíveis. A execução da migração no site do cliente é usada somente quando questões de segurança e privacidade não permitem que o cliente envie as fitas para o parceiro.

Vários parceiros podem executar migrações de fita para o Azure. A lista completa de parceiros pode ser encontrada em importação de mídia offline.

Aqui está um fluxograma simples para facilitar o processo de seleção.

Formato dos dados

O formato de dados tem um grande impacto no design da migração e é a consideração crítica para a usabilidade futura dos dados. Os dados podem ser armazenados em um formato proprietário ou nativo. Formatos proprietários são comumente armazenados como fitas virtuais. O formato nativo requer a restauração de arquivos de fitas e o armazenamento como arquivos ou objetos.

O principal critério para decidir o formato é a forma como planeamos utilizar os dados. Se os dados forem migrados apenas para retenção de longo prazo, as fitas virtuais serão uma ótima opção. Em qualquer outro caso, armazenar dados em formato nativo é uma opção preferida. Ele permite o uso simples de dados no futuro e abre muitas possibilidades com a análise de dados.

Processo de migração

Depois de tomarmos decisões sobre a execução da migração e o formato de dados preferido, podemos começar com a migração. A migração passa por várias fases.

Fase de informação

A fase de informação é fundamental para a recolha dos principais requisitos. As informações recolhidas orientam o projeto e o planeamento corretos. Mesmo que algumas informações possam ser atualizadas em etapas posteriores, fornecer informações precisas define o cenário e evita a necessidade de fazer grandes mudanças no processo. Algumas das principais perguntas que esta fase precisa responder são:

• Que tipo de fitas precisam ser migradas (por exemplo, LTO3, LTO6, 3592JC, etc.)?
• Que quantidade de fitas para cada modelo que precisam ser migradas (por exemplo, 100xLTO3, 200xLTO6, etc.)?
• Qual software foi usado para gravar os dados em fitas, esse software ainda está disponível?
• Qual é o formato usado para gravar os dados em fitas, o formato é aberto, ou proprietário, é aplicada a compressão?
• Foi utilizada encriptação e, em caso afirmativo, qual é a opção mais segura para trocar chaves de encriptação?
• Qual é a região-alvo?
• Qual serviço de armazenamento é usado?
• Que requisitos regulamentares são críticos (HIPAA, RGPD, etc.)? A cadeia de custódia é obrigatória?
• Qual é o prazo de migração? Existem marcos críticos?
• Quanta largura de banda de rede está disponível para migração?
• Onde as fitas são fisicamente armazenadas e podem ser enviadas?
• Você já tem valores de hash para todos os arquivos? Em caso afirmativo, que algoritmo de hash é utilizado?
• As fitas são necessárias após a migração?
• Como manter a temperatura e humidade das fitas durante a migração/transporte?
• Quem são os principais interessados?

Fase de preparação

Depois de reunirmos informações básicas, podemos nos preparar para a migração. A fase de preparação pode incluir muitas etapas diferentes, mas há algumas etapas comuns pelas quais a maioria das migrações passa:

1. A análise de dados fornece informações sobre os dados que precisam ser migrados. As informações são essenciais para estimar a rapidez com que os dados podem ser lidos das fitas e quanto paralelismo precisamos alcançar para concluir com sucesso a migração antes do prazo. Isso afeta as estimativas sobre o hardware necessário (bibliotecas, robôs, drives). A análise de dados é feita por amostragem de várias fitas que representam o conjunto de dados a ser migrado. As informações típicas que procuramos são:

   • tamanhos de ficheiros,
   • quantidade de dados armazenados por fita,
   • número de arquivos por fita,
   • tamanhos mínimo e máximo de ficheiros,
   • tipos de ficheiros.

2. A qualidade dos dados ajuda a estimar o conjunto de dados final e exclusivo que precisa ser migrado. Um dos problemas mais comuns com a migração de fita é a duplicação de dados. A migração de fita é o momento ideal para limpar dados duplicados. Esse processo melhora a qualidade dos dados para uso futuro, reduz os custos e a duração da migração.

3. A priorização de dados determina a ordem na qual os dados podem ser migrados. Idealmente, queremos obter streaming direto de cada fita em vez de ler aleatoriamente arquivos de fitas diferentes (para evitar carregamento, descarregamento e buscas constantes). Essa abordagem alcança a maior taxa de transferência possível e é sempre o caminho de migração mais rápido. A priorização de dados exige requisitos de negócios e viabilidade técnica para alcançar os melhores resultados.

4. O design da migração inclui todos os aspetos técnicos da migração e as informações coletadas para formar um processo de migração final. É um documento escrito que se torna fonte de verdade para as etapas restantes. Deve conter, pelo menos:

   • processo de migração claro e prazo de migração,
   • requisitos de hardware e pessoal,
   • infraestrutura e conceção de redes,
   • considerações de segurança,
   • como lidar com fitas ilegíveis,
   • papéis, responsabilidades, etc.

Fase de migração

Assim que o design de migração for final, iniciaremos o processo de migração. Antes de acelerar para o ritmo total de migração, sempre realizamos um teste com uma amostra menor. O objetivo do teste é garantir que o processo de ponta a ponta funcione. Isso nos permite fazer ajustes e melhorar o processo. Assim que o teste for bem-sucedido e estivermos satisfeitos com os resultados, executaremos a migração. A fase de migração é ligeiramente diferente se usarmos arquivos nativos versus fitas virtuais. Em ambos os casos, é um processo repetitivo que circula por todas as fitas e lê todo o seu conteúdo. Este fluxograma mostra a fase de migração ao migrar para arquivos nativos.

Validação de dados

Para cada arquivo que migramos, precisamos executar a validação de dados para garantir que os dados não foram corrompidos durante o processo de migração. A validação de dados é feita comparando valores de hash antes e depois da migração. Existem muitos tipos de algoritmos de hash que podem ser usados. Uma abordagem comum é usar MD5, pois o Armazenamento do Azure contém um campo de metadados predefinido Content-MD5 que pode ser preenchido durante a migração. Essa abordagem permite verificar o mesmo valor MD5 quando acessamos os dados para validar que os dados não foram alterados ou corrompidos. Na situação ideal, os dados de origem já contêm valores de hash que podem ser facilmente comparados aos valores de hash pós-migração. Se os hashes não existirem, eles deverão ser calculados antes que o arquivo seja migrado. Se os hashes corresponderem, o arquivo será marcado como migrado. Caso contrário, o arquivo é descartado e migrado novamente. Às vezes, os dados estão corrompidos nas fitas de origem. Ter os valores de hash originais ajuda a capturar esses casos raros. Caso ocorram, podemos ler os dados da cópia secundária, caso exista. O processo de validação de dados é um componente crítico para um projeto de migração. O processo para lidar com a validação com falha deve ser definido. A fase de migração também é constantemente monitorizada para garantir que podemos reagir a situações imprevisíveis e adaptar-nos a ela. A apresentação regular de relatórios às principais partes interessadas é importante para manter a migração no bom caminho.

Fase pós-migração

Após a migração, ainda há algumas etapas que precisamos considerar antes de fechar com êxito o projeto de migração. Precisamos descartar o hardware usado para a migração, se não for mais necessário. A questão mais importante é como descartar as fitas. A eliminação de fitas é um processo de duas etapas. Se as fitas estiverem a armazenar informações sensíveis e confidenciais (e normalmente estão), elas devem ser desmagnetizadas primeiro. Degaussing garante que todos os dados sejam excluídos magneticamente da mídia. Após a exclusão, as fitas precisam ser devidamente destruídas e recicladas. Se usarmos um parceiro de migração de fitas, também podemos permitir que o parceiro descarte as fitas com segurança.

Próximos passos

• Visão geral do Armazenamento do Azure
• Importação de mídia offline do Azure
• Comparar as opções de transferência de dados
• Visão geral da migração de armazenamento