Data transfer for large datasets with moderate to high network bandwidth (Transferência de dados para conjuntos de dados grandes com largura de banda de rede moderada ou alta)

Este artigo fornece uma visão geral das soluções de transferência de dados quando você tem largura de banda de rede moderada a alta em seu ambiente e planeja transferir grandes conjuntos de dados. O artigo também descreve as opções de transferência de dados recomendadas e a respetiva matriz de capacidade chave para este cenário.

Para entender uma visão geral de todas as opções de transferência de dados disponíveis, vá para Escolher uma solução de transferência de dados do Azure.

Descrição do cenário

Grandes conjuntos de dados referem-se a tamanhos de dados na ordem de TBs para PBs. Largura de banda de rede moderada a alta refere-se a 100 Mbps a 10 Gbps.

Opções recomendadas

As opções recomendadas neste cenário dependem do facto de ter largura de banda de rede moderada ou alta.

Largura de banda de rede moderada (100 Mbps - 1 Gbps)

Com largura de banda de rede moderada, você precisa projetar o tempo para a transferência de dados pela rede.

Use a tabela a seguir para estimar o tempo e, com base nisso, escolha entre uma transferência offline ou pela transferência de rede. A tabela mostra o tempo projetado para a transferência de dados de rede, para várias larguras de banda de rede disponíveis (assumindo 90% utilização).

• Se a transferência de rede for projetada para ser muito lenta, você deve usar um dispositivo físico. As opções recomendadas nesse caso são os dispositivos de transferência offline da família Azure Data Box ou o Azure Import/Export usando seus próprios discos.

  • Família Azure Data Box para transferências offline – Use dispositivos de dispositivos Data Box fornecidos pela Microsoft para mover grandes quantidades de dados para o Azure quando estiver limitado por tempo, disponibilidade de rede ou custos. Copie dados no local com ferramentas como o Robocopy. Conforme o tamanho dos dados que se pretende transferir, escolha entre Data Box Disk, Data Box ou Data Box Heavy.
  • Azure Import/Export – Use o serviço Azure Import/Export enviando suas próprias unidades de disco para importar com segurança grandes quantidades de dados para o armazenamento de Blob do Azure e Arquivos do Azure. Este serviço também pode ser utilizado para transferir dados do Armazenamento de blobs do Azure para unidades de disco rígido e enviar para as suas instalações locais.

• Se a transferência de rede é projetada para ser razoável, então você pode usar qualquer uma das seguintes ferramentas detalhadas em Alta largura de banda de rede.

Largura de banda de rede alta (1 Gbps - 100 Gbps)

Se a largura de banda de rede disponível for alta, use uma das seguintes ferramentas.

• AzCopy - Use esta ferramenta de linha de comando para copiar facilmente dados de e para o armazenamento de Blobs, Arquivos e Tabela do Azure com desempenho ideal. O AzCopy suporta simultaneidade e paralelismo, além da capacidade de retomar operações de cópia interrompidas.
• APIs/SDKs REST do Armazenamento do Azure – Ao criar um aplicativo, você pode desenvolver o aplicativo em relação às APIs REST do Armazenamento do Azure e usar os SDKs do Azure oferecidos em vários idiomas.
• Família Azure Data Box para transferências online – Azure Stack Edge e Data Box Gateway são dispositivos de rede online que podem mover dados para dentro e para fora do Azure. Use o dispositivo físico Azure Stack Edge quando houver uma necessidade simultânea de ingestão contínua e pré-processamento dos dados antes do carregamento. O Data Box Gateway é uma versão virtual do dispositivo com as mesmas capacidades de transferência de dados. Em ambos os casos, a transferência de dados é gerida pelo dispositivo.
• Azure Data Factory – O Data Factory deve ser usado para dimensionar uma operação de transferência e se houver necessidade de recursos de orquestração e monitoramento de nível empresarial. Utilize o Data Factory para transferir regularmente ficheiros entre vários serviços do Azure, no local ou uma combinação dos dois. Com o Data Factory, pode criar e agendar fluxos de trabalho condicionados por dados (denominados pipelines) que ingerem dados a partir de diferentes arquivos de dados e automatizam o movimento e a transformação de dados.

Comparação das principais capacidades

As tabelas a seguir resumem as diferenças nos principais recursos para as opções recomendadas.

Largura de banda de rede moderada

Se estiver usando a transferência de dados offline, use a tabela a seguir para entender as diferenças nos principais recursos.

* Data Box Disk não suporta grandes compartilhamentos de arquivos e não preserva metadados de arquivos

Se estiver usando a transferência de dados on-line, use a tabela na seção a seguir para alta largura de banda de rede.

Alta largura de banda de rede

Próximos passos

• Saiba como transferir dados com Importar/Exportar.

• Entenda como:

  • Transfira dados com o Data Box Disk.
  • Transfira dados com o Data Box.
  • Transfira dados com o AzCopy.
  • Transfira dados com o Data Box Gateway.
  • Transforme dados com o Azure Stack Edge antes de enviar para o Azure.

• Saiba como transferir dados com o Azure Data Factory.

• Utilize as APIs REST para transferir dados.

  • Em .NET
  • Em Java