Compartilhar via

Destinos de desempenho e escala do Azure Storage Mover

O desempenho de um serviço de migração de armazenamento é um aspecto fundamental para qualquer migração. Neste artigo, compartilhamos os resultados do teste de desempenho, no entanto, como o Azure Storage Mover é um novo serviço, sua experiência pode variar.

Escalonar metas

O Azure Storage Mover é testado com 500 milhões de itens de namespace (arquivos e pastas), migrados de uma fonte com suporte para um destino com suporte no Azure.

Como testamos

O Migrador de Armazenamento do Azure é um serviço de nuvem híbrida. Os serviços híbridos têm um componente de serviço de nuvem e um componente de infraestrutura que o administrador do serviço executa em seu ambiente corporativo. Para o Storage Mover, esse componente híbrido atua como um agente de migração. Os agentes são máquinas virtuais, executadas em um host próximo ao armazenamento de origem.

Um diagrama ilustrando o caminho de uma migração mostrando duas setas. A primeira seta representa dados que viajam para uma conta de armazenamento da origem ou do agente e uma segunda seta representa apenas as informações de gerenciamento ou controle para o recurso ou serviço do mover de armazenamento.

Somente o agente é uma parte relevante do serviço para teste de desempenho. Para omitir questões de privacidade e desempenho, os dados viajam diretamente do agente do Storage Mover para o armazenamento de destino no Azure. Somente as mensagens de controle e telemetria são enviadas para o serviço de nuvem.

Linhas de base de desempenho

Esses resultados de teste são criados em condições ideais. Eles são concebidos como um ponto de referência dos componentes que o serviço Storage Mover e seu agente podem influenciar diretamente. Diferenças em dispositivos de origem, discos e conexões de rede não são consideradas neste teste. O desempenho do mundo real varia.

A migração da montagem do SMB para os testes de compartilhamento de arquivos do Azure foi executada da seguinte maneira:

A tabela a seguir descreve as características dos ambientes de teste que produziram os resultados do teste de desempenho de uma montagem SMB para um compartilhamento de arquivos do Azure.

Teste nº. Não. de arquivos Peso total dos arquivos Tamanho do arquivo Estrutura de pastas
1 12 milhões 12 GB 1 KB cada 12 pastas, cada uma com 100 subpastas contendo 10.000 arquivos
2 30 20 GB 1 pasta
3 1 milhão 100 GB 100 KB cada 1.000 pastas, cada uma com 1.000 arquivos
4 1 4 TB
5 117 milhões 117 GB 1 KB cada 117 pastas, cada uma com 100 subpastas contendo 10.000 arquivos
6 1 1 TB
7 3,3 milhões 45 GB 13 KB cada 200.000 pastas, cada uma contém 16\17 arquivos
8 50 milhões 1 TB 20 KB cada 2.940.000 pastas, cada uma contém 17 arquivos
9 100 milhões 2 TB 20 KB cada 5.880.000 pastas, cada uma contém 17 arquivos

Diferentes configurações de recursos do agente são testadas em endpoints SMB.

  1. Minspec: 4 núcleos de CPU /8 GB de RAM 4 de CPU virtual a 2,7 GHz cada e 8 GiB de memória (RAM) é a especificação mínima para um agente do Azure Storage Mover.

    Teste nº. Tempo de execução Tempo de escaneamento
    6 16 min, 42 segundos 1,2 s
    7 55 min, 4 segundos 1 min, 17 segundos
    8
    9

  2. Bootspec: 8 núcleos virtuais de CPU a 2,7 GHz cada e 16 GiB de memória (RAM) é a especificação mínima para um agente do Azure Storage Mover.

    Resultados: Conta de armazenamento padrão

    Teste nº. Tempo de execução Tempo de escaneamento
    1 15 horas, 59 min 2 horas, 36 min, 34 segundos
    2 1 min, 54 segundos 3,34 s
    3 1 hora, 19 min, 27 segundos 57,62 s
    4 1 hora, 5 min, 57 segundos 2,89 s

    Resultados: conta de armazenamento padrão com arquivos grandes habilitados

    Teste nº. Tempo de execução Tempo de escaneamento
    1 3h, 51 min, 31 segundos 41 min e 45 segundos
    5 25 horas, 47 min 23 horas, 35 min
    6 11 min, 11 segundos 0,7 s
    7 55 min, 10 segundos 1 min, 3 segundos
    8
    9

    Resultados: conta de armazenamento Premium

    Teste nº. Tempo de execução Tempo de escaneamento
    1 2 horas, 35 min, 14 segundos 24 min, 46 segundos
    5 23 horas, 34 min 21 horas, 34 min

Examine os recursos de agente recomendados para o escopo de migração no artigo de implantação do agente.

Por que o desempenho da migração varia

Fundamentalmente, a qualidade da rede e a capacidade de processar arquivos, pastas e metadados afetam a velocidade de migração.

Entre as duas principais áreas de rede e computação, vários aspectos têm um impacto:

  • Cenário de migração
    Copiar para um destino vazio é mais rápido em comparação a um destino com conteúdo. Esse comportamento ocorre devido ao mecanismo de migração avaliar não apenas a origem, mas também o destino para tomar decisões de cópia.
  • Contagem de itens de namespace
    Migrar 1 GiB de arquivos pequenos leva mais tempo do que migrar 1 GiB de arquivos maiores.
  • Forma do namespace
    Uma hierarquia de pastas ampla se presta a um processamento mais paralelo do que uma estrutura de diretório estreita ou profunda. A proporção de arquivos para pastas também desempenha um papel.
  • Rotatividade de namespace
    Quantos arquivos, pastas e metadados são alterados entre duas execuções de cópia da mesma origem para o mesmo destino.
  • Rede
    • largura de banda e latência entre o agente de origem e migração
    • largura de banda e latência entre o agente de migração e o destino no Azure
  • Recursos do agente de migração
    A quantidade de memória (RAM), o número de núcleos de computação e até mesmo a quantidade de capacidade de disco local disponível no agente de migração podem ter um impacto profundo na velocidade de migração. Mais recursos de computação ajudam a otimizar a utilização da largura de banda disponível, especialmente quando grandes quantidades de arquivos menores precisam ser processadas em uma migração.

Por exemplo, uma migração tradicional requer uma estratégia para minimizar o tempo de inatividade da carga de trabalho que depende do armazenamento que deve ser migrado. O Azure Storage Mover dá suporte a essa estratégia, conhecida como migração convergente e n-pass.

Nessa estratégia, você copia da origem para o destino várias vezes. Durante essas iterações de cópia, a origem permanecerá disponível para leitura e gravação na carga de trabalho. Pouco antes da iteração de cópia final, você deixa a origem offline. Espera-se que a cópia final seja concluída mais rapidamente do que a primeira cópia que você fizer e leve cerca de tanto tempo quanto a que a precede imediatamente. Após a cópia final, a carga de trabalho passará por failover para usar o novo armazenamento de destino no Azure e ficará disponível para uso novamente.

Durante a primeira cópia da origem para o destino, o destino provavelmente estará vazio e todo o conteúdo de origem deverá trafegar para o destino. Como resultado, a primeira cópia provavelmente é mais restrita pelos recursos de rede disponíveis.

No final de uma migração, depois de copiar a origem para o destino várias vezes, apenas alguns arquivos, pastas e metadados são modificados após a última cópia. Nesta última iteração de cópia, comparar cada arquivo na origem e no destino para ver se ele precisa ser atualizado, requer mais recursos de computação e menos recursos de rede. As execuções de cópia neste estágio final de uma migração geralmente são mais limitadas por recursos computacionais. A alocação adequada de recursos para o agente do Storage Mover torna-se cada vez mais importante.

Próximas etapas

Os artigos a seguir podem ajudar com uma implantação bem-sucedida do Azure Storage Mover.

  • Last updated on