Migração​ PlanejamentoMigrar pools de SQL dedicados do Azure Synapse Analytics para o Data Warehouse do Fabric

Aplica-se a:✅ Warehouse no Microsoft Fabric

Este artigo detalha a estratégia, as considerações e os métodos de migração do armazenamento de dados nos pools de SQL dedicados do Azure Synapse Analytics para o Microsoft Fabric Warehouse.

Introdução à migração

Como a Microsoft introduziu o Microsoft Fabric, uma solução de análise de SaaS completa para empresas que oferece um conjunto abrangente de serviços, incluindo Data Factory, Engenharia de Dados, Data Warehousing, Ciência de Dados, Inteligência em Tempo Real e Power BI.

Este artigo se concentra nas opções de migração de esquema (DDL), migração de código de banco de dados (DML) e migração de dados. A Microsoft oferece várias opções e aqui discutimos cada opção em detalhes e fornecemos diretrizes sobre quais dessas opções você deve considerar para seu cenário. Este artigo usa o parâmetro de comparação do setor TPC-DS para ilustração e teste de desempenho. Seu resultado real pode variar dependendo de muitos fatores, incluindo tipo de dados, tipos de dados, largura de tabelas, latência da fonte de dados etc.

Preparar para a migração

Planeje cuidadosamente seu projeto de migração antes de começar e verifique se o esquema, o código e os dados são compatíveis com o Fabric Warehouse. Há algumas limitações que você precisa considerar. Quantifique o trabalho de refatoração dos itens incompatíveis, bem como todos os outros recursos necessários antes da entrega da migração.

Outra meta importante do planejamento é ajustar o design para que a sua solução aproveite ao máximo o alto desempenho de consulta que o Fabric Warehouse oferece. O design de data warehouses para larga escala apresenta padrões de design diferentes. Portanto, as abordagens tradicionais nem sempre são as melhores. Examine as diretrizes de desempenho, pois embora alguns ajustes de design possam ser feitos após a migração, fazer alterações anteriores no processo economizará tempo e esforço. A migração de uma tecnologia/ambiente para outro é sempre um grande esforço.

O diagrama a seguir mostra o Ciclo de Vida de Migração listando os principais pilares que consistem nos pilares Analisar e Avaliar, Planejar e Projetar, Migrar, Monitorar e Controlar, Otimizar e Modernizar com as tarefas associadas em cada pilar para planejar e se preparar para a migração tranquila.

Manual de procedimentos para migração

Considere as seguintes atividades como um guia de execução para o planejamento da migração de pools de SQL dedicados do Synapse para o Fabric Warehouse.

1. Analisar e Avaliar
   1. Identifique objetivos e motivações. Estabeleça resultados claros desejados.
   2. Descoberta, avaliação e linha de base da arquitetura existente.
   3. Identifique os principais stakeholders e patrocinadores.
   4. Defina o escopo do que deve ser migrado.
      1. Comece pequeno e simples, prepare-se para várias migrações pequenas.
      2. Monitore e documente todas as fases do processo.
      3. Compilar o inventário de dados e processos para migração.
      4. Definir alterações de modelo de dados (se houver).
      5. Configure o espaço de trabalho do Fabric.
   5. Qual o seu conjunto de habilidades/preferência?
      1. Automatize sempre que possível.
      2. Use ferramentas e recursos internos do Azure para reduzir o esforço de migração.
   6. Treine a equipe antecipadamente na nova plataforma.
      1. Identifique as necessidades de qualificação e os ativos de treinamento, incluindo o Microsoft Learn.
2. Planejar e Projetar
   1. Defina a arquitetura desejada.
   2. Selecione o método/ferramentas para a migração para realizar as seguintes tarefas:
      1. Extração de dados da origem.
      2. Conversão de esquema (DDL), incluindo metadados para tabelas e exibições
      3. Ingestão de dados, incluindo dados históricos.
         1. Refaça a engenharia do modelo de dados, se preciso (usando o novo desempenho e a escalabilidade da plataforma).
      4. Migração de código de banco de dados (DML).
         1. Migre ou refatore os processos de negócios e procedimentos armazenados.
   3. Inventariar e extrair os recursos de segurança e as permissões de objeto da origem.
   4. Projete e planeje substituir/modificar processos ETL/ELT existentes para carga incremental.
      1. Crie processos ETL/ELT paralelos para o novo ambiente.
   5. Prepare um plano de migração detalhado.
      1. Mapeie o estado atual para o novo estado desejado.
3. Migrar
   1. Execute a migração de esquema, dados e código.
      1. Extração de dados da origem.
      2. Conversão de esquema (DDL)
      3. Ingestão de dados
      4. Migração de código de banco de dados (DML).
   2. Se necessário, dimensione temporariamente os recursos dedicados do pool de SQL para ajudar na velocidade de migração.
   3. Aplique segurança e permissões.
   4. Migrar processos ETL/ELT existentes para carga incremental.
      1. Migre ou refatore os processos de carga incremental de ETL/ELT.
      2. Teste e compare processos de carga de incremento paralelos.
   5. Adaptar o plano de migração detalhado conforme necessário.
4. Monitorar e Controlar
   1. Execute em paralelo, compare com seu ambiente de origem.
      1. Teste aplicativos, plataformas de business intelligence e ferramentas de consulta.
      2. Crie um parâmetro de comparação e otimize o desempenho da consulta.
      3. Monitore e gerencie custo, segurança e desempenho.
   2. Parâmetro de comparação de governança e avaliação.
5. Otimizar e Modernizar
   1. Quando a empresa estiver confortável, faça a transição de aplicativos e das principais plataformas de relatórios para o Fabric.
      1. Dimensione os recursos para cima/para baixo à medida que a carga de trabalho se desloca do Azure Synapse Analytics para o Microsoft Fabric.
      2. Crie um modelo repetível com base na experiência obtida para migrações futuras. Iterar.
      3. Identificar oportunidades de otimização de custos, segurança, escalabilidade e excelência operacional
      4. Identifique oportunidades para modernizar seu patrimônio de dados com os recursos mais recentes do Fabric.

'Lift-and-shift' ou modernizar?

Em geral, há dois tipos de cenários de migração, independentemente do objetivo e do escopo da migração planejada: Lift-and-shift como está ou uma abordagem gradual que incorpora alterações de arquitetura e código.

Lift-and-shift

Em uma migração de lift-and-shift, um modelo de dados existente é migrado com pequenas alterações para o novo Fabric Warehouse. Essa abordagem minimiza o risco e o tempo de migração, reduzindo o novo trabalho necessário para alcançar os benefícios da migração.

A migração lift-and-shift é uma boa opção para estes cenários:

• Você tem um ambiente existente com um pequeno número de data marts para migrar.
• Você tem um ambiente existente com dados que já estão em um esquema estrela ou floco de neve bem projetado.
• Você está sob pressão de custo e tempo para se mudar para o Fabric Warehouse.

Em resumo, essa abordagem funciona bem para cargas de trabalho otimizadas com o ambiente atual de pools de SQL dedicados do Synapse e, portanto, não requer grandes alterações no Fabric.

Modernizar em uma abordagem em fases com alterações arquitetônicas

Se um data warehouse herdado estiver em evolução há um longo período, talvez seja necessário refazer sua engenharia para manter os níveis de desempenho necessários.

Talvez você também queira reprojetar a arquitetura para aproveitar os novos mecanismos e recursos disponíveis no espaço de trabalho do Fabric.

Diferenças de design: pools de SQL dedicados do Synapse e Fabric Warehouse

Considere as seguintes diferenças de armazenamento de dados do Azure Synapse e do Microsoft Fabric, comparando pools de SQL dedicados com o Fabric Warehouse.

Considerações sobre tabela

Ao migrar tabelas entre ambientes diferentes, normalmente só é possível migrar fisicamente dados brutos e os metadados. Outros elementos de banco de dados do sistema de origem, como índices, geralmente não são migrados porque podem ser desnecessários ou implementados de forma diferente no novo ambiente.

As otimizações de desempenho no ambiente de origem, como índices, indicam onde você pode adicionar otimização de desempenho em um novo ambiente, mas agora o Fabric cuida disso automaticamente para você.

Considerações do T-SQL

Há várias diferenças de sintaxe de DML (linguagem de manipulação de dados) a serem observadas. Consulte a superfície do T-SQL no Fabric Data Warehouse. Considere, também, uma avaliação de código ao escolher métodos de migração para o código de banco de dados (DML).

Dependendo das diferenças de paridade no momento da migração, talvez seja necessário reescrever partes do código DML do T-SQL.

Diferenças de mapeamento de tipo de dados

Há várias diferenças de tipo de dados no Fabric Warehouse. Para obter mais informações, consulte Tipos de dados no Microsoft Fabric.

A tabela a seguir fornece o mapeamento dos tipos de dados suportados pelos pools de SQL dedicados do Synapse para o Fabric Warehouse.

* Datetime2 não armazena as informações extra de deslocamento de fuso horário armazenadas. Como, atualmente, não há suporte para o tipo de dados datetimeoffset no Fabric Warehouse, os dados de deslocamento de fuso horário precisariam ser extraídos em uma coluna separada.

Conteúdo relacionado

• Criar um Armazém de dados no Microsoft Fabric
• Diretrizes de desempenho do Data Warehouse do Fabric
• Segurança para armazenamento de dados no Microsoft Fabric
• Blog: Mapeando pools de SQL dedicados do Azure Synapse à computação de data warehouse do Fabric
• Visão geral da migração do Microsoft Fabric