Planeamento de migração: de pools SQL dedicados do Azure Synapse Analytics para o Fabric Data Warehouse

Aplica-se a:✅ Armazém de Dados no Microsoft Fabric

Este artigo detalha a estratégia, as considerações e os métodos de migração de data warehousing nos pools SQL dedicados do Azure Synapse Analytics para o Microsoft Fabric Warehouse.

Introdução à migração

Como a Microsoft apresentou o Microsoft Fabric, uma solução de análise SaaS tudo-em-um para empresas que oferece um conjunto abrangente de serviços, incluindo Data Factory, Engenharia de Dados, Data Warehousing, Ciência de Dados, Inteligência em Tempo Real e Power BI.

Este artigo se concentra em opções para migração de esquema (DDL), migração de código de banco de dados (DML) e migração de dados. A Microsoft oferece várias opções, e aqui discutimos cada opção em detalhes e fornecemos orientação sobre qual dessas opções você deve considerar para o seu cenário. Este artigo usa o benchmark do setor TPC-DS para ilustração e testes de desempenho. Seu resultado real pode variar dependendo de muitos fatores, incluindo tipo de dados, tipos de dados, largura das tabelas, latência da fonte de dados, etc.

Prepare para a migração

Planeje cuidadosamente seu projeto de migração antes de começar e certifique-se de que seu esquema, código e dados sejam compatíveis com o Fabric Warehouse. Existem algumas limitações que você precisa considerar. Quantifique o trabalho de refatoração dos itens incompatíveis, bem como quaisquer outros recursos necessários antes da entrega da migração.

Outro objetivo importante do planejamento é ajustar seu design para garantir que sua solução aproveite ao máximo o alto desempenho de consulta que o Fabric Warehouse foi projetado para fornecer. Projetar armazéns de dados para escala introduz padrões de design exclusivos, de modo que as abordagens tradicionais nem sempre são as melhores. Analise as diretrizes de desempenho, pois embora alguns ajustes de design possam ser feitos após a migração, fazer alterações no início do processo economizará tempo e esforço. A migração de uma tecnologia/ambiente para outro é sempre um grande esforço.

O diagrama a seguir mostra o Ciclo de Vida da Migração listando os principais pilares que consistem em Avaliar e Avaliar, Planejar e Projetar, Migrar, Monitorar e Governar, Otimizar e Modernizar os pilares com as tarefas associadas em cada pilar para planejar e preparar a migração suave.

Manual de Procedimentos para migração

Considere as seguintes atividades como um guia de planejamento para a sua migração de pools SQL dedicados do Synapse para o Fabric Warehouse.

1. Analisar e Avaliar
   1. Identificar objetivos e motivações. Estabeleça resultados claros desejados.
   2. Descobrir, avaliar e estabelecer a linha de base da arquitetura existente.
   3. Identificar as principais partes interessadas e patrocinadores.
   4. Delimite o escopo do que deve ser migrado.
      1. Comece pequeno e simples, prepare-se para várias pequenas migrações.
      2. Comece a acompanhar e documentar todas as etapas do processo.
      3. Crie um inventário de dados e processos para migração.
      4. Defina as alterações do modelo de dados (se houver).
      5. Configure o ambiente de trabalho Fabric.
   5. Quais são as suas competências ou preferências?
      1. Automatize sempre que possível.
      2. Use as ferramentas e os recursos internos do Azure para reduzir o esforço de migração.
   6. Treine a equipe logo no início da nova plataforma.
      1. Identifique as necessidades de aperfeiçoamento e os ativos de treinamento, incluindo o Microsoft Learn.
2. Planejar e projetar
   1. Defina a arquitetura desejada.
   2. Selecione o método/ferramentas para a migração para realizar as seguintes tarefas:
      1. Extração de dados da fonte.
      2. Conversão de esquema (DDL), incluindo metadados para tabelas e exibições
      3. Ingestão de dados, incluindo dados históricos.
         1. Se necessário, reprojete o modelo de dados usando o novo desempenho e escalabilidade da plataforma.
      4. Migração de código de banco de dados (DML).
         1. Migre ou refatore procedimentos armazenados e processos de negócios.
   3. Inventarie e extraia os recursos de segurança e as permissões de objeto da fonte.
   4. Projetar e planejar a substituição/modificação de processos ETL/ELT existentes para carga incremental.
      1. Crie processos ETL/ELT paralelos para o novo ambiente.
   5. Prepare um plano de migração detalhado.
      1. Mapeie o estado atual para o novo estado desejado.
3. Migrar
   1. Execute a migração de esquema, dados e código.
      1. Extração de dados da fonte.
      2. Conversão de esquema (DDL)
      3. Ingestão de dados
      4. Migração de código de banco de dados (DML).
   2. Se necessário, dimensione temporariamente os recursos dedicados do pool SQL para acelerar a migração.
   3. Aplique segurança e permissões.
   4. Migre os processos de ETL/ELT existentes para carga incremental.
      1. Migre ou refatore os processos ETL/ELT de carga incremental.
      2. Teste e compare processos de incrementação de carga em paralelo.
   5. Adapte o plano de migração detalhado conforme necessário.
4. Monitorar e governar
   1. Execute em paralelo, compare com seu ambiente de origem.
      1. Teste aplicativos, plataformas de business intelligence e ferramentas de consulta.
      2. Avalie e otimize o desempenho da consulta.
      3. Monitore e gerencie custos, segurança e desempenho.
   2. Avaliação e benchmark de governança.
5. Otimizar e modernizar
   1. Quando a empresa estiver confortável, faça a transição de aplicativos e plataformas de relatórios principais para o Fabric.
      1. Aumente ou diminua os recursos à medida que a carga de trabalho muda do Azure Synapse Analytics para o Microsoft Fabric.
      2. Crie um modelo repetível a partir da experiência adquirida para migrações futuras. Iterar.
      3. Identificar oportunidades de otimização de custos, segurança, escalabilidade e excelência operacional
      4. Identifique oportunidades para modernizar seu patrimônio de dados com os recursos mais recentes do Fabric.

'Migrar e adaptar' ou modernizar?

Em geral, há dois tipos de cenários de migração, independentemente da finalidade e do escopo da migração planeada: levantamento e mudança tal como está, ou uma abordagem em fases que incorpora alterações de arquitetura e código.

Migração de elevação e transferência

Numa migração lift and shift, um modelo de dados existente é migrado com pequenas alterações para o novo Fabric Warehouse. Essa abordagem minimiza o risco e o tempo de migração, reduzindo o novo trabalho necessário para obter os benefícios da migração.

A migração lift-and-shift é adequada para estes cenários:

• Você tem um ambiente existente com um pequeno número de data marts para migrar.
• Você tem um ambiente existente com dados que já estão em um esquema de estrela ou floco de neve bem elaborado.
• Você está sob pressão de tempo e de custos para se mudar para o Fabric Warehouse.

Em resumo, esta abordagem funciona bem para as cargas de trabalho que estão otimizadas com o seu ambiente atual de pools SQL dedicados Synapse e, portanto, não requer grandes alterações no Fabric.

Modernize-se em uma abordagem faseada com mudanças arquitetônicas

Se um data warehouse herdado tiver evoluído durante um longo período de tempo, talvez seja necessário reprojetá-lo para manter os níveis de desempenho necessários.

Você também pode querer redesenhar a arquitetura para aproveitar os novos mecanismos e recursos disponíveis no Fabric Workspace.

Diferenças de design: pools SQL dedicados do Synapse e Fabric Warehouse

Considere as seguintes diferenças de armazenamento de dados do Azure Synapse e do Microsoft Fabric, comparando pools SQL dedicados com o Fabric Warehouse.

Considerações sobre a tabela

Quando você migra tabelas entre ambientes diferentes, normalmente apenas os dados brutos e os metadados são migrados fisicamente. Outros elementos de banco de dados do sistema de origem, como índices, geralmente não são migrados porque podem ser desnecessários ou implementados de forma diferente no novo ambiente.

As otimizações de desempenho no ambiente de origem, como índices, indicam onde você pode adicionar otimização de desempenho em um novo ambiente, mas agora o Fabric cuida disso automaticamente para você.

Considerações sobre o T-SQL

Há várias diferenças de sintaxe DML (Data Manipulation Language) a serem observadas. Consulte a área de superfície do T-SQL no Fabric Data Warehouse. Considere também uma avaliação de código ao escolher o(s) método(s) de migração para o código do banco de dados (DML).

Dependendo das diferenças de paridade no momento da migração, talvez seja necessário reescrever partes do código DML do T-SQL.

Diferenças de mapeamento de tipo de dados

Há várias diferenças de tipo de dados no Fabric Warehouse. Para obter mais informações, consulte Tipos de dados no Microsoft Fabric.

A tabela abaixo apresenta o mapeamento dos tipos de dados suportados dos pools SQL dedicados do Synapse para o Fabric Warehouse.

* Datetime2 não armazena as informações adicionais de deslocamento de fuso horário que são armazenadas em outro lugar. Como o tipo de dados datetimeoffset não é atualmente suportado no Fabric Warehouse, os dados de deslocamento de fuso horário precisariam ser extraídos em uma coluna separada.

Conteúdos relacionados

• Criar um depósito no Microsoft Fabric
• Diretrizes de desempenho do Fabric Data Warehouse
• Segurança para armazenamento de dados no Microsoft Fabric
• Blog: Mapeando pools SQL dedicados do Azure Synapse para computação de data warehouse do Fabric
• Visão geral da migração do Microsoft Fabric