Partilhar via

Planeamento de migração para Azure Data Factory para Fabric Data Factory

O Microsoft Fabric reúne as ferramentas de análise da Microsoft numa única plataforma SaaS. Oferece fortes capacidades para orquestração de fluxos de trabalho, movimentação de dados, replicação e transformação em larga escala. O Fabric Data Factory oferece um ambiente SaaS que se baseia no PaaS do Azure Data Factory (ADF) através de melhorias na facilidade de utilização e funcionalidades adicionais, tornando o Fabric Data Factory a modernização perfeita das suas soluções de integração de dados existentes.

Este guia mostra-lhe estratégias, considerações e abordagens de migração para o ajudar a passar do Azure Data Factory para o Fabric Data Factory.

Porquê migrar?

Migrar dos pipelines ADF e Synapse para o Fabric Data Factory é mais do que uma simples mudança de controlo: é uma oportunidade para simplificar a governação, padronizar padrões e usar as funcionalidades avançadas do Fabric Data Factory para melhorar a sua estratégia de integração de dados.

O tecido oferece muitas novidades, incluindo:

Para uma comparação detalhada, consulte o guia de comparação Azure Data Factory e Fabric Data Factory.

Considerações antes da migração

Migrar do Azure Data Factory (ADF) para o Fabric Data Factory envolve várias considerações fundamentais. Aqui está o que deve ter em conta:

  • Pipelines complexos e conectores personalizados: Estes podem exigir ajustes manuais para funcionar no novo ambiente.
  • Runtimes de integração: Os runtimes legados podem necessitar de refatoração para alinhar-se à arquitetura do Fabric.
  • Diferenças no fluxo de dados: Os fluxos de dados de mapeamento ADF usam transformações baseadas em Spark, enquanto o Fabric Dataflow Gen2 opera de forma diferente e pode necessitar de reestruturação.
  • Segurança e redes: Rever identidade gerida, endpoints privados e configurações de gateway. Volte a testar estas definições e atualize as permissões conforme necessário.
  • Testes e validação: Garantir que os pipelines migrados produzem resultados precisos, cumprem os SLAs e cumprem os requisitos. Utilize estruturas de teste robustas para comparações objetivas.

Para enfrentar estes desafios, siga estas melhores práticas:

  1. Faça um inventário detalhado dos ativos. Identificar duplicados, itens não utilizados e dependências.
  2. Utilize a ferramenta de avaliação de migração e analise a paridade de conectores e de atividade para identificar e mapear precocemente lacunas nas funcionalidades.
  3. Considere usar scripts automatizados e ferramentas de parceiros para migração em massa.
  4. Mantenha documentação detalhada e planos de recuo.
  5. Envolva as partes interessadas ao longo de todo o processo.
  6. Execute migrações incrementais para minimizar o risco.
  7. Use scripts de validação baseados em IA para acelerar a resolução de problemas.

Caminhos de migração

Os caminhos de migração dependem dos seus ativos ADF e da sua equivalência de funcionalidades. As opções incluem:

Itens do Azure Data Factory no seu espaço de trabalho do Fabric

Adicionar um ADF existente ao seu espaço de trabalho do Fabric dá-lhe visibilidade e governação imediatas enquanto migra de forma incremental. É ideal para descoberta, atribuição de propriedade e testes lado a lado porque as equipas podem ver pipelines, organizá-los em workspaces do Fabric e planear cutovers por domínio. Use itens do Azure Data Factory para catalogar o que existe, priorize primeiro os pipelines de maior valor/menor risco e estabeleça convenções (nomeação, pastas, reutilização de ligações) que os seus scripts de conversão e ferramentas parceiras possam seguir consistentemente.

A montagem no Fabric é realizada através do tipo de item do Azure Data Factory: Integre o seu Azure Data Factory no Fabric.

Usar a ferramenta de atualização do PowerShell

A Microsoft oferece uma utilidade de migração de ADF para Fabric no módulo Azure PowerShell. Ao usar o módulo, pode traduzir um grande subconjunto do ADF JSON (pipelines, atividades, parâmetros) para definições nativas do Fabric, dando-lhe um ponto de partida rápido. Espere uma forte cobertura para padrões de Cópia/Pesquisa/Procedimento Armazenado e fluxo de controlo, com acompanhamento manual para casos extremos (conectores personalizados, expressões complexas, certos construtos de fluxo de dados). Trate a saída do script como um scaffold: execute-a em lotes, aplique verificações de estilo de código/lint, depois anexe ligações e corrija quaisquer incompatibilidades de propriedades. Constrói isto numa execução de CI repetível para poderes iterar à medida que aprendes, em vez de editares manualmente cada pipeline.

Para um guia completo, consulte migração do PowerShell. Para um tutorial detalhado com exemplos, veja o tutorial de migração do PowerShell.

Migração manual

A migração manual é necessária para pipelines complexos com baixa paridade, mas também é uma oportunidade para modernizar a sua arquitetura e adotar as funcionalidades integradas do Fabric. Este caminho requer mais planeamento e desenvolvimento antecipado, mas pode trazer benefícios a longo prazo em manutenção, desempenho e custo.

Para migrar eficazmente, considere estes passos:

  1. Avaliar e inventariar: Catalogar todos os ativos do ADF, incluindo pipelines, conjuntos de dados, serviços ligados e runtimes de integração. Identificar dependências e padrões de utilização.
  2. Identifique duplicados e itens não utilizados: Limpe itens não utilizados ou redundantes no ADF para agilizar a migração e o ambiente de integração de dados.
  3. Identificar lacunas: Utilize a ferramenta de avaliação de migração e reveja a paridade dos conectores e a paridade de atividade para identificar lacunas entre os seus pipelines ADF e Fabric, e planeie alternativas.
  4. Revise novas funcionalidades: Use o nosso guia de decisão sobre movimentação de dados e o guia de decisão de integração de dados para decidir quais as ferramentas Fabric que funcionarão melhor para as suas necessidades.
  5. Plano: Revise as melhores práticas de migração para considerar cada um dos seus itens e as orientações para tirar o máximo partido das capacidades melhoradas da Fabric.
  6. Transição ADF: Considere adicionar um item Azure Data Factory no Microsoft Fabric como primeiro passo na migração, permitindo uma transição gradual numa única plataforma.
  7. Priorize: Classifique os seus pipelines com base no impacto no negócio, complexidade e facilidade de migração.
  8. Automatize sempre que puder: Para todos os pipelines de baixa complexidade, considere usar a ferramenta de atualização do PowerShell para automatizar alguma migração.
  9. Considere ferramentas: Use estas ferramentas para facilitar a recreação:
    • Use modelos Fabric como ponto de partida para pipelines com cenários comuns de integração de dados.
    • Usar parametrização para criar pipelines reutilizáveis
    • Utilize o Copilot na Fabric Data Factory para ajudar na criação de pipeline
    • Utilizar pipelines de implementação para CI/CD e controlo de versões
  10. Migração manual: Para cenários não suportados por outros métodos de migração, reconstrua-os no Fabric:
    1. Recriar ligações: Configurar ligações no Fabric para substituir os Serviços Ligados no ADF
    2. Recriar atividades: Configure as suas atividades nos seus pipelines, substituindo atividades não suportadas por alternativas do Fabric ou usando a atividade Invoke do pipeline
    3. Programe e defina os gatilhos: Reconstrua horários e gatilhos de eventos no Fabric para corresponder aos seus horários ADF
  11. Teste completamente: Valide pipelines migrados com resultados esperados, benchmarks de desempenho e requisitos de conformidade.

Exemplos de cenários de migração

A transição de ADF para Fabric pode envolver diferentes estratégias dependendo do seu caso de uso. Esta seção descreve caminhos de migração comuns e considerações para ajudá-lo a planejar com eficiência.

Cenário 1: Pipelines e fluxos de dados do ADF

Modernize o seu ambiente ETL movendo pipelines e fluxos de dados para o Fabric. Planeje estes elementos:

  • Recriar Serviços Ligados como Conexões
  • Definir as propriedades do conjunto de dados diretamente nas atividades do pipeline
  • Substituir os SHIRs (runtimes de integração auto-hospedados) por OPDGs (gateways de dados no local) e os IRs VNet por Gateways de Dados de Rede Virtual
  • Recrie atividades do ADF sem suporte usando alternativas de malha ou a atividade de pipeline Invoke. As atividades não apoiadas incluem:
    • Data Lake Analytics (U-SQL), um serviço Azure obsoleto
    • Atividade de validação, que pode ser reconstruída usando Get Metadata, ciclos de pipeline e atividades If
    • Power Query, que está totalmente integrado no Fabric como fluxos de dados onde o código M pode ser reutilizado
    • As atividades Notebook, Jar e Python podem ser substituídas pela atividade Databricks no Fabric
    • As atividades Hive, Pig, MapReduce, Spark e Streaming podem ser substituídas pela atividade HDInsight no Fabric

Por exemplo, aqui está a página de configuração do conjunto de dados ADF, com o seu caminho de ficheiro e definições de compressão:

Captura de ecrã da página de configuração do conjunto de dados ADF.

E aqui está uma atividade de Cópia para o Data Factory no Fabric, onde a compressão e o caminho do ficheiro estão integrados na atividade.

Captura de ecrã da configuração de compressão da atividade Fabric Copy.

Cenário 2: ADF com CDC, SSIS e fluxo de ar

Recrie CDC como Copiar itens de trabalho . Para Airflow, copie seus DAGs para a oferta Apache Airflow da Fabric. Execute pacotes SSIS usando pipelines do ADF e chame-os do Fabric.

Cenário 3: Migração do PowerShell

Utilize o módulo PowerShell Microsoft.FabricPipelineUpgrade para migrar os seus pipelines do Azure Data Factory para Fabric. Esta abordagem funciona bem para automatizar a migração de pipelines, atividades e parâmetros em grande escala. O módulo PowerShell traduz um grande subconjunto do ADF JSON em definições nativas de Fabric, proporcionando um ponto de partida rápido para a migração.

Para orientações detalhadas, consulte o tutorial de migração do PowerShell.

Cenário 4: Itens do ADF num espaço de trabalho do Fabric

Podes adicionar uma fábrica inteira de ADF num espaço de trabalho Fabric como item nativo. Isso permite gerenciar fábricas do ADF ao lado de artefatos de malha dentro da mesma interface. A interface do usuário do ADF permanece totalmente acessível, permitindo que você monitore, gerencie e edite seus itens de fábrica do ADF diretamente do espaço de trabalho do Fabric. No entanto, a execução de pipelines, atividades e tempos de execução de integração ainda ocorre em seus recursos do Azure.

Esta funcionalidade é útil para organizações que estão a transitar para o Fabric, pois proporciona uma visão unificada tanto dos recursos do ADF como do Fabric, simplificando a gestão e o planeamento da migração.

Para mais informações, consulte Traga a sua Azure Data Factory para o Fabric.

Conteúdo relacionado

  • Last updated on