Partilhar via

Práticas recomendadas de migração do Azure Data Factory para o Fabric Data Factory

O Microsoft Fabric unifica as ferramentas de análise da Microsoft em uma única plataforma SaaS, oferecendo recursos robustos para orquestração de fluxo de trabalho, movimentação de dados, replicação e transformação em escala. O Fabric Data Factory baseia-se no Azure Data Factory (ADF), tornando-o uma escolha ideal para modernizar soluções de integração de dados.

Este guia explora estratégias, considerações e abordagens de migração para ajudá-lo a atualizar do Azure Data Factory para o Fabric Data Factory.

Considerações antes da migração

Antes de migrar, avalie o que reutilizar, traduzir ou redesenhar. Siga estas etapas para garantir uma transição suave:

  1. Identifique padrões de autenticação, como identidade gerenciada ou autenticação baseada em chave.
  2. Analise os requisitos da rede, incluindo pontos finais privados e gateways.
  3. Mapeie o agendamento e acione a semântica e alinhe as configurações de monitoramento e alerta.
  4. Compare os recursos do ADF com seus homólogos do Fabric, observando quaisquer lacunas, como SSIS ou fluxos de dados.
  5. Defina metas não funcionais, como SLAs, taxa de transferência, limites de custo e observabilidade.
  6. Crie um cenário de teste com conjuntos de dados de exemplo e saídas esperadas para comparar objetivamente as execuções do ADF e do Fabric.
  7. Planeje a rotação de segredos, convenções de nomenclatura e taxonomia de espaço de trabalho para que sua migração melhore — e não apenas reproduza — sua estratégia atual de integração de dados.

Uma abordagem em fases com planos de validação e reversão lado a lado minimiza o risco e, ao mesmo tempo, permite uma execução mais rápida, monitoramento centralizado e integração mais profunda com o Microsoft Fabric.

Para migrações grandes, considere trabalhar com parceiros certificados da Microsoft ou com sua equipe de conta da Microsoft para obter orientação.

Conexões, serviços vinculados e conjuntos de dados

No Azure Data Factory (ADF), serviços vinculados e conjuntos de dados definem conexões e estruturas de dados. No Fabric, eles são mapeados para conexões e configurações de atividade, com um foco mais forte na reutilização no nível do espaço de trabalho e na identidade gerenciada. Veja como adaptar seus ativos do ADF:

  1. Revise a continuidade do conector entre o Azure Data Factory e o Fabric para confirmar o suporte para suas fontes de dados e coletores.
  2. Consolide conexões redundantes para simplificar o gerenciamento.
  3. Adote a identidade gerenciada para autenticação segura e consistente.
  4. Padronize a parametrização de pastas e tabelas usando convenções de nomenclatura claras, por exemplo: conn-sql-warehouse-sales ou ds-lh-raw-orders.

Para garantir consistência e escalabilidade, documente completamente cada origem e destino com:

  • Proprietários
  • Níveis de sensibilidade
  • Configurações de nova tentativa

Esta documentação ajuda a padronizar operações através de pipelines e melhora a governação.

Tempos de execução de integração e OPDG, gateway de rede virtual

O Azure Data Factory (ADF) usa IRs (Integration Runtimes) para definir recursos de computação para processamento de dados. Estes são, entre outros:

  • IRs na nuvem para computação hospedada no Azure.
  • IRs auto-hospedados (SHIRs) para fontes locais ou em rede privada.
  • IRs SSIS para SQL Server Integration Services.
  • IRs habilitados para VNet para conectividade de rede segura.

No Fabric, eles são mapeados para as opções de execução em nuvem, Gateway de Dados Local (OPDG) e Gateway de Dados de Rede Virtual . Veja como planejar sua migração:

  1. Identifique pipelines que dependem de SHIRs e planeje seu mapeamento de gateway e dimensionamento de taxa de transferência.
  2. Valide DNS, saída, regras de firewall e autenticação para cada conector.
  3. Ensaie cenários de failover para garantir a confiabilidade.
  4. Quando possível, migre para pontos de extremidade privados ou gateways de dados de rede virtual para simplificar as revisões de segurança e reduzir a sobrecarga operacional.

Fabric simplifica a gestão de computação usando recursos na nuvem dentro de suas capacidades do Fabric. Os IRs SSIS não estão disponíveis no Fabric. Para conectividade local, use o Gateway de Dados Local (OPDG). Para uma conectividade de rede segura, utilize o Gateway de Dados da Rede Virtual.

Ao migrar:

  • Os IRs do Azure de rede pública não precisam ser movidos.
  • Reconstrua SHIRs como OPDGs.
  • Substitua IRs do Azure habilitados para VNet por Gateways de Dados de Rede Virtual.

Diferenças na atividade do pipeline

Todas as atividades principais no Azure Data Factory (ADF), como Cópia, Pesquisa, Procedimento Armazenado/Script SQL, Web e Fluxo de Controle, têm equivalentes diretos na Malha. No entanto, existem algumas diferenças nas propriedades, sintaxe da expressão e limites. Ao migrar, analise o seguinte:

  • Políticas de reintento e tempos limite.
  • Configurações de paginação para fontes REST.
  • Configurações de cópia binária versus tabular.
  • Foreach e padrões de filtros.
  • Variáveis de sistema utilizadas em conteúdo dinâmico.

O Fabric geralmente fornece mais opções nativas para determinadas tarefas. Por exemplo, use o Script SQL num armazém em vez de uma chamada genérica de procedimento armazenado para melhor rastreabilidade e monitorização. Para simplificar a migração, centralize expressões comuns como caminhos, datas e URIs específicos do inquilino em parâmetros de pipeline. Isso reduz o desvio e acelera os testes.

Para obter mais informações, consulte Continuidade de atividade entre o Azure Data Factory e o Fabric.

Diferenças de fluxo de dados

Os Fluxos de Dados de Mapeamento do Azure Data Factory (ADF) não são mapeados diretamente para o Fabric. Em vez disso, normalmente será necessário reelaborá-los usando uma das seguintes opções:

  • Dataflow Gen2 para transformações de conjunto de linhas e transformações de baixo código controladas.
  • Fabric Warehouse SQL para tarefas ELT baseadas em conjunto, como operações MERGE ou ELT próximas ao ambiente de dados.
  • Notebooks Spark para transformações avançadas, lógica complexa ou processamento em larga escala.

Ao migrar, valide o seguinte:

  • Tipos de dados e manipulação nula.
  • Chaves substitutas e dimensões que mudam lentamente.
  • Padrões de ELT idempotentes, como staging e MERGE, para garantir execuções repetidas previsíveis.

Para cenários de migração, consulte Migrar do Dataflow Gen1 para o Dataflow Gen2.

Parâmetros globais no Azure Data Factory

O Fabric utiliza Bibliotecas de Variáveis ao nível do espaço de trabalho para definir constantes dos itens do Fabric. Ao migrar para o Microsoft Fabric Data Factory, terá de converter os parâmetros globais do Azure Data Factory em bibliotecas variáveis.

Para orientações completas de conversão, consulte Converter Parâmetros Globais ADF para Bibliotecas de Variáveis de Tecido.

Ofertas de parceiros do Azure Marketplace

Parceiros de migração confiáveis, como a Bitwise Global, fornecem ferramentas para ajudar na sua migração. Estas ferramentas podem:

  • Analise seu ambiente do Azure Data Factory (ADF).
  • Gere artefatos do Fabric alvo.
  • Execute análise de impacto e rastreamento de linhagem.
  • Crie planos de teste automatizados.

Estas soluções são especialmente úteis se tiver:

  • Centenas de gasodutos.
  • Conectores diversos.
  • Requisitos rigorosos de tempo de inatividade.

As ferramentas de parceiros padronizam regras de mapeamento, geram relatórios de conversão e executam testes de validação paralelos. Isso permite que você compare contagens de linhas, somas de verificação e desempenho entre seus ambientes antigos e novos. Mesmo que você não use um parceiro para toda a migração, seus módulos de descoberta e avaliação podem ajudá-lo a iniciar seu planejamento interno e reduzir incertezas.

Use ferramentas de IA

Grandes modelos de linguagem (LLMs) como Microsoft Copilot, ChatGPT e Claude podem acelerar as tarefas de migração. Estas ferramentas são úteis para:

  • Refatoração de expressões.
  • Converter JSON do Azure Data Factory (ADF) para sintaxe de Fabric.
  • Escrever instruções MERGE.
  • Geração de modelos de conexão.
  • Elaboração de roteiros de validação.

Você também pode usá-los para criar documentação, como runbooks, dicionários de dados e listas de verificação de migração, garantindo que engenheiros e operadores permaneçam alinhados. No entanto, mantenha essas ferramentas envolvidas, não no comando:

  • Evite colar informações confidenciais em ferramentas de IA.
  • Valide todos os itens em um ambiente de desenvolvimento.
  • Use testes automatizados, como contagens de linhas, comparações de esquema e verificações de regras de negócios, para detetar problemas sutis, como incompatibilidades de tipo ou análise de data específica da localidade.

Para obter mais informações, consulte Usar o Copilot no Data Factory e IA no Microsoft Fabric.

Caminhos de migração

Os caminhos de migração dependem dos seus ativos ADF e da sua equivalência de funcionalidades. As opções incluem:

Conteúdo relacionado

Comparar o Azure Data Factory com o Data Factory no Fabric

  • Last updated on