Práticas recomendadas de migração do Azure Data Factory para o Fabric Data Factory

O Microsoft Fabric unifica as ferramentas de análise da Microsoft em uma única plataforma SaaS, oferecendo recursos robustos para orquestração de fluxo de trabalho, movimentação de dados, replicação e transformação em escala. O Fabric Data Factory baseia-se no ADF (Azure Data Factory), tornando-o uma opção ideal para modernizar soluções de integração de dados.

Este guia explora estratégias de migração, considerações e abordagens para ajudá-lo a atualizar do Azure Data Factory para o Fabric Data Factory.

Considerações antes de migrar

Antes de migrar, avalie o que reutilizar, traduzir ou reprojetar. Siga estas etapas para garantir uma transição suave:

1. Identifique padrões de autenticação, como identidade gerenciada ou autenticação baseada em chave.
2. Examine os requisitos de rede, incluindo pontos de extremidade privados e gateways.
3. Mapeie a semântica de agendamento e gatilho e alinhe as configurações de monitoramento e alertas.
4. Compare os recursos do ADF com seus equivalentes do Fabric, observando quaisquer lacunas como SSIS ou fluxos de dados.
5. Defina objetivos não funcionais, como SLAs, taxa de transferência, limites de custo e observabilidade.
6. Crie um cenário de teste com conjuntos de dados de exemplo e saídas esperadas para comparar objetivamente as execuções do ADF e do Fabric.
7. Planeje a rotação de segredos, convenções de nomenclatura e taxonomia do espaço de trabalho para que sua migração não apenas reproduza, mas melhore sua estratégia atual de integração de dados.

Uma abordagem em fases com planos de validação e reversão lado a lado minimiza o risco, permitindo uma execução mais rápida, monitoramento centralizado e integração mais profunda com o Microsoft Fabric.

Para migrações grandes, considere trabalhar com parceiros certificados da Microsoft ou sua equipe de conta da Microsoft para obter diretrizes.

Conexões, serviços vinculados e conjuntos de dados

No Azure Data Factory (ADF), serviços vinculados e conjuntos de dados definem conexões e estruturas de dados. No Fabric, eles são mapeados para conexões e configurações de atividade, com um foco mais forte na reutilização e na identidade gerenciada no nível do workspace. Veja como adaptar seus ativos do ADF:

1. Examine a continuidade do Conector entre o Azure Data Factory e o Fabric para confirmar o suporte para suas fontes de dados e coletores.
2. Consolide conexões redundantes para simplificar o gerenciamento.
3. Adote a identidade gerenciada para autenticação segura e consistente.
4. Padronizar a parametrização de pasta e tabela usando convenções de nomenclatura claras, por exemplo: conn-sql-warehouse-sales ou ds-lh-raw-orders.

Para garantir a consistência e a escalabilidade, documente totalmente cada origem e destino com:

• Proprietários
• Níveis de sensibilidade
• Configurações de tentativa

Esta documentação ajuda a padronizar operações em pipelines e aprimora a governança.

Runtimes de integração e OPDG, gateway de rede virtual

O Azure Data Factory (ADF) usa IRs (Integration Runtimes) para definir recursos de computação para processamento de dados. Elas incluem:

• IRs de nuvem para computação hospedada no Azure.
• IRs auto-hospedadas (SHIRs) para fontes locais ou em rede privada.
• IRs do SSIS para SQL Server Integration Services.
• IRs compatíveis com VNet para conectividade de rede segura.

No Fabric, elas correspondem às opções de execução na nuvem, Gateway de Dados Local (OPDG) e Gateway de Dados de Rede Virtual. Veja como planejar sua migração:

1. Identifique pipelines que dependem de SHIRs e planeje seu mapeamento de gateway e o dimensionamento de taxa de transferência.
2. Valide o DNS, a saída, as regras de firewall e a autenticação para cada conector.
3. Ensaiar cenários de failover para garantir a confiabilidade.
4. Quando possível, migre para pontos de extremidade privados ou gateways de dados de rede virtual para simplificar as revisões de segurança e reduzir a sobrecarga operacional.

O Fabric simplifica o gerenciamento de computação usando recursos baseados em nuvem em suas capacidades do Fabric. As IRs do SSIS não estão disponíveis no Fabric. Para conectividade local, use o Gateway de Dados Local (OPDG). Para conectividade de rede segura, use o Virtual Network Data Gateway.

Ao migrar:

• As IRs do Azure de rede pública não precisam ser movidas.
• Recrie os SHIRs como OPDGs.
• Substitua as IRs do Azure habilitadas para VNet por Gateways de Dados de Rede Virtual.

Diferenças de atividade de pipeline

Todas as principais atividades no AdF (Azure Data Factory), como Cópia, Pesquisa, Procedimento Armazenado/Script SQL, Web e Fluxo de Controle, têm equivalentes diretos no Fabric. No entanto, há algumas diferenças nas propriedades, na sintaxe da expressão e nos limites. Ao migrar, examine o seguinte:

• Políticas de retentativa e limites de tempo.
• Configurações de paginação para fontes REST.
• Configurações de cópia binária versus tabular.
• Padrões foreach e filter.
• Variáveis do sistema usadas em conteúdo dinâmico.

O Fabric geralmente fornece opções mais nativas para determinadas tarefas. Por exemplo, use o Script SQL em um Armazém de Dados em vez de uma chamada de procedimento armazenado genérico para melhor rastreabilidade e monitoramento. Para simplificar a migração, centralize expressões comuns como caminhos, datas e URIs específicas do locatário em parâmetros de pipeline. Isso reduz a descompasso e acelera o teste.

Para obter mais informações, consulte a continuidade da atividade entre o Azure Data Factory e o Fabric.

Diferenças de fluxo de dados

Os fluxos de dados de mapeamento do Azure Data Factory (ADF) não são mapeados diretamente para o Fabric. Em vez disso, você geralmente os retrabalhará usando uma das seguintes opções:

• Fluxo de dados Gen2 para transformações de conjunto de linhas e transformações governadas de baixo código.
• SQL do Fabric Warehouse para tarefas ELT baseadas em conjunto, como operações MERGE ou ELT próximas aos dados.
• Notebooks Spark para transformações avançadas, lógica complexa ou processamento em grande escala.

Ao migrar, valide o seguinte:

• Tipos de dados e tratamento nulo.
• Chaves substitutas e dimensões de alteração lenta.
• Padrões ELT idempotentes, como armazenamento intermediário e MERGE, para garantir repetições previsíveis.

Para cenários de migração, consulte Migrar do Dataflow Gen1 para o Dataflow Gen2.

Parâmetros globais no Azure Data Factory

O Fabric usa Bibliotecas Variáveis no nível do workspace para definir itens constantes do Fabric. Ao migrar para o Microsoft Fabric Data Factory, eles precisarão converter seus parâmetros globais do Azure Data Factory em bibliotecas variáveis.

Para obter diretrizes de conversão completa, consulte Converter parâmetros globais do ADF em bibliotecas de variáveis de malha.

Ofertas de parceiros do Azure Marketplace

Parceiros de migração confiáveis, como o Bitwise Global, fornecem ferramentas para ajudar na migração. Essas ferramentas podem:

• Examine o ambiente do ADF (Azure Data Factory).
• Gerar artefatos de destino do Fabric.
• Execute a análise de impacto e o acompanhamento de linhagem.
• Crie planos de teste automatizados.

Essas soluções são especialmente úteis se você tiver:

• Centenas de pipelines.
• Conectores diversos.
• Requisitos estritos de tempo de inatividade.

As ferramentas de parceiro padronizam regras de mapeamento, geram relatórios de conversão e executam testes de validação paralela. Isso permite que você compare o número de linhas, somas de verificação e desempenho entre seus ambientes antigos e novos. Mesmo que você não use um parceiro para toda a migração, os módulos de descoberta e avaliação podem ajudá-lo a iniciar seu planejamento interno e reduzir as incertezas.

Usar ferramentas de IA

LlMs (modelos de linguagem grandes), como Microsoft Copilot, ChatGPT e Claude, podem acelerar as tarefas de migração. Essas ferramentas são úteis para:

• Refatoração de expressões.
• Convertendo o JSON do Azure Data Factory (ADF) em sintaxe Fabric.
• Escrevendo instruções MERGE.
• Gerando modelos de conexão.
• Criação de scripts de validação.

Você também pode usá-los para criar documentação, como runbooks, dicionários de dados e listas de verificação de migração, garantindo que engenheiros e operadores permaneçam alinhados. No entanto, mantenha essas ferramentas no loop, não no comando:

• Evite colar informações confidenciais em ferramentas de IA.
• Valide todos os itens em um ambiente de desenvolvimento.
• Use testes automatizados como contagens de linhas, comparações de esquema e verificações de regra de negócios para detectar problemas sutis, como incompatibilidades de tipo ou análise de data específica da localidade.

Para obter mais informações, consulte Use o Copilot no Data Factory e IA no Microsoft Fabric.

Caminhos de migração

Os caminhos de migração dependem dos ativos do ADF e da equivalência de funcionalidades. As opções incluem:

• Montar itens do ADF no Fabric para continuidade.
• Usando a ferramenta de conversão do PowerShell para pipelines com alta paridade.
• Replatformação para adotar padrões nativos do Fabric.

Conteúdo relacionado

Comparar o Azure Data Factory com o Data Factory no Fabric