Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Data Factory no Microsoft Fabric é a próxima geração do Azure Data Factory, criada para lidar com seus desafios de integração de dados mais complexos com uma abordagem mais simples e eficiente.
Este guia ajuda você a entender as principais diferenças entre esses dois serviços, para que você possa fazer a escolha certa para sua empresa. Vamos orientá-lo pelo que há de novo, o que é diferente e quais vantagens o Fabric traz para a mesa.
O Fabric Data Factory é a próxima geração do Azure Data Factory, projetada para simplificar e aprimorar os fluxos de trabalho de integração de dados. Esta seção apresenta os principais recursos e benefícios do Fabric Data Factory.
Pronto para explorar suas opções de migração? Confira nosso guia de migração.
Comparar funcionalidades lado a lado
Veja como os principais recursos se acumulam entre o Azure Data Factory e o Fabric Data Factory. Destacamos o que mudou, as novidades e o que permanece o mesmo.
| Fábrica de dados do Azure | Data Factory no Fabric | Qual é a diferença |
|---|---|---|
| Pipeline | Pipeline | Melhor integração: os pipelines do Fabric funcionam perfeitamente com o Lakehouse, o Data Warehouse e outros serviços do Fabric sem necessidade de configuração adicional. Os pipelines Fabric incluem mais atividades baseadas em SaaS e diferem em definições JSON. Consulte nossa comparação de funcionalidades de pipeline para obter mais detalhes. |
| Fluxo de dados de mapeamento | Fluxo de dados Gen2 | Mais fácil de usar: o Dataflow Gen2 oferece uma experiência mais simples para criar transformações. Estamos adicionando mais recursos de fluxo de dados de mapeamento ao Gen2 o tempo todo. |
| Atividades | Atividades | Mais atividades chegando: estamos trabalhando para trazer todas as suas atividades favoritas do ADF para o Fabric. Além disso, você obtém novas atividades, como a atividade do Outlook do Office 365, que não está disponível no ADF. Consulte nossa comparação de atividades para obter detalhes. |
| Conjunto de dados | Somente conexões | Abordagem mais simples: não há configurações de conjunto de dados mais complexas. Para usar o Data Factory no Fabric, você cria conexões para se conectar às suas fontes de dados e começar a trabalhar. O Fabric elimina os conjuntos de dados, definindo as propriedades de dados embutidas dentro das atividades. |
| Serviço vinculado | conexões | Mais intuitivo: as conexões funcionam como serviços vinculados, mas são mais fáceis de configurar e gerenciar. |
| Gatilhos | Agendar e acionar gatilhos de eventos | Agendamento interno: Use o agendador do Fabric e os eventos Reflex para executar automaticamente seus pipelines. Os gatilhos de evento de arquivo funcionam nativamente no Fabric sem configuração extra. O Fabric integra gatilhos em sua estrutura do Activator, ao contrário dos gatilhos autônomos do ADF. |
| Publicação | Salvar e executar | Nenhuma etapa de publicação: no Fabric, ignore totalmente a etapa de publicação. Basta selecionar Salvar para armazenar seu trabalho ou selecionar Executar para salvar e executar o pipeline imediatamente. |
| Autoresolve e Azure Integration Runtime | Não é necessário | Arquitetura simplificada: não é necessário gerenciar runtimes de integração. O Fabric gerencia o cálculo computacional para você. |
| Runtimes de integração auto-hospedada | Gateway de dados local | Mesmo acesso local: conecte-se aos seus dados locais usando o gateway de dados local familiar. Saiba mais em nosso guia de acesso a dados local. |
| Runtimes de integração do Azure-SSIS | A ser determinado | Funcionalidade futura no Fabric: ainda estamos trabalhando no design para integração do SSIS no Fabric. |
| Redes virtuais gerenciadas e pontos de extremidade privados | A ser determinado. | Funcionalidade futura no Fabric: ainda estamos trabalhando na integração para redes virtuais gerenciadas e pontos de extremidade privados no Fabric. |
| Linguagem de expressão | Linguagem de expressão | Mesmas expressões: seu conhecimento de expressão existente é transferido diretamente. A sintaxe é quase idêntica. |
| Tipos de autenticação | Tipos de autenticação | Mais opções: todos os seus métodos populares de autenticação do ADF funcionam no Fabric, além disso, adicionamos novos tipos de autenticação. |
| CI/CD | CI/CD | Os recursos aprimorados além do ADF incluem seleção seletiva, promoção de itens individuais, habilitação de repositório Git e opções integradas de CI/CD em ambiente SaaS. |
| Exportação/importação de modelo do ARM | Salvar como | Duplicação rápida: no Fabric, use "Salvar como" para duplicar rapidamente pipelines para desenvolvimento ou teste. |
| Monitoramento | Hub de monitoramento + Histórico de execuções | Monitoramento avançado: o hub de monitoramento oferece uma experiência moderna com insights entre espaços de trabalho e melhores recursos de aprofundamento. |
| Resolução de Erros | Modo interativo | Depuração simplificada: o Fabric elimina o modo de depuração do ADF. Você está sempre no modo interativo. |
| Captura de Alterações de Dados (CDC) | Tarefas de cópia | Movimentação incremental de dados: o Fabric gerencia a movimentação incremental de dados por meio de trabalhos de cópia em vez de artefatos CDC. |
| Link do Azure Synapse | Espelhamento | Replicação de dados: o Fabric substitui o Link do Azure Synapse por recursos de espelhamento para replicação de dados. |
| Executar atividade do pipeline | Atividade Invocar pipeline | Invocação entre plataformas: o Fabric aprimora a atividade de pipeline Executar do ADF com invocação multiplataforma. |
Comparação de funcionalidades de pipeline
| Categoria | ADF Pipelines | Pipelines de Fabric |
|---|---|---|
| Tipo de serviço | Serviço paaS de integração de dados | Serviço SaaS de Integração de Dados |
| Ambiente de autoria | Azure portal (ADF Studio) | Espaço de trabalho Fabric/PBI (UX unificado com Lakehouses, Warehouses, etc.) |
| Orquestração de pipeline | Pipelines completos com funcionalidades de atividades, gatilhos e parâmetros. | Mesmo modelo de orquestração, re-imaginado para o Fabric UX |
| Movimentação de dados | Atividade de cópia, fluxos de dados de mapeamento, suporte do IR local, rede virtual gerenciada | Atividade de cópia, Dataflows Gen2, conectividade interna com itens do OneLake e Fabric, Gateway de Dados local, gateway de rede virtual |
| Computação/IR | Autogerenciado, SSIS e Azure IR (para movimento + transformação) | Conexões de nuvem, gateway de rede virtual e nas instalações locais |
| Fluxos de dados | Blob do Azure, Data Lake Storage, SQL, mais de 100 conectores | Mesmos conectores + integração nativa do OneLake, alinhamento mais rígido do workspace do Fabric |
| Monitoramento | Pipelines e fluxos de dados no ADF Studio com execuções, gatilhos, alertas | Monitoramento do Hub e do Workspace com exibições unificadas em Pipelines, Fluxos de Dados, Notebooks, Bancos de Dados, etc. |
| Gatilhos | Agendamentos, janela deslizante, gatilhos baseados em evento | Agendamentos, gatilhos de evento, gatilhos de janela em cascata como agendamentos de intervalo |
| CI/CD | Modelos do ARM + integração de repositório do Azure DevOps ou GitHub | Pipelines de implantação incorporados no Fabric; promoção no nível de espaço de trabalho (Desenvolvimento → Teste → Produção) e integração com repositório externo |
| Segurança | Identidades gerenciadas, integração do Key Vault, pontos de extremidade privados | Mesmo modelo de segurança mais RBAC da área de trabalho do Fabric; Integração de segurança do OneLake |
| Pricing | Pagamento conforme o uso do Azure (por execução de atividade, movimentação de dados e computação) | SKU baseada em capacidade (Fabric F) sem encargos para atividades externas ou de pipeline, apenas para execuções de atividades e movimentação de dados de pipeline. |
Comparação de atividades
Com o Data Factory no Microsoft Fabric, continuamos a manter um alto grau de continuidade com o Azure Data Factory. Aproximadamente 90% de atividades acessíveis no ADF já estão disponíveis no Data Factory no Fabric. Aqui está um detalhamento das atividades e sua disponibilidade no ADF e no Data Factory no Fabric:
| Atividade | ADF | Data Factory no Fabric |
|---|---|---|
| ADX/KQL | Y | Y |
| Adicionar Variável | Y | Y |
| Lote do Azure | Y | Y |
| Azure Databricks | Atividade do bloco de anotações • Atividade jar • Atividade do Python • Atividade de trabalho | Atividade do Azure Databricks |
| Azure Machine Learning | Y | Y |
| Execução em lote do Azure Machine Learning | Deprecated | N/A |
| Recurso de Atualização do Azure Machine Learning | Deprecated | N/A |
| Copiar | Copiar dados | atividade Copy |
| Fluxo de dados Gen2 | N/A | Y |
| Delete | Y | Y |
| Executar/Invocar Pipeline | Executar pipeline | Invocar pipeline |
| Blocos de Anotações do Fabric | N/A | Y |
| Falha | Y | Y |
| Filter | Y | Y |
| Para cada | Y | Y |
| Functions | Função do Azure | Atividade de função |
| Obter metadados | Y | Y |
| HDInsight | Atividade do Hive • Atividade do Pig • Atividade do MapReduce • Atividade do Spark • Atividade de Streaming | Atividade do HDInsight |
| Condição Se | Y | Y |
| Busca | Y | Y |
| Fluxo de dados de mapeamento | Y | Fluxo de dados Gen2 |
| Outlook do Office 365 | N/A | Y |
| Power Query (somente ADF – Fluxo de dados de estruturação) | Deprecated | N/A |
| Script | Y | Y |
| Atualização do modelo semântico | N/A | Y |
| Definir variável | Y | Y |
| Sproc | Y | Y |
| SSIS | Y | N/A |
| Procedimento armazenado | Y | Y |
| Interruptor | Y | Y |
| Atividades do SJD e do Synapse Notebook | Y | N/A |
| Equipes | N/A | Y |
| Até | Y | Y |
| Validation | Y | Obter metadados & se condição |
| Wait | Y | Y |
| web | Y | Y |
| Webhook | Y | Y |
| Gerenciamento de Fluxo de Dados | Y | Fluxo de dados Gen2 |
Novas atividades no Fabric Data Factory
Além de manter a continuidade da atividade, o Data Factory no Fabric apresenta algumas novas atividades para atender às suas necessidades de orquestração mais avançadas. Essas novas atividades são:
- Outlook: Disponível no Fabric Data Factory para facilitar a integração com os serviços do Outlook.
- Equipes: disponível no Fabric Data Factory para habilitar a orquestração de atividades do Microsoft Teams.
- Atualização semântica de modelo: disponível no Fabric Data Factory para aprimorar os recursos de atualização semântica de modelo do Power BI.
- Dataflow Gen2: disponível no Fabric Data Factory para capacitar a orquestração de dados com recursos avançados de fluxo de dados.
Para obter uma lista de todas as atividades disponíveis do Fabric Data Factory, consulte a visão geral da atividade.
Comparação de conectores
Para obter uma comparação de todos os conectores e sua disponibilidade no Azure Data Factory e fabric Data Factory, consulte o artigo de comparação do Conector.
SHIR (Integration Runtime) auto-hospedado versus OPDG (Gateway de Dados Local)
Observação
Os serviços compatíveis com o SHIR e o ODPG são diferentes:
- SHIR (Integration Runtime auto-hospedado): dá suporte ao Azure Data Factory, ao Azure Synapse Analytics, ao Azure Machine Learning Studio e ao Azure Purview.
- OPDG (Gateway de Dados Local): dá suporte ao Power BI, Power Apps, Power Automate, Azure Analysis Services, Logic Apps, Fabric Dataflow Gen2, Fabric Pipeline, Fabric Copy Job e Fabric Mirroring.
| Categoria | SHIR (Integration Runtime auto-hospedado) | OPDG (Gateway de Dados Local) |
|---|---|---|
| Serviços com suporte | – Azure Data Factory – Estúdio do Azure Machine Learning – Azure Synapse Analytics – Azure Purview |
– Power BI – Power Apps – Power Automate – Azure Analysis Services Logic Apps – Fabric Dataflow Gen2 – Pipeline do Fabric - Tarefa de Cópia do Fabric - Espelhamento de malha |
| - Registrado por chave Opera no modo de serviço |
- Registrado com a conta do Microsoft Entra ID – Dá suporte ao modo de usuário |
|
| Plataforma | -Windows Suporte para imagem de contêiner |
- Somente Windows – Sem suporte para contêineres |
| Suporte a proxy | – Suporte ao sistema e ao proxy personalizado | – Suporte a proxy personalizado |
| Vinculação de Região | - Corrigido para a região do Data Factory - Não é possível alterar a região padrão |
- A região pode ser alterada |
| Retransmissão Personalizada | - Não suportado | - Suportado; os clientes podem trazer seu próprio relay |
| Compartilhamento entre serviços | - Compartilhado com até 120 Data Factories - Não é possível compartilhar entre workspaces do ADF, Synapse, Purview ou Synapse |
- Disponível para todos os serviços com suporte em um locatário |
| Alta Disponibilidade (HA) | - Até 8 nós (4 padrão) | - Até 10 nós |
| Recuperação | - Requer reinstalação | - Suporte para chave de recuperação |
| Balanceamento de carga | - Balanceamento de carga em nível de tarefa com base na contagem de recursos disponíveis (CPU + memória) | - Balanceamento de carga no nível da consulta – Opções de distribuição cíclica ou aleatória |
| Repositório de Credenciais | - Armazenado localmente nos nós SHIR – Azure Key Vault com suporte |
- Armazenado centralmente no serviço de nuvem do Gateway - Sem integração do Key Vault |
| Atualização automática | - Suportado | - Não suportado |
| Extensibilidade do conector | - Não suportado | - Suportado |
| Criação interativa | - Suportado | - Suportado |
| Link privado para fluxo de controle | - Suportado | - Não suportado |
| Controle de Versão | - Duas versões por mês; uma distribuída como atualização automática – Dá suporte aos últimos 12 meses de lançamentos |
– Um release por mês – Dá suporte às últimas 6 versões |
| - Não suportado | - Suportado | |
| Limites de Throughput | - Sem limite rígido; dependente da largura de banda de rede | Limites específicos do serviço: Power Apps / Power Automate / Aplicativos Lógicos: - Gravação: limite de carga de 2 MB - Leitura: limite de solicitação de 2 MB, limite de resposta compactada de 8 MB - Limite de URL de solicitação GET: 2.048 caracteres Consulta Direta do Power BI: limite de resposta não compactado de 16 MB |
Rede Virtual Gerenciada do ADF vs. Fabric Virtual Network Data Gateway
A Rede Virtual Gerenciada do Azure Data Factory (ADF) e o Gateway de Dados da Rede Virtual do Microsoft Fabric (rede virtual) ajudam você a se conectar a fontes de dados com segurança, sem expô-las à Internet pública. Embora ambas as opções ofereçam suporte à conectividade privada para cargas de trabalho de nuvem, elas diferem em como elas são configuradas, quem as gerencia e quais serviços dão suporte.
VNET Gerenciada do ADF
A Microsoft possui e gerencia o ambiente de rede. Você obtém uma configuração simples, mas não pode controlar as configurações de rede ou as regras de firewall.Gateway de Dados VNET do Fabric
Você implanta o gateway dentro de sua própria rede virtual do Azure. Isso oferece controle total sobre rede, firewall e dimensionamento. Você decide como o gateway se conecta aos seus recursos e gerencia todas as configurações de rede.
Use a tabela abaixo para comparar as principais diferenças e escolher a opção que atende às suas necessidades de carga de trabalho e governança.
| Categoria | Rede Virtual Gerenciada do ADF | Gateway de Dados da Rede Virtual do Fabric |
|---|---|---|
| Serviços com suporte | Pipelines do Azure Data Factory & Synapse. | Microsoft Fabric Dataflow Gen2, pipelines de dados do Fabric, Fabric Copy Job, Fabric Mirroring, modelos semânticos do Power BI e relatórios paginados do Power BI |
| Propriedade da VNET | Rede virtual gerenciada pela Microsoft (o cliente não controla a rede). | Rede virtual gerenciada pelo cliente (o cliente tem controle total). |
| Pontos de extremidade privados | Criado automaticamente e gerenciado pelo ADF para serviços com suporte (Armazenamento do Azure, Banco de Dados SQL etc.). | Os clientes configuram o Gateway de rede virtual para conectar cargas de trabalho do Fabric a recursos dentro de sua rede virtual. |
| Controle de rede | Limitado – os clientes só podem permitir o runtime de integração de rede virtual de lista para pontos de extremidade privados. | Controle total: o cliente configura o firewall, as regras NSG, o roteamento em sua própria rede virtual. |
| Instalação/implantação | Nenhuma instalação é necessária; totalmente gerenciado pela Microsoft dentro de uma rede virtual oculta. | Requer a implantação do Gateway de Dados de rede virtual na rede virtual do cliente. |
| Alta disponibilidade | Gerenciado pela Microsoft, dimensionado automaticamente dentro da rede virtual do ADF. Alterne para o modo de reserva ao habilitar o TTL. | Dá suporte ao dimensionamento e à alta disponibilidade (clusters baseados em nós), mas é executado dentro da rede virtual gerenciada pelo cliente. Dê suporte a até 7 nós. |
Principais recursos do Fabric Data Factory
No Fabric Data Factory, criar seus pipelines, fluxos de dados e outros itens do Data Factory é incrivelmente fácil e rápido devido à integração nativa com o Co-Pilot, o inovador recurso de IA da Microsoft. Com o Copilot for Data Factory, você pode usar a linguagem natural para definir facilmente seus projetos de integração de dados.
Integração do Native Lakehouse e do Data Warehouse
Uma das maiores vantagens do Fabric Data Factory é como ele se conecta com suas plataformas de dados. O Lakehouse e o Data Warehouse funcionam como fontes e destinos em seus pipelines, facilitando a criação de projetos de dados integrados.
Notificações por email inteligente com o Office 365
Precisa manter sua equipe bem informada? A atividade do Outlook do Office 365 permite que você envie notificações por email personalizadas sobre execuções de pipeline, status da atividade e resultados, tudo com configuração simples. Chega de verificar painéis constantemente ou escrever código de notificação personalizado.
Experiência de conexão de dados simplificada
A experiência moderna de Obter dados do Fabric torna rápido configurar pipelines de cópia e criar novas conexões. Você gastará menos tempo configurando e mais tempo obtendo seus dados para onde eles precisam ir.
Melhorias de facilidade de uso na experiência de CI/CD
No Fabric, a experiência de CI/CD é muito mais fácil e flexível do que no Azure Data Factory ou no Synapse. Não há nenhuma conexão entre modelos de CI/CD e ARM no Fabric, tornando super fácil escolher partes individuais do workspace do Fabric para check-in, check-out, validação e colaboração. No ADF e no Synapse, sua única opção para CI/CD é usar seu próprio repositório Git. No entanto, no Fabric, você tem a opção de usar o recurso interno de pipelines de implantação que não exige trazer seu próprio repositório Git externo.
Monitoramento e insights de próximo nível
A experiência de monitoramento no Fabric Data Factory é onde você realmente verá a diferença. O hub de monitoramento fornece uma visão completa de todas as suas cargas de trabalho e você pode fazer uma busca detalhada em qualquer atividade para obter insights detalhados. A análise entre espaços de trabalho é incorporada diretamente, para que você possa ter uma visão geral em toda a sua organização.
Ao resolver problemas em atividades de cópia, você adorará a visão detalhada. Selecione o botão de detalhes da execução (o ícone de óculos) para ver exatamente o que aconteceu. A análise de duração mostra quanto tempo cada estágio levou, facilitando a otimização de desempenho.
Duplicação rápida do pipeline
Precisa criar um pipeline semelhante? O recurso Salvar como permite duplicar qualquer pipeline existente em segundos. É perfeito para criar versões de desenvolvimento, testar variações ou configurar fluxos de trabalho semelhantes.
Conteúdo relacionado
Para obter mais informações, consulte os seguintes recursos: