Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
O Data Factory no Microsoft Fabric é a próxima geração do Azure Data Factory, criado para lidar com seus desafios mais complexos de integração de dados com uma abordagem mais simples e poderosa.
Este guia ajuda-o a compreender as principais diferenças entre estes dois serviços, para que possa fazer a escolha certa para a sua empresa. Vamos orientá-lo sobre o que há de novo, o que é diferente e quais as vantagens que o Fabric traz para a mesa.
O Fabric Data Factory é a próxima geração do Azure Data Factory, projetada para simplificar e aprimorar fluxos de trabalho de integração de dados. Esta seção apresenta os principais recursos e benefícios do Fabric Data Factory.
Pronto para explorar suas opções de migração? Consulte o nosso guia de migração.
Compare lado a lado as funcionalidades
Veja como os principais recursos se acumulam entre o Azure Data Factory e o Fabric Data Factory. Destacamos o que mudou, o que há de novo e o que permanece igual.
| Fábrica de Dados do Azure | Data Factory no Fabric | O que é diferente |
|---|---|---|
| Gasoduto | Gasoduto | Melhor integração: os pipelines no Fabric funcionam perfeitamente com Lakehouse, Data Warehouse e outros serviços Fabric prontos para uso. Os pipelines de malha incluem mais atividades baseadas em SaaS e diferem nas definições de JSON. Consulte a nossa comparação de funcionalidades do pipeline para obter mais detalhes. |
| Mapeando o fluxo de dados | Fluxo de dados Gen2 | Mais fácil de usar: o Dataflow Gen2 oferece uma experiência mais simples para criar transformações. Estamos adicionando mais recursos de fluxo de dados de mapeamento ao Gen2 o tempo todo. |
| Atividades | Atividades | Mais atividades chegando: Estamos trabalhando para trazer todas as suas atividades favoritas do ADF para o Fabric. Além disso, tem acesso a novos recursos, como a atividade do Office 365 Outlook, que não estão disponíveis no ADF. Consulte a nossa comparação de atividades para obter detalhes. |
| Conjunto de dados | Apenas ligações | Abordagem mais simples: não há configurações mais complexas de conjuntos de dados. Para o Data Factory in Fabric, você usa conexões para vincular suas fontes de dados e começar a trabalhar. O Fabric elimina conjuntos de dados, definindo as propriedades dos dados diretamente no interior das atividades. |
| Serviço Vinculado | Ligações | Mais intuitivo: as conexões funcionam como serviços vinculados, mas são mais fáceis de configurar e gerenciar. |
| Acionadores | Agendar e arquivar gatilhos de eventos | Agendamento integrado: Use o agendador do Fabric e os eventos Reflex para executar automaticamente os seus pipelines. Os gatilhos de evento de arquivo funcionam nativamente no Fabric sem configuração extra. O Fabric integra gatilhos em sua estrutura do Activator, ao contrário dos gatilhos autônomos do ADF. |
| Publicar | Guardar e executar | Nenhuma etapa de publicação: no Fabric, ignore totalmente a etapa de publicação. Basta selecionar Salvar para armazenar seu trabalho ou selecionar Executar para salvar e executar seu pipeline imediatamente. |
| Autoresolve e tempo de execução da Integração do Azure | Não é necessário | Arquitetura simplificada: Não há necessidade de gerenciar tempos de execução de integração. O Fabric lida com a computação para você. |
| Tempos de execução de integração auto-hospedados | Gateway de dados local | Mesmo acesso local: conecte-se aos seus dados locais usando o conhecido Gateway de Dados local. Saiba mais no nosso guia de acesso a dados no local. |
| Tempos de execução de integração Azure-SSIS | A determinar | Capacidade futura no Fabric: ainda estamos trabalhando no design da integração do SSIS no Fabric. |
| Redes virtuais gerenciadas e pontos de extremidade privados | A determinar. | Capacidade futura no Fabric: ainda estamos trabalhando na integração para redes virtuais gerenciadas e pontos de extremidade privados no Fabric. |
| Expressão de idioma | Expressão de idioma | Mesmas expressões: Seu conhecimento de expressão existente é transferido diretamente. A sintaxe é quase idêntica. |
| Tipos de autenticação | Tipos de autenticação | Mais opções: todos os seus métodos de autenticação ADF populares funcionam no Fabric, além de termos adicionado novos tipos de autenticação. |
| CI/CD | CI/CD | Os recursos aprimorados além do ADF incluem fácil seleção seletiva, promoção de itens individuais, ativação de repositório Git e opções integradas de Ci/CD SaaS. |
| Exportação/importação de modelos ARM | Guardar como | Duplicação rápida: no Fabric, use "Salvar como" para duplicar rapidamente pipelines para desenvolvimento ou teste. |
| Monitorização | Hub de monitoramento + Histórico de execução | Monitoramento avançado: o hub de monitoramento oferece uma experiência moderna com insights entre espaços de trabalho e melhores recursos de detalhamento. |
| Debugging | Modo interativo | Depuração simplificada: o Fabric elimina o modo de depuração do ADF. Você está sempre no modo interativo. |
| Captura de dados de alteração (CDC) | Copiar trabalhos | Movimentação incremental de dados: Fabric gere a movimentação incremental de dados através de tarefas de cópia em vez de artefatos CDC. |
| Azure Synapse Link | Espelhamento | Replicação de dados: o Fabric substitui o Azure Synapse Link por recursos de espelhamento para replicação de dados. |
| Executar atividade de fluxo de trabalho | Invocar atividade de linha de processamento | Invocação entre plataformas: Fabric aprimora a atividade de pipeline de execução do ADF com invocação entre plataformas. |
Comparação de funcionalidades de pipeline
| Categoria | Gasodutos ADF | Tubulações de tecido |
|---|---|---|
| Tipo de serviço | Serviço PaaS de integração de dados | Serviço SaaS de integração de dados |
| Ambiente de criação | Azure portal (ADF Studio) | Espaço de trabalho Fabric / PBI (UX unificado com Lakehouses, Armazéns, etc.) |
| Orquestração de Pipeline | Pipelines completos com atividades, parâmetros e gatilhos | O mesmo modelo de orquestração, reimaginado para o Fabric UX |
| Movimentação de dados | Atividade de cópia, mapeamento de fluxos de dados, suporte de RI local, rede virtual gerenciada | Atividade de cópia, Dataflows Gen2, conectividade incorporada com itens OneLake e Fabric, Gateway de dados no local, gateway de rede virtual |
| Computação / IR | Auto-hospedado, SSIS e Azure IR (para movimento + transformação) | Conexões na nuvem, nas instalações locais e gateway de rede virtual |
| Fluxos de Dados | Azure Blob, Armazenamento Data Lake, SQL, 100+ conectores | Mesmos conectores + integração OneLake nativa, alinhamento mais estreito do espaço de trabalho do Fabric |
| Monitorização | Pipelines e fluxos de dados no ADF Studio com execuções, gatilhos, alertas | Monitorização do Hub e Área de Trabalho com visualizações unificadas em Pipelines, Fluxos de Dados, Notebooks, Bases de Dados, etc. |
| Acionadores | Agendas, janela de tombamento, gatilhos baseados em eventos | Agendas, gatilhos de eventos, gatilhos de janelas deslizantes como agendamentos de intervalo |
| CI/CD | Modelos ARM + integração do repositório Azure DevOps ou GitHub | Pipelines de implementação integrados no Fabric; promoção ao nível do espaço de trabalho (Dev → Test → Produção) e integração com repositório externo. |
| Segurança | Identidades gerenciadas, integração com Key Vault, endpoints privados | Mesmo modelo de segurança com integração do RBAC no espaço de trabalho do Fabric; integração de segurança do OneLake |
| Pricing | Pagamento conforme o uso baseado na utilização do Azure (por execução de atividade, movimento de dados e computação) | Baseado em capacidade (Fabric F SKU) sem encargos para atividades externas ou de pipeline, apenas execuções de operações e transferência de dados de pipeline |
Comparação de atividades
Com o Data Factory no Microsoft Fabric, continuamos a manter um alto grau de continuidade com o Azure Data Factory. Aproximadamente 90% de atividades acessíveis no ADF já estão disponíveis no Data Factory in Fabric. Aqui está um detalhamento das atividades e sua disponibilidade no ADF e no Data Factory in Fabric:
| Activity | ADF | Data Factory no Fabric |
|---|---|---|
| ADX/KQL | Y | Y |
| Acrescentar variável | Y | Y |
| Azure Batch | Y | Y |
| Azure Databricks | Atividade do notebook • Atividade do arquivo Jar • Atividade Python • Atividade de tarefa | Atividade do Azure Databricks |
| Azure Machine Learning | Y | Y |
| Execução em lote do Azure Machine Learning | Deprecated | N/A |
| Recurso de Atualização do Azure Machine Learning | Deprecated | N/A |
| Copiar | Copiar dados | Atividade de cópia |
| Fluxo de dados Gen2 | N/A | Y |
| Suprimir | Y | Y |
| Executar/Invocar Pipeline | Executar pipeline | Invocar pipeline |
| Cadernos de tecido | N/A | Y |
| Falha | Y | Y |
| Filter | Y | Y |
| Para cada | Y | Y |
| Funções | Função Azure | Atividade da função |
| Obter metadados | Y | Y |
| HDInsight | Atividade Hive • Atividade Pig • Atividade MapReduce • Atividade Spark • Atividade de Streaming | Atividade do HDInsight |
| Instrução 'If' | Y | Y |
| Busca | Y | Y |
| Fluxo de Dados de Mapeamento | Y | Fluxo de dados Gen2 |
| Office 365 Outlook | N/A | Y |
| Power Query (apenas ADF - Wrangling Dataflow) | Deprecated | N/A |
| Script | Y | Y |
| Atualização do modelo semântico | N/A | Y |
| Definir variável | Y | Y |
| Sproc | Y | Y |
| SSIS | Y | N/A |
| Procedimento armazenado | Y | Y |
| Alternar | Y | Y |
| Atividades de Synapse Notebook e SJD | Y | N/A |
| Equipas | N/A | Y |
| Até | Y | Y |
| Validation | Y | Obter metadados & If Condition |
| Wait | Y | Y |
| Web | Y | Y |
| Webhook | Y | Y |
| Gerenciando o fluxo de dados | Y | Fluxo de dados Gen2 |
Novas atividades no Fabric Data Factory
Além de manter a continuidade das atividades, o Data Factory in Fabric apresenta algumas novas atividades para atender às suas necessidades de orquestração mais avançadas. Estas novas atividades são as seguintes:
- Outlook: Disponível no Fabric Data Factory para facilitar a integração com os serviços do Outlook.
- Teams: Disponível no Fabric Data Factory para permitir a orquestração de atividades do Microsoft Teams.
- Atualização do modelo semântico: Disponível no Fabric Data Factory para aprimorar os recursos de atualização do modelo semântico do Power BI.
- Dataflow Gen2: Disponível no Fabric Data Factory para capacitar a orquestração de dados com recursos avançados de fluxo de dados.
Para obter uma lista de todas as atividades disponíveis do Fabric Data Factory, consulte a Visão geral da atividade.
Comparação de conectores
Para obter uma comparação de todos os conectores e sua disponibilidade no Azure Data Factory e no Fabric Data Factory, consulte o artigo Comparação de conectores.
SHIR (Self-hosted Integration Runtime) versus OPDG (On-premises Data Gateway)
Observação
Os serviços suportados pelo SHIR e ODPG são diferentes:
- SHIR (Self-hosted Integration Runtime): Suporta o Azure Data Factory, o Azure Synapse Analytics, o Azure Machine Learning studio e o Azure Purview.
- Gateway de Dados Local (OPDG): Suporta Power BI, Power Apps, Power Automate, Azure Analysis Services, Aplicações Lógicas, Fabric Dataflow Gen2, Fabric Pipeline, Fabric Copy Job e Fabric Mirroring.
| Categoria | Tempo de execução de integração auto-hospedado (SHIR) | Gateway de dados local (OPDG) |
|---|---|---|
| Serviços suportados | - Azure Data Factory - Estúdio Azure Machine Learning - Azure Synapse Analytics - Azure Purview |
- Power BI - Aplicativos de energia - Power Automate - Azure Analysis Services - Aplicativos lógicos - Fabric Dataflow Gen2 - Tubulação de tecido - Trabalho de cópia de tecido - Espelhamento de tecido |
| Instalação e Registo | - Registado através de chave - Funciona em modo de serviço |
- Registado com a conta Microsoft Entra ID - Suporta o modo de usuário |
| Plataforma | - Windows - Imagem de contêiner suportada |
- Apenas Windows - Sem suporte de contentores |
| Suporte a proxy | - Suporte ao proxy do sistema e ao proxy personalizado | - Suporte proxy personalizado |
| Vinculação de região | - Corrigido para a região do Data Factory - Não é possível alterar a região padrão |
- Região pode ser alterada |
| Relé Personalizado | - Não suportado | - Suportado; os clientes podem trazer o seu próprio relé |
| Compartilhamento entre serviços | - Compartilhado com até 120 Data Factories - Não pode ser partilhado entre os espaços de trabalho ADF, Synapse ou Purview |
- Disponível para todos os serviços suportados dentro de um tenant |
| Alta Disponibilidade (HA) | - Até 8 nós (4 padrão) | - Até 10 nós |
| Recovery | - Requer reinstalação | - Chave de recuperação suportada |
| Balanceamento de carga | - Balanceamento de carga em nível de tarefa com base na contagem de trabalhadores disponíveis (CPU + memória) | - Balanceamento de carga no nível de consulta - Opções de distribuição Rotativa ou Aleatória |
| Armazenamento de credenciais | - Armazenados localmente nos nós SHIR - Azure Key Vault suportado |
- Armazenado centralmente no serviço de nuvem Gateway - Sem integração com Key Vault |
| Atualização automática | - Suportado | - Não suportado |
| Extensibilidade do conector | - Não suportado | - Suportado |
| Autoramento Interativo | - Suportado | - Suportado |
| Link privado para fluxo de controle | - Suportado | - Não suportado |
| Controle de versão | - Dois lançamentos por mês; um distribuído como atualização automática - Suporta os últimos 12 meses de lançamentos |
- Um lançamento por mês - Suporta as últimas 6 versões |
| Gestão de CPU e Memória | - Não suportado | - Suportado |
| Limites de Throughput | - Sem limite rígido; dependente da largura de banda da rede | Limites específicos do serviço: Power Apps / Power Automate / Logic Apps - Gravação: limite de carga útil de 2 MB - Leitura: limite de solicitação de 2 MB, limite de resposta compactada de 8 MB - Limite de URL de solicitação GET: 2.048 caracteres Power BI Direct Query: limite de resposta não comprimido de 16 MB |
Rede Virtual Gerida do ADF vs. Gateway de Dados da Rede Virtual do Fabric
A Rede Virtual Gerenciada do Azure Data Factory (ADF) e o Gateway de Dados da Rede Virtual do Microsoft Fabric (rede virtual) ajudam você a se conectar a fontes de dados com segurança, sem expô-las à Internet pública. Embora ambas as opções ofereçam suporte à conectividade privada para cargas de trabalho na nuvem, elas diferem em como são configuradas, quem as gerencia e quais serviços elas suportam.
VNET gerenciada pelo ADF
A Microsoft possui e gerencia o ambiente de rede. Você obtém uma configuração simples, mas não pode controlar as configurações de rede ou as regras de firewall.Gateway de dados VNET de rede
Você implanta o gateway dentro de sua própria rede virtual do Azure. Isso lhe dá controle total sobre rede, firewall e dimensionamento. Você decide como o gateway se conecta aos seus recursos e gerencia todas as configurações de rede.
Use a tabela abaixo para comparar as principais diferenças e escolher a opção que se adapta às suas necessidades de carga de trabalho e governança.
| Categoria | Rede virtual gerenciada pelo ADF | Gateway de Dados do Fabric de Rede Virtual |
|---|---|---|
| Serviços suportados | Azure Data Factory & Synapse pipelines. | Microsoft Fabric Dataflow Gen2, pipelines de dados do Fabric, trabalho de cópia do Fabric, espelhamento do Fabric, modelos semânticos do Power BI e relatórios paginados do Power BI |
| Propriedade de VNET | Rede virtual gerenciada pela Microsoft (o cliente não controla a rede). | Rede virtual gerenciada pelo cliente (o cliente tem controle total). |
| Pontos finais privados | Autocriado e gerenciado pelo ADF para serviços com suporte (Armazenamento do Azure, Banco de Dados SQL, etc.). | Os clientes configuram o gateway da rede virtual para conectar as cargas de trabalho de malha aos recursos dentro da sua rede virtual. |
| Controlo de rede | Limitado — os clientes só podem adicionar o runtime de integração de rede virtual a pontos de extremidade privados. | Controle total — o cliente configura firewall, regras NSG, roteamento em sua própria rede virtual. |
| Instalação / Implementação | Não é necessária instalação; totalmente gerenciado pela Microsoft dentro de uma rede virtual oculta. | Requer a implantação do Data Gateway de rede virtual na rede virtual do cliente. |
| Elevada Disponibilidade | Gerenciado pela Microsoft, dimensionado automaticamente dentro da rede virtual do ADF. Mude para o modo de reserva ao ativar o TTL. | Suporta dimensionamento e HA (clusters baseados em nós), mas é executado dentro da rede virtual gerenciada pelo cliente. Suporta até 7 nós. |
Principais recursos do Fabric Data Factory
No Fabric Data Factory, criar seu pipeline, fluxos de dados e outros itens do Data Factory é incrivelmente fácil e rápido devido à integração nativa com o inovador recurso de IA Co-Pilot da Microsoft. Com o Copilot for Data Factory, você pode usar linguagem natural para definir facilmente seus projetos de integração de dados.
Integração de Lakehouse e Data Warehouse nativos
Uma das maiores vantagens do Fabric Data Factory é como ele se conecta com suas plataformas de dados. O Lakehouse e o Data Warehouse funcionam como fontes e destinos em seus pipelines, facilitando a criação de projetos de dados integrados.
Notificações por email inteligentes com o Office 365
Precisa de manter a sua equipa informada? A atividade do Office 365 Outlook permite enviar notificações por email personalizadas sobre execuções de pipeline, status da atividade e resultados, tudo com uma configuração simples. Chega de verificar painéis constantemente ou escrever código de notificação personalizado.
Experiência de conexão de dados simplificada
A moderna experiência Get data do Fabric torna rápida a configuração de pipelines de cópia e a criação de novas conexões. Você gastará menos tempo configurando e mais tempo levando seus dados para onde eles precisam ir.
Melhorias fáceis de usar na experiência de CI/CD
No Fabric, a experiência de CI/CD é muito mais fácil e flexível do que no Azure Data Factory ou Synapse. Não há conexão entre os modelos CI/CD e ARM no Fabric, tornando super fácil escolher partes individuais do seu espaço de trabalho do Fabric para check-in, check-out, validação e colaboração. No ADF e Synapse, sua única opção para CI/CD é usar seu próprio repositório Git. No entanto, no Fabric, pode opcionalmente usar o recurso de pipelines de implantação integrados, sem a necessidade de trazer o seu próprio repositório Git externo.
Monitorização e perceções de nível superior
A experiência de monitoramento no Fabric Data Factory é onde você realmente verá a diferença. O hub de monitoramento oferece uma visão completa de todas as suas cargas de trabalho e você pode detalhar qualquer atividade para obter informações detalhadas. A análise entre espaços de trabalho é integrada, para que você possa ver o panorama geral de toda a organização.
Ao solucionar problemas de atividades de cópia, você vai adorar a visualização detalhada do detalhamento. Selecione o botão de detalhes da execução (o ícone de óculos) para ver exatamente o que aconteceu. A divisão de duração mostra quanto tempo cada estágio levou, facilitando a otimização do desempenho.
Duplicação rápida de pipeline
Precisa criar um pipeline semelhante? O recurso Salvar como permite duplicar qualquer pipeline existente em segundos. É perfeito para criar versões de desenvolvimento, testar variações ou configurar fluxos de trabalho semelhantes.
Conteúdo relacionado
Para obter mais informações, consulte os seguintes recursos: