Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Este artigo é voltado para criadores de fluxo de dados do Power BI. Ele fornece orientação e lógica para ajudar a migrar seus fluxos de dados para o Fluxo de Dados Gen2 no Data Factory para Microsoft Fabric.
Observação
O Dataflow Gen2 é uma nova geração de fluxos de dados que fornece novos recursos e experiências aprimoradas. Os fluxos de dados Gen2 residem ao lado dos fluxos de dados do Power BI, que agora são conhecidos como Fluxo de Dados Gen1 .
Para entender as diferenças entre o Fluxo de Dados Gen1 e o Fluxo de Dados Gen2, consulte Indo da Geração 1 do Fluxo de Dados para a Geração 2 do Fluxo de Dados.
Contexto
Microsoft Fabric evoluiu para uma plataforma integrada para dados corporativos, gerenciados tanto por autoatendimento quanto por TI. Com o crescimento exponencial em volumes de dados e complexidade, os clientes do Fabric exigem que suas soluções empresariais sejam dimensionadas, seguras, fáceis de gerenciar e acessíveis a todos os usuários na maior das organizações.
Nos últimos anos, a Microsoft avançou muito para fornecer recursos de nuvem escalonáveis para capacidade do Fabric. Para isso, o Data Factory no Fabric capacita instantaneamente um grande ecossistema de desenvolvedores de integração de dados e soluções de integração de dados criadas ao longo de décadas. Ele aplica o conjunto completo de recursos e funcionalidades que vão muito além da funcionalidade comparável disponível nas gerações anteriores.
Naturalmente, os clientes agora estão perguntando se há uma oportunidade de consolidar suas soluções de integração de dados hospedando-as no Fabric. Eles geralmente fazem perguntas como:
- As funcionalidades de fluxo de dados das quais dependemos funcionam no Dataflow Gen2?
- Quais recursos estão disponíveis apenas no Dataflow Gen2?
- Como migrar fluxos de dados existentes para o Dataflow Gen2?
- Qual é o roteiro da Microsoft para ingestão de dados corporativos?
As respostas a muitas dessas perguntas são descritas neste artigo.
Observação
A decisão de migrar para a capacidade do Fabric depende dos requisitos de cada cliente. Os clientes devem avaliar cuidadosamente os benefícios para tomarem uma decisão informada. Esperamos ver a migração orgânica para o Dataflow Gen2 ao longo do tempo, e nossa intenção é que isso aconteça em termos com os quais o cliente esteja confortável.
Para ficar claro, atualmente não há planos para descontinuar fluxos de dados do Power BI ou fluxos de dados do Power Platform. No entanto, há uma prioridade para concentrar o investimento no Dataflow Gen2 para ingestão de dados corporativos e, portanto, o valor fornecido pela capacidade do Fabric aumentará ao longo do tempo. Os clientes que escolherem a capacidade do Fabric podem esperar se beneficiar do alinhamento com o roteiro do produto Microsoft Fabric.
Convergência de autoatendimento e integração de dados corporativos
A consolidação de itens no Fabric simplifica a descoberta, a colaboração e o gerenciamento colocando recursos. Isso permite que as equipes centrais de TI adotem e integrem itens de autoatendimento populares com mais facilidade. Ao mesmo tempo, permite a operacionalização de serviços de transformação e movimentação de dados críticos alinhados aos padrões corporativos, incluindo linhagem de dados e monitoramento.
Para dar suporte às necessidades colaborativas e escalonáveis dos criadores, o Dataflow Gen2 no Fabric apresenta cópia rápida, que permite a ingestão eficiente de grandes volumes de dados usando a infraestrutura de back-end do Fabric para armazenar e processar dados intermediários durante a transformação. Ele pode lidar com terabytes de dados sem problemas. Os criadores de fluxo de dados podem especificar destinos de dados para seus dados transformados, como um Fabric lakehouse, warehouse, eventhouse ou Banco de Dados SQL do Azure, facilitando um melhor gerenciamento de dados e acessibilidade. Além disso, a recente integração da IA gerativa por meio do Copilot aprimora a experiência de preparação de dados fornecendo geração de código inteligente e automatizando tarefas repetitivas, fornecendo um caminho mais fácil e rápido para a criação de soluções complexas.
O uso de uma plataforma comum simplifica o fluxo de trabalho, levando a uma colaboração aprimorada entre a empresa e a TI. Portanto, as organizações podem dimensionar suas soluções de dados para níveis empresariais, garantindo alto desempenho, flexibilidade e eficiência no gerenciamento de grandes volumes de dados.
Capacidade do Fabric
Devido à arquitetura distribuída, a capacidade do Fabric é menos sensível à carga geral, picos temporais e alta simultaneidade. Ao consolidar as capacidades para SKUs de maior capacidade do Fabric, os clientes podem alcançar um maior desempenho e taxa de transferência.
Comparação de recursos
A tabela a seguir apresenta recursos compatíveis com o fluxo de dados do Power BI e/ou o Fabric Dataflow Gen2.
| Recurso | Power BI Dataflow Gen1 | Fabric Dataflow Gen2 |
|---|---|---|
| Conectividade | ||
| Suporte para todas as fontes de dados do Power Query | Sim | Sim |
| Conectar e carregar dados de fluxos de dados no Power BI Desktop, no Excel ou no Power Apps | Sim | Sim |
| DirectQuery por meio de fluxos de dados para se conectar diretamente a um fluxo de dados, ignorando a importação de dados em um modelo semântico | Sim | Não 1 |
| Escalabilidade | ||
| Cópia rápida, que dá suporte à ingestão de dados em grande escala, utilizando a atividade "Copy" de pipeline dentro dos fluxos de dados | Não | Sim |
| Atualização agendada, que mantém os dados atualizados | Sim | Sim |
| Atualização incremental, que usa políticas para automatizar a carga de dados incremental e pode ajudar a fornecer relatórios quase em tempo real | Sim | Sim |
| Orquestração de pipeline, que permite adicionar uma atividade Dataflow a um pipeline e criar eventos condicionais orquestrados | Não | Sim |
| Inteligência artificial | ||
| Copilot for Data Factory, que fornece geração de código inteligente para transformar dados com facilidade, e gera explicações de código para ajudar a entender melhor tarefas complexas | Não | Sim |
| Serviços Cognitivos, que usam IA (inteligência artificial) para aplicar algoritmos diferentes dos Serviços Cognitivos do Azure para enriquecer a preparação de dados de autoatendimento | Sim | Sim 2 |
| AutoML (machine learning automatizado), que permite que analistas de negócios treinem, validem e invoquem modelos de ML (aprendizado de máquina) diretamente no Fabric | Preterido 3 | |
| Integração do Azure Machine Learning, que expõe modelos personalizados como funções dinâmicas do Power Query que os usuários podem invocar no Editor do Power Query | Sim | Sim 2 |
| Gerenciamento de conteúdo | ||
| exibição de linhagem de dados, que ajuda os usuários a entender e avaliar as dependências dos itens do fluxo de dados | Sim | Sim |
| Pipelines de implantação, que gerenciam o ciclo de vida do conteúdo do Fabric | Sim | Sim |
| Escalabilidade e resiliência da plataforma | ||
| Arquitetura da capacidade Premium, que dá suporte a maior escala e desempenho | Sim | Sim |
| Suporte a multigeográfico, que ajuda os clientes multinacionais a atender aos requisitos de residência de dados regionais, específicos do setor ou organizacionais | Sim 4 | Sim |
| Segurança | ||
| Conectividade de gateway de dados de rede virtual (VNet), que permite que o Fabric funcione perfeitamente na rede virtual de uma organização | Não | Sim |
| Conectividade de gateway de dados local, que permite o acesso seguro de dados entre as fontes de dados locais de uma organização e o Fabric | Sim | Sim |
| Suporte para marcas de serviço do Azure, um grupo definido de endereços IP que é gerenciado automaticamente para minimizar a complexidade de atualizações ou alterações nas regras de segurança de rede | Sim | Sim |
| Governança | ||
| Endosso de conteúdo, para promover ou certificar itens valiosos e de alta qualidade do Fabric | Sim | Sim |
| Integração do Microsoft Purview, que ajuda os clientes a gerenciar e controlar itens do Fabric | Sim | Sim |
| Rótulos de confidencialidade da MIP (Proteção de Informações da Microsoft) e integração com o Microsoft Defender para Aplicativos na Nuvem para DLP (prevenção contra perda de dados) | Sim | Sim |
| Monitoramento e log de diagnóstico | ||
| Histórico de atualização aprimorado , que permite avaliar em detalhes o que ocorreu durante a atualização do seu fluxo de dados. | Não | Sim |
| Hub de monitoramento, que oferece funcionalidades de monitoramento para itens do Fabric | Não | Sim |
| Aplicativo de Métricas de Capacidade do Microsoft Fabric, que fornece recursos de monitoramento para a capacidade do Fabric | Sim | Sim |
| Log de auditoria, que acompanha as atividades do usuário no Fabric e no Microsoft 365 | Sim | Sim |
1 É recomendável usar destinos de dados e conectar-se diretamente às tabelas de saída, consulte este artigo.
2 Para saber como adicionar uma coluna de Prompt de IA no Dataflows Gen2 (CI/CD), consulte o prompt de IA do Fabric no Dataflow Gen2 (Prévia).
3 AutoML (Machine Learning Automatizado) foi preterido. Para mais informações, consulte este comunicado oficial .
4 Para configurar o armazenamento de fluxo de dados do Power BI para usar o Azure Data Lake Storage (ADLS) Gen2, consulte este artigo.
Considerações
É preciso considerar outros aspectos no planejamento antes de migrar para o Dataflow Gen2.
Licenciamento
Você precisa de uma licença Pro ou PPU (Premium por Usuário) para publicar ou gerenciar fluxos de dados do Power BI (Dataflow Gen1). Por outro lado, você só precisa de uma licença do Microsoft Fabric (Gratuito) para criar um Dataflow Gen2 em um workspace de capacidade Premium.
Cenários de migração
Ao migrar seus fluxos de dados, é importante pensar além de simplesmente copiar soluções existentes. Em vez disso, recomendamos modernizar suas soluções aproveitando as inovações e funcionalidades mais recentes do Dataflow Gen2. Essa abordagem garante que suas soluções possam dar suporte às demandas crescentes da empresa.
No artigo cenários de migração, são descritos vários métodos para atualizar, fazer inventário e usar aceleradores, como os modelos do Power Query. Esses métodos podem ajudar a garantir uma atualização perfeita para seus projetos.
Roteiro
O plano de lançamento do Microsoft Fabric anuncia as atualizações e cronogramas mais recentes à medida que os recursos são preparados para lançamento futuro, incluindo os novos recursos e o que está planejado para o Data Factory no Microsoft Fabric.
Conteúdo relacionado
Para obter mais informações sobre este artigo, confira os seguintes recursos: