Avaliador moderno para o Dataflow Gen2 com CI/CD (versão prévia)

O Mecanismo de Avaliação de Consulta Moderna (também conhecido como "Avaliador Moderno") é um novo recurso de visualização para o Dataflow Gen2 (com suporte a CI/CD) no Microsoft Fabric. Ele fornece um novo mecanismo de execução de consulta em execução no .NET Core versão 8, que pode melhorar significativamente o desempenho das execuções de fluxo de dados em alguns cenários.

Os fluxos de dados que executam o avaliador moderno poderiam obter alguns desses principais benefícios:

• Execução mais rápida do fluxo de dados: o mecanismo moderno pode reduzir substancialmente o tempo de avaliação da consulta. Muitos fluxos de dados são executados visivelmente mais rapidamente, permitindo que você atualize os dados com mais frequência ou atenda a janelas de atualização apertadas.

• Processamento mais eficiente: o mecanismo é otimizado para eficiência, usando algoritmos aprimorados e um runtime moderno. Isso significa que ele pode lidar com transformações complexas com menos sobrecarga, o que ajuda a manter o desempenho à medida que o volume de dados aumenta.

• Escalabilidade e confiabilidade: acelerando a execução e reduzindo gargalos, o Avaliador Moderno ajuda os fluxos de dados a serem dimensionados para volumes maiores com maior estabilidade. Os clientes podem esperar durações de atualização mais consistentes e menos problemas de tempo limite em grandes fluxos de dados ao usar o novo mecanismo.

Como habilitar o Avaliador Moderno

Siga estas etapas para ativar o Mecanismo de Avaliação de Consulta Moderna para um fluxo de dados:

1. Abra o fluxo de dados para edição: no Fabric Data Factory, navegue até o item CI/CD (Dataflow Gen2) e abra-o no editor do Power Query.

2. Ir para Opções (Configurações de escala): no editor de fluxo de dados, selecione o menu Opções. Na caixa de diálogo Opções, selecione na guia Dimensionar.

3. Habilitar o Avaliador Moderno: localize a configuração do mecanismo de avaliação de consulta moderna (versão prévia). Ative esta opção (marque ou troque).

   

4. Salvar e executar: salve as configurações de fluxo de dados. Na próxima vez que você executar o fluxo de dados, ele usará o Avaliador Moderno para conectores com suporte.

Conectores com suporte

O Mecanismo de Avaliação de Consulta Moderna dá suporte a um conjunto limitado de conectores de dados. Verifique se as fontes de dados do fluxo de dados estão entre os tipos com suporte para aproveitar o novo mecanismo. Os conectores com suporte no momento incluem:

• Armazenamento de Blobs do Azure
• Azure Data Lake Storage Gen2
• Fabric Lakehouse
• Fabric Warehouse
• OData
• Fluxos de dados do Power Platform
• Lista do SharePoint Online
• Pasta do SharePoint
• Web

Se um fluxo de dados usar conectores que não estão nessa lista, essas consultas continuarão a ser executadas com o mecanismo padrão (herdado). O suporte para mais conectores se expandirá ao longo do tempo à medida que o recurso se move em direção à disponibilidade geral.

Considerações sobre desempenho

Ao alternar para o mecanismo de avaliação moderno, você deve observar tempos de atualização mais rápidos, especialmente para fluxos com uso intensivo de dados. Por exemplo, as transformações de dados que levaram uma hora anteriormente podem ser concluídas em aproximadamente metade do tempo com o Avaliador Moderno habilitado (os resultados reais variam de acordo com seus cenários). Esse aumento de desempenho ajuda em cenários como:

• Grandes volumes de dados: ao lidar com milhões de linhas ou arquivos grandes, as otimizações do novo mecanismo podem reduzir o tempo de processamento e reduzir o uso de memória.

• Transformações complexas: fluxos de dados com muitas etapas de transformação ou operações pesadas (como junções em tabelas grandes) se beneficiam do plano de execução aprimorado do mecanismo, levando a uma conclusão mais suave e rápida.

• Agendamentos de execução frequentes: se seus fluxos de dados forem executados várias vezes por dia, a economia de tempo por atualização se acumulará, permitindo que você forneça dados atualizados aos usuários mais rapidamente.