Avaliador moderno para Dataflow Gen2 com CI/CD (Pré-visualização)

O Modern Query Evaluation Engine (também conhecido como "Modern Evaluator") é um novo recurso de visualização do Dataflow Gen2 (com suporte a CI/CD) no Microsoft Fabric. Ele fornece um novo mecanismo de execução de consulta em execução no .NET core versão 8, que pode melhorar significativamente o desempenho de execuções de fluxo de dados em alguns cenários.

Os fluxos de dados que executam o avaliador moderno podem beneficiar potencialmente de alguns destes benefícios-chave.

• Execução mais rápida do fluxo de dados: O mecanismo moderno pode reduzir substancialmente o tempo de avaliação da consulta. Muitos fluxos de dados são executados visivelmente mais rápidos, permitindo que você atualize os dados com mais frequência ou atenda a janelas de atualização apertadas.

• Processamento mais eficiente: O motor é otimizado para eficiência, usando algoritmos melhorados e um tempo de execução moderno. Isso significa que ele pode lidar com transformações complexas com menos sobrecarga, o que ajuda a manter o desempenho à medida que o volume de dados cresce.

• Escalabilidade e confiabilidade: Ao acelerar a execução e reduzir gargalos, o Modern Evaluator ajuda os fluxos de dados a escalar para volumes maiores com maior estabilidade. Os clientes podem esperar durações de atualização mais consistentes e menos problemas de tempo limite em grandes fluxos de dados ao usar o novo mecanismo.

Como habilitar o Avaliador Moderno

Siga estes passos para ativar o Motor de Avaliação de Queries Moderno para o fluxo de dados:

1. Abra o fluxo de dados para edição: no Fabric Data Factory, navegue até o item Dataflow Gen2 (CI/CD) e abra-o no editor do Power Query.

2. Vá para Opções (Configurações de escala): No editor de fluxo de dados, selecione o menu Opções. Na caixa de diálogo Opções, selecione na guia Escala.

3. Ativar o Avaliador Moderno: Localize a configuração para o mecanismo de avaliação de consultas moderno (Pré-visualização). Ative esta opção (marque ou alterne).

   

4. Salvar e executar: salve as configurações de fluxo de dados. Na próxima vez que você executar o fluxo de dados, ele usará o Modern Evaluator para conectores suportados.

Conectores suportados

O Modern Query Evaluation Engine suporta um conjunto limitado de conectores de dados. Certifique-se de que as fontes de dados do seu fluxo de dados estejam entre os tipos suportados para aproveitar o novo mecanismo. Os conectores atualmente suportados incluem:

• Armazenamento de Blobs do Azure
• Azure Data Lake Storage Gen2 (Armazenamento Azure Data Lake Gen2)
• Plataforma Lakehouse
• Armazém de Tecidos
• OData
• Fluxos de dados da plataforma de energia
• Lista do SharePoint Online
• Pasta do SharePoint
• Sítio Web

Se um fluxo de dados usar conectores que não estejam nessa lista, essas consultas continuarão a ser executadas com o mecanismo padrão (legado). O suporte para mais conectores se expandirá com o tempo à medida que o recurso se move em direção à disponibilidade geral.

Considerações sobre desempenho

Ao mudar para o mecanismo de avaliação moderno, você deve observar tempos de atualização mais rápidos, especialmente para fluxos com uso intensivo de dados. Por exemplo, transformações de dados que antes levavam uma hora podem ser concluídas em aproximadamente metade do tempo com o Avaliador Moderno ativado (os resultados reais variam de acordo com seus cenários). Este aumento de desempenho ajuda em cenários como:

• Grandes volumes de dados: Ao lidar com milhões de linhas ou arquivos grandes, as otimizações do novo mecanismo podem encurtar o tempo de processamento e reduzir o uso de memória.

• Transformações complexas: Fluxos de dados com muitas etapas de transformação ou operações pesadas (como junções em tabelas grandes) se beneficiam do plano de execução aprimorado do mecanismo, levando a uma conclusão mais suave e rápida.

• Agendamentos de execução frequentes: Se os fluxos de dados forem executados várias vezes ao dia, a economia de tempo por atualização se acumulará, permitindo que você forneça dados atualizados aos utilizadores mais rapidamente.