Evaluador moderno para Dataflow Gen2 con CI/CD (versión preliminar)

El motor de evaluación de consultas modernas (también conocido como "Evaluador moderno") es una nueva característica en versión preliminar para Dataflow Gen2 (con compatibilidad con CI/CD) en Microsoft Fabric. Proporciona un nuevo motor de ejecución de consultas que se ejecuta en la versión 8 de .NET Core, que puede mejorar significativamente el rendimiento de las ejecuciones de flujo de datos en algunos escenarios.

Los flujos de datos que ejecutan el evaluador moderno podrían experimentar algunas de estas ventajas clave:

• Ejecución más rápida del flujo de datos: el motor moderno puede reducir considerablemente el tiempo de evaluación de consultas. Muchos flujos de datos se ejecutan notablemente más rápido, lo que le permite actualizar los datos con más frecuencia o cumplir las ventanas de actualización ajustadas.

• Procesamiento más eficaz: el motor está optimizado para mejorar la eficacia, mediante algoritmos mejorados y un entorno de ejecución moderno. Esto significa que puede controlar transformaciones complejas con menos sobrecarga, lo que ayuda a mantener el rendimiento a medida que crece el volumen de datos.

• Escalabilidad y confiabilidad: al acelerar la ejecución y reducir los cuellos de botella, el evaluador moderno ayuda a escalar los flujos de datos a volúmenes más grandes con mayor estabilidad. Los clientes pueden esperar duraciones de actualización más coherentes y menos problemas de tiempo de espera en flujos de datos grandes al usar el nuevo motor.

Habilitación del evaluador moderno

Siga estos pasos para activar el motor de evaluación de consultas moderna para un flujo de datos:

1. Abra el flujo de datos para su edición: en Fabric Data Factory, vaya al elemento Dataflow Gen2 (CI/CD) y ábralo en el editor de Power Query.

2. Vaya a Opciones (Configuración de escala):en el editor de flujos de datos, seleccione el menú Opciones. En el cuadro de diálogo Opciones, seleccione en la pestaña Escala.

3. Habilite el evaluador moderno: busque la configuración del motor de evaluación de consultas moderna (versión preliminar). Active esta opción (active o desactive).

   

4. Guardar y ejecutar: guarde la configuración del flujo de datos. La próxima vez que ejecute el flujo de datos, usará el evaluador moderno para los conectores admitidos.

Conectores compatibles

El motor de evaluación de consultas moderna admite un conjunto limitado de conectores de datos. Asegúrese de que los orígenes de datos del flujo de datos están entre los tipos admitidos para aprovechar el nuevo motor. Los conectores admitidos actualmente incluyen:

• Azure Blob Storage
• Azure Data Lake Storage Gen2
• Fabric Lakehouse
• Fabric Warehouse
• OData
• Flujos de datos de Power Platform
• Lista de SharePoint Online
• Carpeta de SharePoint
• Web

Si un flujo de datos usa conectores que no están en esta lista, esas consultas continúan ejecutándose con el motor estándar (heredado). La compatibilidad con más conectores se expandirá con el tiempo a medida que la característica avanza hacia la disponibilidad general.

Consideraciones sobre el rendimiento

Al cambiar al motor de evaluación moderno, debe observar tiempos de actualización más rápidos especialmente para flujos que consumen muchos datos. Por ejemplo, las transformaciones de datos que anteriormente tardaron una hora podrían completarse aproximadamente la mitad del tiempo con el evaluador moderno habilitado (los resultados reales varían en función de los escenarios). Este aumento del rendimiento ayuda en escenarios como:

• Grandes volúmenes de datos: al tratar con millones de filas o archivos grandes, las optimizaciones del nuevo motor pueden acortar el tiempo de procesamiento y reducir el uso de memoria.

• Transformaciones complejas: los flujos de datos con muchos pasos de transformación o operaciones pesadas (como combinaciones entre tablas grandes) se benefician del plan de ejecución mejorado del motor, lo que conduce a una finalización más fluida y rápida.

• Programaciones de ejecución frecuentes: si los flujos de datos se ejecutan varias veces al día, el ahorro de tiempo por actualización se acumula, lo que le permite entregar datos de up-to-date a los usuarios más rápidamente.