Arquitecturas de soluciones DE CI/CD y ALM para Dataflow Gen2

Microsoft Fabric proporciona herramientas para la integración continua/implementación continua (CI/CD) y administración del ciclo de vida de las aplicaciones (ALM). Estas herramientas ayudan a los equipos a crear, probar e implementar soluciones de datos con coherencia y gobernanza.

Dataflow Gen2 con soporte para CI/CD integra flujos de datos en canalizaciones de implementación de Fabric. Esta integración automatiza las fases de compilación, prueba e implementación. Proporciona una entrega coherente y controlada por versiones de flujos de datos y mejora la confiabilidad mediante la inserción de Dataflow Gen2 en la orquestación de canalizaciones de Fabric.

En este artículo se proporcionan instrucciones sobre las arquitecturas de soluciones para el flujo de datos y los elementos relacionados de Fabric, teniendo en cuenta CI/CD y ALM. Puede usar esta guía para crear una solución que se adapte a sus necesidades. Este artículo se centra en dos objetivos específicos:

• Coherencia: mantenga el mashup script de su flujo de datos sin cambios en todo el ciclo de vida de la aplicación (o las fases de implementación en una canalización de despliegue).
• Configuración específica de la fase: use referencias dinámicas para orígenes de datos y destinos que se adapten a cada fase (Desarrollo, Prueba, Prod).

Arquitecturas de las soluciones

Una buena arquitectura de solución funciona para Dataflow Gen2 y se extiende en la solución global de Fabric.

En la tabla siguiente se describen las arquitecturas de solución disponibles al usar dataflow Gen2:

Tipo	Description	Diagrama	Tutorial
Flujo de datos con parámetros Gen2	Con el modo de parámetros públicos, puede parametrizar componentes de flujo de datos (como lógica, orígenes o destinos) y pasar valores en tiempo de ejecución para adaptar dinámicamente el flujo de datos en función de la fase de canalización.		Vínculo al tutorial
Referencias de variables en un flujo de datos Gen2	Con la integración de bibliotecas de variables con Dataflow Gen2, puede hacer referencia a variables en todo el flujo de datos. Estas variables se evalúan en tiempo de ejecución en función de los valores almacenados en la biblioteca, lo que permite el comportamiento dinámico alineado con la fase de canalización.		Vínculo al tutorial

La principal diferencia entre estos dos enfoques es cómo pasan valores en tiempo de ejecución. Un flujo de datos con parámetros requiere un proceso mediante la API REST o la actividad de Flujo de datos en una canalización de Fabric para pasar valores. La integración de bibliotecas de variables con Dataflow Gen2 requiere una biblioteca de variables en el nivel de área de trabajo y las variables correctas a las que se hace referencia dentro del flujo de datos.

Ambas opciones son válidas y cada una tiene sus propias consideraciones y limitaciones. Se recomienda evaluar cómo funciona el flujo de trabajo y cómo encaja en la solución general de Fabric.

Consideraciones generales

Estos son los aspectos que se deben tener en cuenta al elegir una arquitectura de solución con CI/CD y ALM en mente:

• Referencias predeterminadas: Dataflow Gen2 crea referencias absolutas a elementos de Fabric (por ejemplo, Lakehouses, Warehouses) de forma predeterminada. Revise el flujo de datos para identificar qué referencias deben permanecer fijas y cuáles se deben adaptar dinámicamente entre entornos.
• Comportamiento de conexión: Dataflow Gen2 no admite la reconfiguración dinámica de conexiones de origen de datos. Si el flujo de datos se conecta a orígenes como bases de datos SQL mediante parámetros (por ejemplo, nombre del servidor, nombre de base de datos), esas conexiones se enlazan estáticamente y no se pueden modificar mediante variables de área de trabajo o parametrización.
• Ámbito de integración de Git: se recomienda que solo la primera fase (normalmente de desarrollo) necesite la integración de Git habilitada. Una vez creado y confirmado el script de mashup, las fases posteriores pueden usar canalizaciones de implementación sin Git.
• Uso de canalizaciones de Fabric para orquestar: una actividad de flujo de datos en canalizaciones puede ayudarle a organizar la ejecución del flujo de datos y pasar parámetros mediante una interfaz de usuario intuitiva. También puede usar la integración de la biblioteca de variables con canalizaciones para recuperar los valores de las variables y pasar esos valores a los parámetros de flujo de datos en tiempo de ejecución.
• Compatibilidad de reglas de implementación: actualmente, las reglas de implementación pueden modificar determinadas propiedades de elemento, pero no admiten la modificación de las conexiones de flujo de datos ni la lógica de mashup. Planee la arquitectura en consecuencia.
• Pruebas entre fases: valide siempre el comportamiento del flujo de datos en cada fase después de la implementación. Las diferencias en los orígenes de datos, los permisos o los valores de variable pueden provocar resultados inesperados.