Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Microsoft Fabric reúne las herramientas de análisis de Microsoft en una única plataforma SaaS. Ofrece funcionalidades sólidas para la orquestación del flujo de trabajo, el movimiento de datos, la replicación y la transformación a escala. Fabric Data Factory proporciona un entorno SaaS que se basa en PaaS de Azure Data Factory (ADF) a través de mejoras de facilidad de uso y funcionalidad adicional, lo que hace que Fabric Data Factory sea la modernización perfecta de las soluciones de integración de datos existentes.
En esta guía se muestran las estrategias de migración, las consideraciones y los enfoques para ayudarle a pasar de Azure Data Factory a Fabric Data Factory.
¿Por qué migrar?
La migración desde canalizaciones de ADF y Synapse a Fabric Data Factory es más que un lift-and-shift: es una oportunidad para simplificar la gobernanza, estandarizar patrones y usar las características avanzadas de Fabric Data Factory para mejorar la estrategia de integración de datos.
Fabric ofrece muchas características nuevas, entre las que se incluyen:
- Actividades de canalización integradas como correo electrónico y Teams para el enrutamiento de mensajes
- CI/CD integrado (canalizaciones de implementación) sin dependencias externas de Git
- Integración sin problemas del área de trabajo con OneLake, Warehouse y Lakehouse para análisis unificados
- El modelo de datos semántico simplificado actualiza esa escala para satisfacer las necesidades de autoservicio y de datos empresariales.
- Funcionalidades de inteligencia artificial integradas con Copilot para ayudarle a crear y administrar canalizaciones
Para obtener una comparación detallada, consulte la guía de comparación de Azure Data Factory y Fabric Data Factory.
Diferencias de arquitectura críticas
Antes de migrar de Azure Data Factory a Fabric Data Factory, tenga en cuenta estas diferencias arquitectónicas críticas que tienden a tener el mayor efecto en el planeamiento de la migración:
| Categoría | Azure Data Factory | Fabric Data Factory | Impacto en la migración |
|---|---|---|---|
| Código personalizado | Actividad personalizada | Actividad de Azure Batch | El nombre de la actividad es diferente, pero admite la misma funcionalidad. |
| Dataflows | Mapeo de flujos de datos (basados en Spark) | Dataflow Gen2 (motor de Power Query) con copia rápida y varios destinos | Diferentes motores y funcionalidades de transformación. Consulte nuestra guía sobre flujos de datos para usuarios de Mapping Data Flow para obtener más información. |
| Conjuntos de datos | Objetos de conjunto de datos independientes y reutilizables | Las propiedades se definen en línea dentro de las actividades | Al convertir de ADF a Fabric, la información del "conjunto de datos" está dentro de cada actividad. |
| Conexiones dinámicas | Las propiedades del servicio vinculado pueden ser dinámicas mediante parámetros | Las propiedades de conexión no admiten propiedades dinámicas, pero las actividades de canalización pueden usar contenido dinámico en objetos de conexión. | En el caso de las soluciones basadas en arquitectura controlada por metadatos que se basan en conexiones parametrizadas, parametrice el objeto de conexión en Fabric. |
| parámetros globales | Parámetros globales | Biblioteca de variables de Fabric | Hay diferentes patrones de implementación y tipos de datos, aunque tenemos una guía de migración. |
| Actividades de HDInsight | Cinco actividades independientes (Hive, Pig, MapReduce, Spark, Streaming) | Actividad de HDInsight única | Solo necesita un tipo de actividad al convertir datos, pero toda la funcionalidad está soportada. |
| Identidad | Identidad administrada | Identidad del área de trabajo de Fabric | Diferentes modelos de identidad, con algún planeamiento necesario para cambiar. |
| Almacén de claves | Integración madura con todos los tipos de autenticación | Integración limitada mediante Referencia de Fabric Key Vault | Compare los orígenes y la autenticación admitidos actualmente de Key Vault con las configuraciones existentes. |
| Ejecución de canalización | Ejecución de la actividad de canalización | Invocar la actividad de la canalización con el tipo de conexión FabricDataPipeline | Los requisitos de nombre de actividad y conexión cambian al convertir. |
| Scheduling | Un desencadenador para muchas canalizaciones o muchos desencadenadores por canalización con administración centralizada | Una programación por canalización o muchas programaciones por canalización sin reutilización de programación ni centro central | Actualmente, Fabric requiere administración de programación por canalización. |
Rutas de migración:
Las rutas de migración dependen de los recursos de ADF y su paridad de funcionalidad. Entre las opciones se incluyen:
- Elementos de Azure Data Factory en Fabric para asegurar la continuidad. - Una vista en directo de la instancia de Azure Data Factory existente en Fabric, lo que permite la migración y las pruebas graduales. También es un buen primer paso antes de usar herramientas de conversión o replataformar.
- Use la herramienta de conversión de PowerShell para migrar canalizaciones con alta paridad. - Automatizar la migración de canalizaciones, actividades y parámetros a escala. Ideal para patrones estándar como Copy, Lookup y Stored Procedure.
- Migración manual para entornos complejos : recompile las canalizaciones en Fabric para aprovechar las nuevas características y optimizar el rendimiento. Esto es necesario para las canalizaciones con baja paridad o lógica personalizada, pero también es una oportunidad para modernizar la arquitectura.
Elementos de Azure Data Factory en el área de trabajo de Fabric
Agregar una instancia de ADF existente al área de trabajo de Fabric proporciona visibilidad y gobernanza inmediatas mientras se migra de forma incremental. Es ideal para la detección, la asignación de responsabilidades y las pruebas comparativas, ya que los equipos pueden ver canalizaciones, organizarlas en áreas de trabajo de Fabric y planear los recortes por dominio. Use elementos de Azure Data Factory para catalogar lo que existe, priorizar primero las canalizaciones de mayor valor y riesgo más bajo y establecer convenciones (nomenclatura, carpetas, reutilización de conexiones) que los scripts de conversión y las herramientas de asociados pueden seguir de forma coherente.
El montaje en Fabric se logra a través del tipo de elemento de Azure Data Factory: Bring your Azure Data Factory to Fabric.
Uso de la herramienta de actualización de PowerShell
Microsoft ofrece una utilidad de migración de ADF a Fabric en el módulo de Azure PowerShell. Al usar el módulo, puede traducir un gran subconjunto de JSON de ADF (canalizaciones, actividades, parámetros) en definiciones nativas de Fabric, lo que le proporciona un punto de partida rápido. Se espera una amplia cobertura para los patrones Copy/Lookup/Stored Procedure y el flujo de control, con un seguimiento manual de los casos límite (conectores personalizados, expresiones complejas, determinadas construcciones de flujo de datos). Trate la salida del script como una estructura: ejecútelo en lotes, aplique las comprobaciones de estilo de código y lint, y luego adjunte las conexiones y corrija los errores de coincidencia de propiedades. Construya esto en una ejecución de CI repetible para que pueda iterar a medida que aprende, en lugar de editar manualmente cada pipeline.
Para obtener una guía completa, consulte Migración de PowerShell. Para obtener un tutorial detallado con ejemplos, consulte el tutorial de migración de PowerShell.
Migración manual
La migración manual es necesaria para canalizaciones complejas con baja paridad, pero también es una oportunidad para modernizar la arquitectura y adoptar las características integradas de Fabric. Esta ruta requiere un planeamiento y desarrollo iniciales más iniciales, pero puede producir ventajas a largo plazo en la capacidad de mantenimiento, el rendimiento y el costo.
Para migrar de forma eficaz, siga estos pasos:
- Evaluación e inventario: cataloge todos los recursos de ADF, incluidas las canalizaciones, los conjuntos de datos, los servicios vinculados y los entornos de ejecución de integración. Identifique las dependencias y los patrones de uso.
- Identificar duplicados y elementos sin usar: limpie los elementos sin usar o redundantes en ADF para simplificar la migración y el entorno de integración de datos.
- Identificar brechas: use la herramienta de evaluación de migración y revise la paridad del conector y la paridad de actividad para identificar las brechas entre las canalizaciones de ADF y las canalizaciones de Fabric y planee alternativas.
- Revisar nuevas características: use nuestra guía de decisión de movimiento de datos y nuestra guía de decisión de integración de datos para decidir qué herramientas de Fabric funcionarán mejor para sus necesidades.
- Plan: revise los procedimientos recomendados de migración para conocer las consideraciones de cada uno de los elementos y las directrices para aprovechar las funcionalidades mejoradas de Fabric.
- Si usa parámetros globales en ADF, planee migrarlos a bibliotecas de variables de Fabric. Consulte Conversión de parámetros globales de ADF en bibliotecas de variables de Fabric para ver los pasos detallados.
- Transición de ADF: considere la posibilidad de agregar un elemento de Azure Data Factory en Microsoft Fabric como primer paso en la migración, lo que permite la transición gradual en una sola plataforma.
- Prioridad: clasifique las canalizaciones en función del impacto empresarial, la complejidad y la facilidad de migración.
- Automatiza donde puedas: para todas las canalizaciones de baja complejidad, considera la posibilidad de usar la herramienta de actualización de PowerShell para automatizar parte de la migración.
-
Considere las herramientas: use estas herramientas para facilitar la recreación:
- Use plantillas de Fabric como punto de partida para canalizaciones con escenarios comunes de integración de datos.
- Uso de parametrización para crear canalizaciones reutilizables
- Uso de Copilot en Fabric Data Factory para ayudar con la creación de canalizaciones
- Uso de canalizaciones de implementación para CI/CD y control de versiones
-
Migración manual: para escenarios que no sean compatibles con otros métodos de migración, recrearlos en Fabric.
- Volver a crear conexiones: Configurar conexiones en Fabric para reemplazar los servicios vinculados en ADF
- Volver a crear actividades: Configura tus actividades en tus canalizaciones, reemplazando las actividades no admitidas por alternativas de Fabric o mediante la actividad Invocar canalización.
- Programar y establecer desencadenadores: vuelva a generar programaciones y desencadenadores de eventos en Fabric para que coincidan con las programaciones de ADF.
- Prueba exhaustiva: valide las canalizaciones migradas con las salidas esperadas, los puntos de referencia de rendimiento y los requisitos de cumplimiento.
Escenarios de migración de ejemplo
Pasar de ADF a Fabric puede implicar diferentes estrategias en función de su caso de uso. En esta sección se describen las rutas de migración comunes y las consideraciones que le ayudarán a planear de forma eficaz.
- Escenario 1: canalizaciones y flujos de datos de ADF
- Escenario 2: ADF con CDC, SSIS y Airflow
- Escenario 3: migración de PowerShell
- Escenario 4: Elementos de ADF en un área de trabajo de Fabric
Escenario 1: canalizaciones y flujos de datos de ADF
Modernice el entorno de ETL moviendo canalizaciones y flujos de datos a Fabric. Planee estos elementos:
- Recrear servicios vinculados como conexiones
- Recrear parámetros globales como bibliotecas de variables
- Defina las propiedades del conjunto de datos en línea en las actividades de canalización
- Reemplace SHIR (entornos de ejecución de integración autohospedados) por OPDG (puertas de enlace de datos locales) e IR de red virtual por puertas de enlace de datos de red virtual
- Vuelva a generar actividades de ADF no admitidas mediante alternativas de Fabric o la actividad invocar canalización. Las actividades no admitidas incluyen:
- Data Lake Analytics (U-SQL), un servicio de Azure en desuso
- Actividad de validación, que se puede volver a generar mediante obtener metadatos, bucles de canalización y actividades If
- Power Query, que está totalmente integrado en Fabric como flujos de datos donde se puede reutilizar el código M
- Las actividades de Notebook, Jar y Python se pueden reemplazar por la actividad de Databricks en Fabric
- Las actividades de Hive, Pig, MapReduce, Spark y Streaming se pueden reemplazar por la actividad de HDInsight en Fabric
Por ejemplo, esta es la página de configuración del conjunto de datos de ADF, con su ruta de acceso de archivo y la configuración de compresión:
Y esta es una actividad de copia para Data Factory en Fabric, donde la compresión y la ruta de acceso de archivo se especifican en la actividad.
Escenario 2: ADF con CDC, SSIS y Airflow
Vuelva a crear CDC como Copiar elementos de trabajo . Para Airflow, copie los DAG en la oferta de Apache Airflow de Fabric. Ejecute paquetes SSIS mediante canalizaciones de ADF y llámelos desde Fabric.
Escenario 3: migración de PowerShell
Use el módulo de PowerShell Microsoft.FabricPipelineUpgrade para migrar las canalizaciones de Azure Data Factory a Fabric. Este enfoque funciona bien para automatizar la migración de canalizaciones, actividades y parámetros a escala. El módulo de PowerShell traduce un gran subconjunto de JSON de ADF en definiciones nativas de Fabric, lo que proporciona un punto de partida rápido para la migración.
Para obtener instrucciones detalladas, consulte el tutorial de migración de PowerShell.
Escenario 4: Elementos de ADF en un área de trabajo de Fabric
Puede agregar toda una fábrica de ADF en un espacio de trabajo de Fabric como un elemento nativo. Esto le permite administrar fábricas de ADF junto con artefactos de Fabric dentro de la misma interfaz. La interfaz de usuario de ADF sigue siendo totalmente accesible, lo que le permite supervisar, administrar y editar los elementos de fábrica de ADF directamente desde el área de trabajo de Fabric. Sin embargo, la ejecución de canalizaciones, actividades y entornos de ejecución de integración todavía se produce dentro de los recursos de Azure.
Esta característica es útil para las organizaciones que realizan la transición a Fabric, ya que proporciona una vista unificada de los recursos de ADF y Fabric, lo que simplifica la administración y el planeamiento de la migración.
Para más información, consulte Incorporación de Azure Data Factory a Fabric.