Migración PlanificaciónMigración de grupos de SQL dedicados de Azure Synapse Analytics a Fabric Data Warehouse

Esto se aplica a:✅ Warehouse en Microsoft Fabric

En este artículo se detallan la estrategia, las consideraciones y los métodos de migración del almacenamiento de datos en grupos de SQL dedicados de Azure Synapse Analytics a Microsoft Fabric Warehouse.

Introducción a la migración

Microsoft presentó Microsoft Fabric, una solución de análisis SaaS todo en uno para empresas que ofrece un conjunto completo de servicios, como Data Factory, Ingeniería de datos, Almacenamiento de datos, Ciencia de datos, Inteligencia en tiempo real y Power BI.

Este artículo se centra en las opciones de migración de esquemas (DDL), migración de código de base de datos (DML) y migración de datos. Microsoft ofrece varias opciones, y aquí se describe cada una en detalle y se proporciona orientación sobre cuál de estas debe tener en cuenta para su escenario. En este artículo se usa el punto de referencia del sector TPC-DS para las pruebas de ilustración y rendimiento. El resultado real puede variar en función de muchos factores, como el tipo de datos, los tipos de datos, el ancho de las tablas, la latencia del origen de datos, etc.

Preparación para la migración

Planee cuidadosamente el proyecto de migración antes de empezar y asegúrese de que el esquema, el código y los datos son compatibles con Fabric Warehouse. Existen algunas limitaciones que debe tener en cuenta. Cuantifique el trabajo de refactorización de los elementos incompatibles, así como cualesquiera otros recursos necesarios antes de la entrega del proceso de migración.

Otro objetivo clave de la planificación es ajustar el diseño para garantizar que la solución aproveche al máximo el alto rendimiento de las consultas para el que está diseñado Fabric Warehouse. El diseño de almacenamientos de datos con fines de escalabilidad presenta diferentes patrones de diseño, por lo que los enfoques tradicionales no son siempre los mejores. Revise las directrices de rendimiento, ya que, aunque se pueden realizar algunos ajustes de diseño después de la migración, realizar cambios anteriormente en el proceso le ahorrará tiempo y esfuerzo. La migración de una tecnología o entorno a otra siempre es un esfuerzo importante.

En el siguiente diagrama se muestra el ciclo de vida de migración que enumera los principales pilares que constan de valoración y evaluación, plan y diseño, migración, supervisión y control, optimización y modernización de pilares con las tareas asociadas de cada pilar para planear y preparar la migración sin problemas.

Manual de procedimientos para la migración

Tenga en cuenta las siguientes actividades como guía para la migración desde grupos de SQL dedicados de Synapse a Fabric Warehouse.

1. Valoración y evaluación
   1. Identifique objetivos y motivaciones. Establezca resultados deseados claros.
   2. Detecte, evalúe y establezca la línea de base de la arquitectura existente.
   3. Identifique las partes interesadas y los patrocinadores clave.
   4. Defina el ámbito de lo que se va a migrar.
      1. Comience por algo pequeño y sencillo, prepárese para varias migraciones pequeñas.
      2. Comience a supervisar y documentar todas las fases del proceso.
      3. Generar el inventario de datos y procesos para la migración.
      4. Definir los cambios en el modelo de datos (si procede).
      5. Configure el área de trabajo de Fabric.
   5. ¿Cuáles son tus habilidades y/o preferencias?
      1. Automatice siempre que sea posible.
      2. Uso de herramientas y características integradas de Azure para reducir el esfuerzo de migración.
   6. Entrene al personal en la nueva plataforma desde el principio.
      1. Identificación de las necesidades de mejora y los recursos de entrenamiento, incluido Microsoft Learn.
2. Plan y diseño
   1. Defina la arquitectura deseada.
   2. Seleccione el método o herramientas de la migración para realizar las siguientes tareas:
      1. Extracción de datos del origen.
      2. Conversión de esquema (DDL), incluidos los metadatos para tablas y vistas
      3. Ingesta de datos, incluidos los datos históricos.
         1. Si procede, vuelva a diseñar el modelo de datos, con el nuevo rendimiento y escalabilidad de la plataforma.
      4. Migración de código de base de datos (DML).
         1. Migre o refactorice los procedimientos almacenados y los procesos empresariales.
   3. Realice un inventario y extraiga las características de seguridad y los permisos de objeto del origen.
   4. Diseñe y planee reemplazar o modificar los procesos ETL/ELT existentes para la carga incremental.
      1. Cree procesos ETL/ELT paralelos en el nuevo entorno.
   5. Prepare un plan de migración detallado.
      1. Mapea el estado actual al nuevo estado deseado.
3. Migrar
   1. Realice el esquema, los datos y la migración de código.
      1. Extracción de datos del origen.
      2. Conversión de esquema (DDL)
      3. Ingesta de datos
      4. Migración de código de base de datos (DML).
   2. Si es necesario, escale temporalmente los recursos del grupo SQL dedicado para facilitar la migración.
   3. Aplique seguridad y permisos.
   4. Actualice los procesos ETL/ELT existentes para lograr una carga incremental.
      1. Migre o reestructure los procesos de carga incremental para ETL/ELT.
      2. Pruebe y compare los procesos de carga de incrementos paralelos.
   5. Adapte el plan de migración detallado según sea necesario.
4. Supervisión y control
   1. Ejecute en paralelo y compárelo con el entorno de origen.
      1. Pruebe aplicaciones, plataformas de inteligencia empresarial y herramientas de consulta.
      2. Realice evaluaciones comparativas y optimice el rendimiento de las consultas.
      3. Supervise y administre los costos, la seguridad y el rendimiento.
   2. Punto de referencia y valoración de la gobernanza.
5. Optimización y modernización
   1. Cuando la empresa se sienta cómoda, realice la transición de aplicaciones y plataformas de informes principales a Fabric.
      1. Escale o reduzca verticalmente los recursos a medida que la carga de trabajo cambie de Azure Synapse Analytics a Microsoft Fabric.
      2. Cree una plantilla repetible a partir de la experiencia adquirida para futuras migraciones. Itere.
      3. Identifique oportunidades de optimización de costos, seguridad, escalabilidad y excelencia operativa
      4. Identifique las oportunidades para modernizar el patrimonio de datos con las características más recientes de Fabric.

¿Migración mediante lift-and-shift o modernización?

En general, hay dos tipos de escenarios de migración, independientemente del propósito y el ámbito de la migración planeada: lift-and-shift, o un enfoque por fases que incorpore cambios arquitectónicos y de código.

Migración mediante lift-and-shift

En una migración mediante lift-and-shift, se migra un modelo de datos existente con cambios menores en el nuevo almacenamiento de Fabric. Este enfoque minimiza el riesgo y el tiempo de migración al reducir el nuevo trabajo necesario para obtener las ventajas de la migración.

La migración mediante lift-and-shift es una buena opción para estos escenarios:

• Tiene un entorno existente con un pequeño número de data marts que se van a migrar.
• Tiene un entorno existente con datos que ya están en un esquema de estrella o copo de nieve bien diseñado.
• Está bajo presión de tiempo y costos para pasar a Fabric Warehouse.

En resumen, este enfoque funciona bien para esas cargas de trabajo optimizadas con el entorno actual de grupos de SQL dedicados de Synapse y, por lo tanto, no requiere cambios importantes en Fabric.

Modernización en un enfoque por fases con cambios arquitectónicos

Si un almacén heredado ha evolucionado con el tiempo, es posible que tenga que volver a diseñarlo para mantener el rendimiento necesario.

También puede que quiera rediseñar la arquitectura para aprovechar los nuevos motores y características disponibles en el área de trabajo de Fabric.

Diferencias de diseño: grupos de SQL dedicados de Synapse y Fabric Warehouse

Tenga en cuenta las siguientes diferencias de almacenamiento de datos de Azure Synapse y Microsoft Fabric, comparando los grupos de SQL dedicados con Fabric Warehouse.

Consideraciones sobre las tablas

Al migrar tablas entre distintos entornos, normalmente solo se migran físicamente los datos sin procesar y los metadatos que los describen. Otros elementos de base de datos del sistema de origen, como los índices, normalmente no se migran porque podrían ser innecesarios o implementados de forma diferente en el nuevo entorno.

Las optimizaciones de rendimiento en el entorno de origen, como los índices, indican dónde puede agregar optimizaciones del rendimiento en un nuevo entorno, pero ahora Fabric se encarga de eso automáticamente.

Consideraciones de T-SQL

Hay varias diferencias de sintaxis del lenguaje de manipulación de datos (DML) que hay que tener en cuenta. Consulte la superficie de T-SQL en Fabric Data Warehouse. Considere también una evaluación de código al elegir métodos de migración para el código de base de datos (DML).

En función de las diferencias de paridad en el momento de la migración, es posible que tenga que volver a escribir partes del código DML de T-SQL.

Diferencias de asignación de tipos de datos

Hay varias diferencias de tipo de datos en Fabric Warehouse. Para obtener más información, consulte Tipos de datos en Microsoft Fabric.

En la siguiente tabla se proporciona la asignación de tipos de datos admitidos de grupos de SQL dedicados de Synapse a Fabric Warehouse.

* Datetime2 no almacena la información adicional de desplazamiento de zona horaria en la que se almacena. Dado que el tipo de datos datetimeoffset no se admite actualmente en Fabric Warehouse, los datos de desplazamiento de zona horaria deben extraerse en una columna independiente.

Contenido relacionado

• Creación de un almacén en Microsoft Fabric
• Directrices de rendimiento de Fabric Data Warehouse
• Seguridad para el almacenamiento de datos en Microsoft Fabric
• Blog: AsignaciónAsignación de grupos de SQL dedicados de Azure Synapse al proceso de almacenamiento de datos de Fabric
• Introducción a la migración de Microsoft Fabric