Escenario de un extremo a otro de Data Factory: introducción y arquitectura

Este tutorial le ayuda a acelerar el proceso de evaluación de Data Factory en Microsoft Fabric proporcionando los pasos para un escenario de integración de datos completo en un plazo de una hora. Al final de este tutorial, comprenderá el valor y las funcionalidades clave de Data Factory y sabrá cómo completar un escenario común de integración de datos de un extremo a otro.

El escenario se divide en una introducción y tres módulos:

• Introducción al tutorial y por qué debe usar Data Factory en Microsoft Fabric.
• Módulo 1: Creación de una canalización con Data Factory para ingerir datos sin procesar de un almacenamiento Blob en una tabla de capa de datos bronce en un Data Lakehouse.
• Módulo 2: Transforma datos con un flujo de datos en Data Factory para procesar los datos brutos de tu tabla bronze y moverlos a una tabla de la capa de datos gold en el Data Lakehouse.
• Módulo 3: Complete el primer recorrido de integración de datos y envíe un correo electrónico para notificarle una vez completados todos los trabajos y, por último, configure todo el flujo para que se ejecute según una programación.

¿Por qué Data Factory en Microsoft Fabric?

Microsoft Fabric proporciona una única plataforma para todas las necesidades analíticas de una empresa. Abarca el espectro de análisis, incluidos el movimiento de datos, los lagos de datos, la ingeniería de datos, la integración de datos, la ciencia de datos, el análisis en tiempo real y la inteligencia empresarial. Con Fabric, no es necesario unir diferentes servicios de varios proveedores. En su lugar, los usuarios disfrutan de un producto completo que es fácil de entender, crear, incorporar y operar.

Data Factory en Fabric combina la facilidad de uso de Power Query con la escala y la potencia de Azure Data Factory. Reúne lo mejor de ambos productos en una sola experiencia. El objetivo es que los desarrolladores de datos ciudadanos y profesionales tengan las herramientas de integración de datos adecuadas. Data Factory proporciona experiencias de preparación y transformación de datos habilitadas para inteligencia artificial con poco código, transformación a escala de petabyte y cientos de conectores con conectividad híbrida y multinube.

Tres características clave de Data Factory

• Ingesta de datos: La actividad de copia en canalizaciones (o el trabajo de copia independiente) le permite mover datos a escala de petabyte desde cientos de orígenes de datos a su data lakehouse para su posterior procesamiento.
• Transformación y preparación de datos: Dataflow Gen2 proporciona una interfaz de poco código para transformar los datos mediante más de 300 transformaciones de datos, con la capacidad de cargar los resultados transformados en varios destinos, como bases de datos de Azure SQL, Lakehouse, etc.
• Automatización de un extremo a otro: Las canalizaciones proporcionan orquestación de actividades que incluyen actividades de copia, flujo de datos y cuadernos, etc. Las actividades de una canalización se pueden encadenar para operar secuencialmente o pueden funcionar de forma independiente en paralelo. El flujo de integración de datos completo se ejecuta automáticamente y se puede supervisar en un solo lugar.

Arquitectura del tutorial

En los próximos 50 minutos, obtendrá información sobre las tres características clave de Data Factory a medida que completa un escenario de integración de datos de un extremo a otro.

El escenario se divide en tres módulos:

• Módulo 1: Creación de una canalización con Data Factory para ingerir datos sin procesar de un almacenamiento Blob en una tabla de capa de datos bronce en un Data Lakehouse.
• Módulo 2: Transforma datos con un flujo de datos en Data Factory para procesar los datos brutos de tu tabla bronze y moverlos a una tabla de la capa de datos gold en el Data Lakehouse.
• Módulo 3: Complete el primer recorrido de integración de datos y envíe un correo electrónico para notificarle una vez completados todos los trabajos y, por último, configure todo el flujo para que se ejecute según una programación.

Use el conjunto de datos de ejemplo NYC-Taxi como origen de datos del tutorial. Después de finalizar, podrá obtener información sobre los descuentos diarios en tarifas de taxi durante un período de tiempo específico mediante Data Factory en Microsoft Fabric.

Paso siguiente

Continúe con la sección siguiente para crear la canalización.