Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Dataflow Gen2 le ayuda a dar forma y transformar datos con facilidad. Ofrece una interfaz de bajo código y más de 300 transformaciones integradas de datos e inteligencia artificial, todo ello impulsado por la conocida experiencia de Power Query que encontrará en Excel, Power BI, Power Platform y Dynamics 365.
Al publicar un flujo de datos, crea una definición que se ejecuta durante la actualización. El motor de Dataflow Gen2 usa esa definición para planear y administrar cómo se ejecutan las consultas, entre orígenes de datos, puertas de enlace y motores de proceso. Crea tablas en el almacenamiento provisional o las envía al destino elegido, por lo que obtiene resultados confiables sin el trabajo pesado.
El diagrama captura los componentes de la arquitectura Dataflow Gen2 de Data Factory, incluido el Lakehouse que se utiliza para almacenar provisionalmente los datos que se están ingiriendo, y el elemento Warehouse utilizado como motor de proceso para escribir resultados en almacenamiento provisional o de salida de manera más rápida. Cuando no se puede usar el proceso de Warehouse, o cuando el almacenamiento provisional está deshabilitado para una consulta, el motor mashup extraerá, transformará o cargará los datos en destinos de almacenamiento provisional o de datos. Puede obtener más información sobre cómo funciona Dataflow Gen2 en este blog: Contenido destacado de Data Factory: Dataflow Gen2.
Al actualizar o publicar un elemento de Dataflow Gen2, las Fabric Capacity Units se consumen para los siguientes motores:
- Cómputo estándar: se le cobra en función del tiempo de evaluación de consultas en todas sus consultas de Dataflow que se ejecutan a través del motor Mashup.
- Proceso de flujo de datos a gran escala: se le cobra cuando el almacenamiento de preparación está habilitado, en función de la duración del consumo del motor SQL del Lakehouse (almacenamiento de preparación) y del cómputo de almacenamiento.
- Copia rápida: se le cobra cuando los conectores de copia rápida están habilitados y se pueden usar en el flujo de datos, en función de la duración del trabajo de copia.
Modelo de precios de Dataflow Gen2
Cómo se determinan las tarifas de precios
Los precios de Dataflow Gen2 dependen de cómo cada consulta utiliza los recursos de cómputo. Para la computación estándar, las consultas se ejecutan en el motor de combinación. Dependiendo de si el flujo de datos es Dataflow Gen2 (CI/CD), la clasificación varía.
En Dataflow Gen2 (CI/CD), hay una tasa de dos niveles aplicada a la duración de la consulta:
- Si una consulta se ejecuta en menos de 10 minutos, se evalúa en 12 CU.
- Si se ejecuta más tiempo, cada segundo adicional se clasifica en 1,5 CU.
Si dataflow Gen2 no es CI/CD, la tasa es de 16 CU aplicada a toda la duración de la consulta.
Para escenarios a gran escala( cuando el almacenamiento provisional está activado), las consultas se ejecutan en el motor sql de Lakehouse o Warehouse. Cada segundo de tiempo de proceso usa 6 SEGUNDOS de CU, por lo que las consultas más largas consumen más.
Si activa una copia rápida, hay una velocidad independiente para el movimiento de datos: 1,5 CU, en función de cuánto tiempo se ejecuta la actividad.
Al final de cada ejecución, Dataflow Gen2 agrega el uso de CU de cada motor y lo factura en función de los precios de capacidad de Fabric en su región.
Tabla de tasas CU
| Tipo de motor de Dataflow Gen2 | Medidores de consumo | Tasa de consumo de CU de Fabric | Granularidad del informe de consumo |
|---|---|---|---|
| Proceso estándar (Flujo de datos Gen2 (CI/CD)) | Se basa en la duración de ejecución de consultas del motor de mashup en segundos. Compute estándar tiene dos niveles de precios dependiendo de la duración de la consulta de datos. | - Por cada segundo hasta 10 minutos: 12 CU (unidades de computación) - Por cada segundo más allá de 10 minutos, 1,5 CU |
Por elemento de Dataflow Gen2 |
| Proceso estándar (no CI/CD) | Se basa en la duración de ejecución de consultas del motor de mashup en segundos. | 16 Unidades de Computación | Por elemento de Dataflow Gen2 |
| Proceso de flujos de datos a gran escala | Se basa en la ejecución del motor SQL de Lakehouse o Warehouse (con el almacenamiento provisional habilitado) en segundos. | 6 CU | Por área de trabajo |
| Movimiento de datos | Basado en la duración en segundos de la ejecución de Fast Copy y en los recursos de capacidad de procesamiento utilizados para la optimización inteligente. | 1,5 CU | Por elemento de Dataflow Gen2 |
Precios de puerta de enlace de datos de red virtual con flujo de datos Gen2
La puerta de enlace de datos de red virtual (VNET) se factura como un cargo adicional de infraestructura asociado a una capacidad de Fabric. Esto significa que tiene su propio medidor e incurre en una factura que es coherente y que va aparte de todas las ejecuciones de elementos de Fabric.
La factura total de la ejecución de Dataflow Gen2 a través de la puerta de enlace de datos VNET se calcula como: Cargo de Dataflow Gen2 + Cargo de puerta de enlace de datos VNET.
Los cargos de la puerta de enlace de datos de VNET son proporcionales al uso de la puerta de enlace de datos de VNET; el uso se define como el tiempo de actividad o cualquier momento en que la puerta de enlace de datos de VNET esté activada.
Tasa de consumo de CU de la puerta de enlace de datos de VNET: 4 CU
Obtenga más información en Precios y facturación de las puertas de enlace de datos de red virtual.
Cambios en la tasa de consumo de cargas de trabajo de Microsoft Fabric
Las tasas de consumo están sujetas a cambios en cualquier momento. Microsoft hace todo lo posible para avisar por correo electrónico y mediante una notificación en el producto. Los cambios son efectivos en la fecha indicada en las Notas de la versión y en el Blog de Microsoft Fabric. Si algún cambio en una tasa de consumo de carga de trabajo de Microsoft Fabric aumenta materialmente las unidades de capacidad (CU) necesarias para usar una carga de trabajo determinada, los clientes pueden usar las opciones de cancelación disponibles para el método de pago elegido.
Calcular los costos estimados usando la aplicación de Métricas de Fabric y el historial de actualización de Dataflow
La aplicación Métricas de capacidad de Microsoft Fabric proporciona visibilidad sobre el uso de la capacidad para todas las áreas de trabajo de Fabric asociadas a una capacidad. Los administradores de capacidad la utilizan para supervisar el rendimiento de las cargas de trabajo y su uso, en comparación con la capacidad adquirida. El uso de la aplicación Métricas es la forma más precisa de calcular los costos de las ejecuciones de actualización de Dataflow Gen2. Para comprender cómo los precios por niveles afectaron a los costos de cálculo estándar, también debe usar el historial de actualizaciones de Dataflow.
Estos ejercicios muestran cómo validar los costos de los flujos de datos de CI/CD y no-CI/CD. Para el flujo de datos de CI/CD con proceso estándar, usaremos un ejemplo y proporcionaremos instrucciones para todos los demás escenarios.
Ejercicio 1: Proceso estándar para un flujo de datos de CI/CD
El siguiente flujo de datos tiene dos consultas que implican transformación y el almacenamiento provisional está deshabilitado.
Dataflow Gen2 solo usará el cómputo estándar.
Para cada consulta, acceda a la duración de la consulta desde el historial de actualización y aplique la fórmula siguiente para calcular el consumo de CU por consulta.
Para la primera consulta, la duración es de 2131 segundos.
Del mismo modo, para la segunda consulta, la duración es de 913 segundos.
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
Para la consulta 1, el consumo calculado es de 9497 SEGUNDOS y, para la consulta 2, el consumo calculado es de 7670 SEGUNDOS.
Agregue el consumo de capacidad en segundos de CU y valide el consumo en la aplicación de métricas de capacidad de Fabric. En este escenario, la aplicación de métricas muestra 17 180 segundos de CU como el uso de proceso estándar, que se compara bien con el consumo calculado de 17 167 segundos de CU. Cualquier discrepancia podría deberse al redondeo en los informes periódicos de uso.
Ejercicio 2: Proceso estándar para un flujo de datos que no es de CI/CD
Cuando el flujo de datos implica la transformación y el almacenamiento provisional está deshabilitado, Dataflow Gen2 solo usará el Compute estándar.
Para cada consulta, acceda a la duración de la consulta desde el historial de actualización y aplique la fórmula siguiente para calcular el consumo de CU por consulta.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
Agregue el consumo de capacidad en segundos de CU y valide el consumo en la aplicación de métricas de capacidad de Fabric.
Ejercicio 3: Comprensión del consumo de computación a gran escala (flujos de datos CI/CD y no CI/CD)
Si tu flujo de datos usa el almacenamiento intermedio, para averiguar cuánto cómputo de Alta Escala has usado, abre la aplicación de Métricas de Capacidad de Fabric y filtra por el nombre de tu flujo de datos. Haga clic con el botón derecho en el nombre, busque Proceso a gran escala en la lista de operaciones y compruebe la duración.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
Ejercicio 4: Entender el consumo de recursos computacionales en copias rápidas (tanto en flujos de datos CI/CD como no CI/CD)
Si tu flujo de datos usa copia rápida, para averiguar cuánta capacidad de movimiento de datos usaste, abre la Fabric Capacity Metrics App y filtra por el nombre de tu flujo de datos. Haga clic con el botón derecho en el nombre, busque Movimiento de datos en la lista de operaciones y compruebe la duración.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5