Limitaciones de las bases de datos replicadas de Microsoft Fabric en Google BigQuery

Esta guía le ayuda a obtener más información sobre las limitaciones existentes en BigQuery duplicada en Microsoft Fabric.

Limitaciones de nivel de base de datos

Al reflejar tablas sin claves principales, solo puede realizar inserciones para garantizar la precisión de los datos. Si se encuentran cambios no insertes, la tabla se vuelve a aplicar automáticamente (la tabla se vuelve a reproducir en su totalidad). Si se producen varios cambios que no son de inserción después del reseed inicial, el Mirroring entra en un estado de espera temporal; este estado ayuda a reducir los costos y limita la replicación completa innecesaria de tablas. Después del período de retroceso, la tabla volverá a su estado normal de espejado (replicación continua de datos).

Limitaciones de rendimiento

Si va a cambiar la mayoría de los datos de una tabla grande, es más eficaz detener y reiniciar la creación de reflejo. La inserción o actualización de miles de millones de registros puede tardar mucho tiempo.

Los datos reflejados normalmente reflejan los cambios con un retraso de 10 a 15 minutos debido a la arquitectura de captura de datos modificados (CDC) de BigQuery. Si no se detecta ningún cambio, el motor de replicación entra en modo de retroceso, lo que aumenta los intervalos de sondeo hasta 1 hora.

Limitaciones de región admitidas

El reflejo de bases de datos está disponible en todas las regiones de Microsoft Fabric. Para obtener más información, consulte Disponibilidad de la región de Fabric.

Limitaciones de permisos

Entendemos que algunos clientes son reacios a habilitar los permisos de edición para Reflejo en Google BigQuery. La duplicación en tiempo real crea una réplica editable en vivo para el consumo de tus datos de BigQuery en OneLake. Para admitir la creación de reflejo para Google BigQuery, el motor de replicación debe:

• Acceso y exportación de datos desde tablas de BigQuery
• Seguimiento de los cambios mediante la captura de datos modificados (CDC)
• Creación de conjuntos de datos y trabajos temporales para la replicación
• Interactuar con Google Cloud Storage para almacenamiento provisional e importación

Limitaciones de la resegunción

La función CHANGES, que permite el seguimiento de cambios en tablas de BigQuery mediante la tecnología CDC de Google, está sujeta a varias limitaciones importantes que los usuarios deben tener en cuenta al implementar soluciones de creación de reflejo:

• Limitación de desplazamiento de tiempo: la función CHANGES solo devuelve datos dentro de la ventana de desplazamiento de tiempo configurada de la tabla. En el caso de las tablas estándar, esto suele ser siete días, pero puede ser más corto si se configura de forma diferente. Los cambios fuera de esta ventana no son accesibles.
• Limitación de marca de tiempo: el período de tiempo del historial de cambios para CHANGES TVF supera el tiempo máximo permitido. El intervalo máximo permitido entre start_timestamp y end_timestamp es un día. Esto restringe el procesamiento por lotes de ventanas históricas más largas y es posible que se necesiten varias consultas para una cobertura más amplia.
  -Limitación del historial de cambios: la función CHANGES requiere que el seguimiento del historial de cambios esté habilitado para la tabla antes de su uso. Si no está habilitado, no se pueden consultar los cambios delta.
• Limitación de varias instrucciones: la función CHANGES no se puede usar dentro de transacciones de varias instrucciones. Tampoco puede consultar tablas que tenían transacciones multideclaración confirmadas en la ventana de tiempo solicitada.

Para obtener más información, consulte la documentación de limitación de cambios de BigQuery de Google.

Contenido relacionado

• Introducción a la creación de reflejos de Google BigQuery
• Tutorial para configurar la creación de reflejos para Google BigQuery