Configuración de la calidad de los datos para Google BigQuery (versión preliminar)

Funciones admitidas

Al examinar un origen de Google BigQuery, Microsoft Purview admite:

• Extracción de metadatos técnicos, entre los que se incluyen:
  • Proyectos y conjuntos de datos.
  • Tablas que incluyen las columnas.
  • Vistas que incluyen las columnas.
• Captura del linaje estático en las relaciones de recursos entre tablas y vistas.

Al configurar un examen, puede elegir examinar todo un proyecto de Google BigQuery. También puede limitar el examen a un subconjunto de conjuntos de datos que coincidan con los nombres o patrones de nombres especificados.

Limitaciones conocidas

• Actualmente, Microsoft Purview solo admite el examen de conjuntos de datos de Google BigQuery en una ubicación multiregional de EE. UU. Si el conjunto de datos especificado está en otra ubicación, como "us-east1" o "EU", el examen se completa, pero no aparece ningún recurso en Microsoft Purview.

• Al eliminar un objeto del origen de datos, el examen posterior no quita automáticamente el recurso correspondiente en Microsoft Purview.

Configuración del examen de Data Map para catalogar datos de Google BigQuery en Microsoft Purview

Registro de un proyecto de Google BigQuery

• En el portal de Microsoft Purview, seleccione Mapa de datos y, a continuación, seleccione Registrar.
• En Registrar orígenes, seleccione Google BigQuery y, a continuación, seleccione Continuar.
• Escriba un nombre para el origen de datos que aparece en el catálogo.
• Escriba projectid. Este valor debe ser un identificador de proyecto completo. Por ejemplo, mydomain.com: myProject.
• Seleccione una colección de la lista.
• Seleccione Registrar.

Configuración de un examen de Data Map para un proyecto de Google BigQuery

• Asegúrese de que está configurado un entorno de ejecución de integración autohospedado. Si no está configurado, siga los pasos indicados en Requisitos previos de conexión de Google BigQuery.

• Vaya a Orígenes.

• Seleccione el proyecto de BigQuery registrado.

• Seleccione Nuevo examen.

• Escriba estos detalles:

  • Nombre: nombre del examen.
  • Conectar a través de Integration Runtime: seleccione el entorno de ejecución de integración autohospedado configurado.
  • Credencial Al configurar las credenciales de BigQuery, asegúrese de:
    • Seleccione Autenticación básica como método de autenticación.
    • Proporcione el identificador de correo electrónico de la cuenta de servicio en el campo Nombre de usuario . Por ejemplo, xyz\@developer.gserviceaccount.com.
    • Siga estos pasos para generar la clave privada. Copie todo el archivo de clave JSON y almacénelo como el valor de un secreto de Key Vault. Para crear una nueva clave privada desde la plataforma en la nube de Google:
      • En el menú de navegación, seleccione IAM (Identity Access Management) y seleccione Administración --> Cuentas de servicio --> Seleccionar un proyecto -->
      • Seleccione la dirección de correo electrónico de la cuenta de servicio para la que desea crear una clave.
      • Seleccione la pestaña Claves.
      • Seleccione el menú desplegable Agregar clave y, a continuación, seleccione Crear nueva clave.
      • Elija formato JSON.
  • Especifique la ruta de acceso a la ubicación del controlador JDBC (Java Database Connectivity) en la máquina donde se ejecuta el entorno de ejecución de integración de autohospedado. Por ejemplo: D:\Drivers\GoogleBigQuery.
  • Especifique una lista de conjuntos de datos de BigQuery que se van a importar. Por ejemplo, dataset1; dataset2. Cuando la lista está vacía, se importan todos los conjuntos de datos disponibles.
  • Memoria máxima (en GB) disponible en la máquina virtual que van a usar los procesos de examen: esto depende del tamaño del proyecto de Google BigQuery que se va a examinar.

• Seleccione Probar conexión.

• Seleccione Continuar.

• Elija el desencadenador de examen. Puede configurar una programación o ejecutar el examen una vez.

• Revise el examen y seleccione Guardar y ejecutar.

Una vez examinados, los recursos de datos del proyecto Google BigQuery están disponibles en la búsqueda de Catálogo unificado. Para obtener más información, consulte cómo conectarse y administrar Google BigQuery en Microsoft Purview.

Configuración de la conexión al proyecto de Google BigQuery para el examen de calidad de datos

El recurso examinado ya está listo para la catalogación y la gobernanza. Asocie los recursos examinados a los productos de datos de un dominio de gobernanza para configurar un examen de calidad de datos.

1. En Catálogo unificado, vaya a Calidad de los datos de administración de>estado. Seleccione un dominio de gobernanza para abrir su página de detalles y, a continuación, seleccione Administrar para crear una conexión.

2. Configure la conexión:

   • Agregue el nombre y la descripción de la conexión.
   • Seleccione el tipo de origen Google BigQuery.
   • Agregue el id. de proyecto, el nombre del conjunto de datos y el nombre de la tabla.
   • Escriba los detalles en Clave privada de la cuenta de servicio:
     • Agregue la suscripción de Microsoft Azure.
     • Agregue la conexión de Microsoft Azure Key Vault.
     • Escriba el nombre del secreto.
     • Escriba la versión secreta.

3. Pruebe la conexión para asegurarse de que la conexión del origen de datos se ha configurado correctamente.

   

   

Generación de perfiles y examen de calidad de datos para datos en Google BigQuery

Después de configurar la conexión, puede generar perfiles de los datos, crear y aplicar reglas y ejecutar un examen de calidad de datos para los datos en Google BigQuery. Siga las instrucciones paso a paso que se describen en estos artículos:

• Configuración y ejecución de la generación de perfiles de datos de los datos
• Configuración y ejecución del examen de calidad de datos

Recursos

• Conexión y administración de proyectos de Google BigQuery en Microsoft Purview
• Solución de problemas de calidad de datos
• Configuración de la conexión del origen de datos para la calidad de los datos en Catálogo unificado