Solución de problemas de calidad de datos

En este artículo se describen las preguntas comunes y los síntomas de los errores, junto con las posibles soluciones:

¿Por qué veo un error de origen no válido en el trabajo de examen?

• Es posible que vea este error por dos motivos:
  • La tabla delta no existe en la ubicación.
  • Los datos del archivo no están en un formato delta válido.

Estoy configurando exámenes de calidad de datos para mis tablas delta de Microsoft Fabric. Veo todos los recursos de datos en la vista de calidad de datos, selecciono un recurso y apliquen reglas para el examen de calidad de datos, pero se produce un error en el examen.

• El examen de la calidad de los datos puede producir un error por varias razones:
  • Los datos de las tablas no tienen el formato delta correcto. Asegúrese de que los datos están en formato delta.
    • El examen de Mapa de datos no se ejecutó correctamente. Vuelva a ejecutar el examen de Mapa de datos.
    • Debe eliminar las ejecuciones de calidad de datos anteriores para el recurso de datos.

¿Por qué veo el mensaje de error "No se puede usar ninguna conexión? Intente crear la conexión primero."?

• Para generar perfiles de datos o para ejecutar el examen de calidad de datos, primero debe configurar una conexión de origen de datos. Esta alerta desaparece después de crear una conexión de origen de datos.

¿Por qué el recuento total de datos generados por perfiles es menor que el número total de mi tabla delta de Microsoft Azure Data Lake Storage Gen2?

• Calidad de datos de Microsoft Purview usa un tamaño de muestra de 1 millón para la generación de perfiles. Este ejemplo se toma aleatoriamente. Si la tabla delta tiene más de un millón de registros, el recuento total no coincide.

¿Por qué me falta una acción sobre la puntuación de calidad de datos para un producto de datos, pero veo la puntuación en el producto de datos al examinar la vista del producto de datos?

• Cuando se creó la acción, no había ninguna puntuación de calidad de datos para ese producto de datos. El examen de calidad de los datos se ejecutó después de crear la acción y publicar la puntuación del producto de datos. Cierre la acción una vez realizada la corrección para evitar confusiones.

La creación de reglas de calidad de datos a partir de "Sugerir reglas" produce un error sobre una columna de "fecha" al intentar agregar las 30 reglas sugeridas

• Este error se produce porque el tipo de datos de esquema no se admite en la vista de esquema de calidad de datos. Puede cambiar el tipo de datos a la fecha seleccionando el botón de alternancia de administración de esquemas y guardándolo. Después de cambiar el tipo de datos, debería poder agregar la regla.

Al intentar agregar todas las reglas sugeridas, ¿por qué veo el error "ObserverId ya existe"?

• Lo más probable es que la misma regla o idéntica ya se haya agregado a una columna. Cuando intenta agregar la misma regla o idéntica a una columna, la aplicación produce este mensaje de error.

¿Por qué se omite mi trabajo programado en lugar de ejecutarse? Veo Omitido para trabajos de análisis de calidad de datos.

• El trabajo de calidad de datos comprueba y ejecuta la calidad de los datos solo si hay cambios desde la última ejecución. Comprueba el historial delta. Omitido significa que no hay cambios en los datos desde la última ejecución y que no se realiza la ejecución de Spark para la calidad de los datos. Omitir no significa que se haya producido un error.

Cuando selecciono la pestaña datos de perfil, veo el número de columnas preseleccionadas. ¿Puedo cambiar las columnas seleccionadas?

• Calidad de datos de Microsoft Purview usa una solución de generación de perfiles asistida por inteligencia artificial. La inteligencia artificial de generación de perfiles de datos de Microsoft Purview selecciona las columnas preseleccionadas. Puede anular la selección de esas columnas y volver a seleccionarlas en función de la importancia crítica de las columnas, y seleccionar Guardar y ejecutar para ejecutar la generación de perfiles.

¿Por qué no puedo seleccionar algunos de los recursos de datos de la página de lista de recursos de calidad de datos para generar perfiles y examinarlos?

• Puede haber algunas razones:
  • Esos recursos de datos se publican desde orígenes de datos no admitidos.
  • No se admite el formato de archivo de esos recursos de datos.

¿Por qué se produce un error en el trabajo de generación de perfiles para los orígenes de datos admitidos?

• Compruebe el esquema para asegurarse de que no hay ningún nombre de columna con espacios. La versión actual no admite nombres de columna con espacios.

¿Por qué no puedo ejecutar análisis de calidad de datos y generación de perfiles de datos para archivos CSV, TSV y de texto?

• Data Quality admite actualmente el formato Delta de Parquet, Delta, Iceberg ORC y Iceberg AVRO. Purview Data Quality no admite archivos CSV, TSV ni de texto.

¿Por qué no veo la regla de actualización de calidad de datos en la lista de reglas?

• Las tablas de Microsoft Azure SQL no admiten la actualización de la calidad de los datos. Si el recurso de datos es una tabla Azure SQL, la regla de actualización no aparece en la lista para la selección y aplicación en el recurso de datos.

¿Por qué veo el tipo de datos Undefined para algunas columnas de un esquema de recursos de datos en una página de esquema de calidad de datos?

• Parece que el tipo de datos de todas las columnas no se identifica correctamente. Puede importar el esquema para resolver el problema (para actualizar el tipo de datos). Seleccione el elemento de menú esquema de la página de información general sobre dualidad de datos, seleccione el botón de alternancia Administración de esquemas y seleccione Importar esquema. Después de importar el esquema, vuelva a seleccionar el botón de alternancia de administración de esquemas para guardar el esquema actualizado.

• Las tablas de Microsoft Azure SQL no admiten la actualización de la calidad de los datos. Si el recurso de datos es una tabla Azure SQL, la regla de actualización no aparece en la lista para la selección y aplicación en el recurso de datos.

Error en el trabajo de examen de calidad de datos. Veo un mensaje de error "Error interno del servicio, vuelva a intentarlo o póngase en contacto con el soporte técnico de Microsoft". ¿Qué debo hacer para solucionar problemas?

• Muchas razones pueden hacer que el examen produzca un error con este mensaje de error:
  • El usuario no está autorizado para realizar la operación actual para el área de trabajo a la que el usuario está intentando acceder para el examen de calidad de datos.
  • Código de error 403, lo que significa que el acceso a los orígenes de datos está prohibido temporalmente.
  • Se ha concedido acceso al origen de datos para la identidad administrada (MSI).
  • La identidad administrada (MSI) de Microsoft Purview necesita acceso de colaborador al área de trabajo de Microsoft Fabric. Si no se ha proporcionado el acceso de colaborador para msi de Microsoft Purview al área de trabajo de Microsoft Fabric, se produce un error en el examen de calidad de los datos.

¿Por qué recibo un error de formato delta aunque esté usando el formato delta?

• Se admite Spark 3.4 Delta 2.4. Asegúrese de que usa delta lake versión 2.4.

¿Por qué veo el error cuando seleccioné un recurso de datos de referencia para configurar la regla de búsqueda de tablas?

• Ha seleccionado un recurso de datos que no forma parte de un producto de datos vinculado o al que se hace referencia en el mismo dominio de gobernanza. Para seleccionar el recurso de datos adecuado:

  • Seleccione seleccionar la tabla de referencia, como se indica en esta imagen:

    

  • Cancele la selección actual, como se indica en esta imagen:

    

  • Después de cancelar la selección actual, seleccione otro recurso.

¿Cómo puedo configurar el acceso al origen de datos para Microsoft Purview MSI?

• Esta es la guía de configuración de MSI. Encontrará los detalles en este documento.

Todos nuestros orígenes de datos están detrás del punto de conexión privado (en la red virtual), ¿Puede Microsoft Purview acceder a los datos de la red virtual para el examen de calidad de datos?

• Sí, Microsoft Purview admite Virtual Network administradas para el examen de calidad de datos. Consulte el artículo Configuración de red virtual administrada de Microsoft Purview.

¿Dónde puedo encontrar documentación sobre la función de expresión para crear reglas personalizadas?

• Busque información y ejemplos en Crear reglas de calidad de datos.

¿Por qué se produce un error en el examen de calidad de datos de la tabla de Fabric Lakehouse?

• Muchas razones pueden provocar el error:

  • Asegúrese de que las tablas de Lakehouse se pueden detectar en Data Map con el esquema.

  • Asegúrese de que usa SPN para el examen de Mapa de datos y MSI para el examen de calidad de datos.

  • Asegúrese de que ha configurado la conexión DQ con MSI.

    • Asegúrese de que MSI de Microsoft Purview tiene acceso de colaborador al área de trabajo de Fabric.
    • Habilitar la configuración de Microsoft OneLake: los usuarios pueden acceder a los datos almacenados en OneLake con aplicaciones externas a Fabric.

    

  • Obtenga información sobre cómo configurar la calidad de los datos para Fabric Lakehouse.

  • Obtenga información sobre cómo configurar una configuración de análisis de Mapa de datos para Fabric.

¿Por qué los usuarios no pueden habilitar la red virtual administrada (VNET) para la configuración de calidad de datos en Microsoft Purview para Databricks o Synapse, ni en ningún otro origen de datos compatible?

• Problema: después de activar la casilla Habilitar red virtual administrada y recibir aprobación, no se producen cambios en Microsoft Purview y los intentos posteriores de crear una conexión no se realizan sin ninguna solicitud enviada a los orígenes (por ejemplo, Azure Databricks, Synpase, Azure Data Lake Storage Gen2) para su aprobación.

• Solución: este problema se produce cuando un usuario elimina el punto de conexión privado administrado (MPE) después de configurarlo. Actualmente, si un usuario actualiza o elimina el MPE directamente desde el origen después de la aprobación inicial, el sistema de calidad de datos no puede realizar un seguimiento del cambio de estado de MPE. Para resolver este problema, póngase en contacto con el soporte técnico de Microsoft.