Limpieza de datos usando el conocimiento interno de DQS

En este tema se describe cómo limpiar los datos mediante un proyecto de calidad de datos en Data Quality Services (DQS). La limpieza de datos se realiza en sus datos de origen utilizando una base de conocimiento que se ha creado en DQS sobre un conjunto de datos de alta calidad. Para obtener más información, consulte Creación de una base de conocimiento.

La limpieza de datos se realiza en cuatro fases: una fase de asignación en la que se identifica el origen de datos que se va a limpiar y asignarlo a dominios necesarios en una base de conocimiento, una fase de limpieza asistida por equipo donde DQS aplica la base de conocimiento a los datos que se van a limpiar y propone o realiza cambios en los datos de origen, una fase de limpieza interactiva donde los administradores de datos pueden analizar los cambios de datos, y aceptan o rechazan los cambios de datos y, por último, la fase de exportación que le permite exportar los datos limpios. Cada uno de estos procesos se realiza en una página independiente del asistente para la actividad de limpieza, lo que le permite desplazarse hacia atrás y hacia otras páginas, volver a ejecutar el proceso y cerrar un proceso de limpieza específico y, a continuación, volver a la misma fase del proceso. DQS proporciona estadísticas sobre los datos de origen y los resultados de limpieza que permiten tomar decisiones fundamentadas sobre la limpieza de datos.

Antes de empezar

Prerrequisitos

• Debe haber especificado los valores de umbral adecuados para la actividad de limpieza. Para obtener información sobre cómo hacerlo, vea Configurar valores de umbral para limpieza y coincidencia.

• Una base de conocimiento de DQS debe estar disponible para su uso en Data Quality Server contra el cual desea comparar y limpiar sus datos de origen. Además, la base de conocimiento debe contener conocimiento sobre el tipo de datos que desea limpiar. Por ejemplo, si desea limpiar los datos de origen que contienen direcciones de EE. UU., debe tener una base de conocimiento que se creó con datos de ejemplo de "alta calidad" para direcciones de EE. UU.

• Microsoft Excel debe instalarse en el equipo data Quality Client si los datos de origen que se van a limpiar están en un archivo de Excel. De lo contrario, no podrá seleccionar el archivo de Excel en la etapa de asignación. Los archivos creados por Microsoft Excel pueden tener una extensión de .xlsx, .xlso .csv. Si se usa la versión de 64 bits de Excel, solo se admiten los archivos de Excel 2003 (.xls); No se admiten archivos de Excel 2007 o 2010 (.xlsx). Si usa una versión de 64 bits de Excel 2007 o 2010, guarde el archivo como un archivo de .xls o un archivo de .csv, o instale una versión de 32 bits de Excel en su lugar.

Seguridad

Permisos

Debe tener el rol dqs_kb_editor o dqs_kb_operator en la base de datos DQS_MAIN para realizar la limpieza de datos.

Crear un proyecto de limpieza de calidad de datos

Debe usar un proyecto de calidad de datos para realizar la operación de limpieza de datos. Para crear un proyecto de depuración de calidad de datos:

1. Siga los pasos del 1 al 3 del tema Crear un proyecto de calidad de datos.

2. En el paso 3.d, seleccione la actividad Limpieza .

3. Haga clic en Crear para crear un proyecto de calidad de datos de depuración.

Esto crea un proyecto de calidad de datos de depuración y abre la página Mapa del asistente para la calidad de datos de depuración.

Fase de mapeo

En la fase de mapeo, especificas la conexión con los datos de origen que se van a limpiar, mapeando las columnas de los datos de origen con los dominios adecuados de la base de conocimiento seleccionada.

1. En la página Mapa del asistente para la calidad de datos de depuración, seleccione los datos de origen para depurar: SQL Server o Archivo de Excel:

   1. SQL Server: seleccione DQS_STAGING_DATA como base de datos de origen si ha copiado los datos de origen en esta base de datos y, a continuación, seleccione la tabla o vista adecuada que contenga los datos de origen. De lo contrario, seleccione la base de datos de origen y la tabla o vista adecuadas. La base de datos de origen debe estar presente en la misma instancia de SQL Server que Data Quality Server para que esté disponible en la lista desplegable Base de datos .

   2. Archivo de Excel: haga clic en Examinar y seleccione el archivo de Excel que contiene los datos que se van a limpiar. Microsoft Excel debe instalarse en el equipo data Quality Client para seleccionar un archivo de Excel. De lo contrario, el botón Examinar no estará disponible y se le notificará debajo de este cuadro de texto que Microsoft Excel no está instalado. Además, deje activada la casilla Usar primera fila como encabezado si la primera fila del archivo de Excel contiene datos de encabezado.

2. En Mapeos, mapea las columnas del origen de datos con los dominios adecuados de la base de conocimiento seleccionando una columna Origen de la lista desplegable, y luego seleccionando un dominio de la lista desplegable de la columna Dominio en la misma fila. Repita este paso para asociar todas las columnas de los datos fuentes con dominios adecuados en la base de conocimiento. Si es necesario, puede hacer clic en el icono Agregar una asignación de columnas para agregar filas a la tabla de asignación.

   Nota:

   Puede asignar los datos de origen a un dominio DQS para realizar la limpieza de datos solo si el tipo de datos de origen es compatible con DQS y coincide con el tipo de datos de dominio DQS. Para obtener información sobre los tipos de datos de origen admitidos, vea Tipos de datos de SQL Server y SSIS admitidos para dominios DQS.

3. Haga clic en el icono Vista previa del origen de datos para ver los datos de la tabla o vista de SQL Server que seleccionó o la hoja de cálculo de Excel que seleccionó.

4. Haga clic en Ver o seleccionar dominios compuestos para ver una lista de los dominios compuestos asignados a una columna de origen. Este botón solo está disponible si tiene al menos un dominio compuesto asignado a una columna de origen.

5. Haga clic en Siguiente para continuar con la fase de limpieza asistida por computadora (página Limpiar ).

Fase de limpieza de Computer-Assisted

En la fase de limpieza asistida por equipo, se ejecuta un proceso automatizado de limpieza de datos que analiza los datos de origen en los dominios asignados de la base de conocimiento y realiza o propone cambios en los datos.

1. En la página Limpiar del asistente para la calidad de datos, haga clic en Iniciar para ejecutar el proceso de limpieza asistida por el equipo. DQS usa algoritmos avanzados y niveles de confianza en función de los niveles de umbral especificados para analizar los datos en la base de conocimiento seleccionada y, a continuación, limpiarlos. Para obtener información detallada sobre cómo se produce la limpieza asistida por equipos en DQS, consulte Limpieza asistida por equipos en limpieza de datos.

   Importante

   • Una vez completado el análisis de datos, el botón Iniciar se convierte en un botón Reiniciar . Si los resultados del análisis anterior aún no se han guardado, al hacer clic en Reiniciar , se perderán los datos anteriores. A medida que se ejecuta el análisis, no deje la página o se finalizará el proceso de análisis.

   • Si la base de conocimiento usada para el proyecto de limpieza se actualizó y publicó después del momento en que se creó el proyecto de limpieza, al hacer clic en Iniciar se le pedirá si desea usar la base de conocimiento más reciente para la limpieza. Normalmente, esto puede ocurrir si creó un proyecto de calidad de datos mediante una base de conocimiento, cerró el proyecto de limpieza a mitad de camino haciendo clic en Cerrar y, a continuación, volvió a abrir el proyecto de calidad de datos en un punto posterior para realizar la limpieza. Mientras tanto, la base de conocimiento utilizada en el proyecto de limpieza se actualizó y publicó.

     Del mismo modo, si la base de conocimiento usada para el proyecto de limpieza se actualizó y publicó después de la última vez que ejecutó la limpieza asistida por el equipo, al hacer clic en Reiniciar se le pedirá si desea usar la base de conocimiento más reciente para la limpieza.

     En ambos casos, haga clic en Sí para usar la base de conocimiento actualizada para la limpieza asistida por equipo. Además, si hay conflictos entre las asignaciones actuales y la base de conocimiento actualizada (por ejemplo, se eliminaron dominios o se cambió el tipo de datos de dominio), el mensaje también le pide que corrija las asignaciones actuales para usar la base de conocimiento actualizada. Al hacer clic en Sí, será llevado a la página Mapa, donde puede corregir las asignaciones antes de continuar con la limpieza asistida por ordenador.

2. Durante la fase de limpieza asistida por el equipo, puede activar el generador de perfiles haciendo clic en la pestaña Generador de perfiles para ver las notificaciones y la generación de perfiles de datos en tiempo real. Para obtener más información, consulte Estadísticas del generador de perfiles.

3. Si no está satisfecho con los resultados, haga clic en Atrás para volver a la página Mapa , modificar una o varias asignaciones según sea necesario, volver a la página Limpiar y, a continuación, hacer clic en Reiniciar.

4. Una vez completado el proceso de limpieza asistido por el equipo, haga clic en Siguiente para continuar con la fase de limpieza interactiva (página Administrar y ver resultados ).

Fase de limpieza interactiva

En la fase de limpieza interactiva, puede ver los cambios que DQS ha propuesto y decidir si quiere implementarlos o no aprobando o rechazando los cambios. En el panel izquierdo de la página Administrar y ver resultados , DQS muestra una lista de todos los dominios asignados anteriormente en la fase de asignación junto con el número de valores de los datos de origen analizados en cada dominio durante la fase de limpieza asistida por equipo. En el panel derecho de la página Administrar y ver resultados , en función del cumplimiento de las reglas de dominio, las reglas de error de sintaxis y los algoritmos avanzados, DQS clasifica los datos en cinco pestañas mediante el nivel de confianza. El nivel de confianza indica la extensión de la certeza de DQS para la corrección o sugerencia, y se basa en los siguientes valores de umbral:

• Umbral de corrección automática: DQS corrige automáticamente cualquier valor que tenga un nivel de confianza por encima de este umbral. Sin embargo, el administrador de datos puede invalidar el cambio durante la limpieza interactiva. Puede especificar el valor de umbral de corrección automática en la pestaña Configuración general de la pantalla Configuración . Para obtener más información, vea Configurar valores de umbral para limpieza y coincidencia.

• Umbral de sugerencia automática: cualquier valor que tenga un nivel de confianza por encima de este umbral, pero por debajo del umbral de corrección automática, se sugiere como un valor de reemplazo. DQS realizará el cambio solo si el administrador de datos lo aprueba. Puede especificar el valor de umbral de sugerencia automática en la pestaña Configuración general de la pantalla Configuración . Para obtener más información, vea Configurar valores de umbral para limpieza y coincidencia.

• Otro: DQS deja sin cambios cualquier valor por debajo del valor de umbral de sugerencia automática.

En función del nivel de confianza, los valores se muestran en las cinco pestañas siguientes:

Para limpiar interactivamente los datos:

1. En la página Administrar y ver resultados del Asistente para la limpieza de datos, haga clic en un nombre de dominio en el panel izquierdo.

2. Revise los valores de dominio en las cinco pestañas y realice las acciones adecuadas, como se explicó anteriormente.

   • El panel superior derecho muestra la siguiente información para cada valor del dominio seleccionado: valor original, número de instancias (registros), un cuadro para especificar otro valor (correcto), el nivel de confianza (no disponible para los valores de la pestaña Correcto ), el motivo de la acción DQS en el valor y la opción para aprobar y rechazar las correcciones y sugerencias del valor.

     Sugerencia

     Puede aprobar o rechazar todos los valores del dominio seleccionado en el panel superior derecho; para ello, haga clic en Aprobar todos los términos o en Rechazar todos los términos , respectivamente. Como alternativa, puede hacer clic con el botón derecho en un valor en el dominio seleccionado y hacer clic en Aceptar todo o Rechazar todo en el menú contextual.

   • En el panel inferior se muestran las apariciones individuales del valor de dominio seleccionado en el panel superior derecho. Se muestra la siguiente información: un cuadro para especificar otro valor (correcto), el nivel de confianza (no disponible para los valores en la pestaña Correcto ), el motivo de la acción DQS en el valor, la opción para aprobar y rechazar las correcciones y sugerencias del valor y el valor original.

3. Si ha habilitado la característica Corrector ortográfico para un dominio al crearlo, se muestran subrayados rojos ondulados debajo de los valores del dominio que se identifican como posibles errores. El carácter de subrayado se muestra para todo el valor. Por ejemplo, si "Nueva York" está escrito incorrectamente como "Neu York", el corrector ortográfico mostrará un subrayado rojo bajo "Neu York", y no solo "Neu". Si hace clic con el botón derecho en el valor, verá correcciones sugeridas. Si hay más de 5 sugerencias, puede hacer clic en Más sugerencias en el menú contextual para ver el resto de ellas. Al igual que con la visualización de errores, las sugerencias son reemplazos del valor completo. Por ejemplo, "Nueva York" se mostrará como una sugerencia en el ejemplo anterior y no solo "Nuevo". Puede elegir una de las sugerencias o agregar un valor al diccionario que se va a mostrar para ese valor. Los valores se almacenan en el diccionario en un nivel de cuenta de usuario. Al seleccionar una sugerencia en el menú contextual del corrector ortográfico, la sugerencia seleccionada se agregará a la columna Corregir a . Sin embargo, si selecciona una sugerencia en la columna Corregir a , el valor de la columna se reemplaza por la sugerencia seleccionada.

   La característica ortográfica está habilitada de forma predeterminada en la fase de limpieza interactiva. Para deshabilitar el corrector ortográfico en la fase de limpieza interactiva, haga clic en el icono Habilitar o deshabilitar corrector ortográfico , o haga clic con el botón derecho en el área de valores de dominio y, a continuación, haga clic en Corrector ortográfico en el menú contextual. Para volver a habilitarlo, haga lo mismo.

   Nota:

   La característica ortográfica solo está disponible en el panel superior (valores de dominio). Además, no se puede habilitar ni deshabilitar el corrector ortográfico para dominios compuestos. Los dominios secundarios de un dominio compuesto que son de tipo cadena y están habilitados para la característica ortográfica tendrán habilitada la funcionalidad ortográfica en la fase de limpieza interactiva de forma predeterminada.

4. Durante la fase de limpieza interactiva, puede activar el generador de perfiles haciendo clic en la pestaña Generador de perfiles para ver la generación de perfiles y las notificaciones de datos en tiempo real. Para obtener más información, consulte Estadísticas del generador de perfiles.

5. Después de revisar todos los valores de dominio, haga clic en Siguiente para continuar con la fase de exportación.

Fase de exportación

En la fase de exportación, especifique los parámetros para exportar los datos limpios: qué y dónde exportar.

1. En la página Exportar del Asistente para limpiar la calidad de datos, seleccione el tipo de destino para exportar los datos limpios: SQL Server, Archivo CSV o Archivo de Excel.

   Importante

   Si usa la versión de 64 bits de Excel, no puede exportar los datos limpios a un archivo de Excel; Solo puede exportar a una base de datos de SQL Server o a un archivo .csv.

   1. SQL Server: seleccione DQS_STAGING_DATA como base de datos de destino si desea exportar los datos aquí y, a continuación, especifique un nombre de tabla que se creará para almacenar los datos exportados. De lo contrario, seleccione otra base de datos si desea exportar datos a otra base de datos y, a continuación, especifique un nombre de tabla que se creará para almacenar los datos exportados. La base de datos de destino debe estar presente en la misma instancia de SQL Server que Data Quality Server para que esté disponible en la lista desplegable Base de datos .

   2. Archivo CSV: haga clic en Examinar y especifique el nombre y la ubicación del archivo .csv donde desea exportar los datos limpios. También puede escribir el nombre del archivo .csv junto con la ruta de acceso completa donde desea exportar los datos depurados. Por ejemplo, "c:\ExportedData.csv". El archivo se guarda en el equipo donde está instalado Data Quality Server.

   3. Archivo de Excel: haga clic en Examinar y especifique el nombre y la ubicación del archivo de Excel donde desea exportar los datos limpios. También puede escribir el nombre de archivo del archivo de Excel junto con la ruta de acceso completa donde desea exportar los datos limpios. Por ejemplo, "c:\ExportedData.xlsx". El archivo se guarda en el equipo donde está instalado Data Quality Server.

2. Active la casilla Estandarizar salida para estandarizar la salida en función del formato de salida seleccionado para el dominio. Por ejemplo, cambie el valor de la cadena a mayúsculas o ponga en mayúscula la primera letra de la palabra. Para obtener información sobre cómo especificar el formato de salida de un dominio, vea la lista Formato de salida a en Establecer propiedades de dominio.

3. A continuación, seleccione la salida de datos: exporte solo los datos limpios o exporte los datos limpios junto con la información de limpieza.

   • Solo datos: haga clic en el botón de radio para exportar solo los datos limpios.

   • Información de datos y limpieza: haga clic en el botón de radio para exportar los datos siguientes para cada dominio:

     • <Dominio>_Source: El valor original en el dominio.

     • <Dominio>_Output: Los valores depurados del dominio.

     • <Dominio>_Reason: el motivo especificado para la corrección del valor.

     • <Dominio>_Confianza: Nivel de confianza para todos los términos que se corrigieron. Se muestra como el valor decimal equivalente al valor porcentual correspondiente. Por ejemplo, un nivel de confianza de 95% se mostrará como .95000000.

     • <Dominio>_Status: estado del valor del dominio después de la limpieza de datos. Por ejemplo, Sugerido, Nuevo, No válido, Corregido o Correcto.

     • Estado del registro: aparte de tener un campo de estado para cada dominio asignado (<DomainName>_Status), el campo Estado del registro muestra el estado de un registro. Si alguno de los estados del dominio del registro es Nuevo o Correcto, el estado del registro se establece en Correcto. Si alguno de los estados del dominio en el registro es Sugerido, No válido o Corregido, el estado del registro se establece en el valor correspondiente. Por ejemplo, si alguno de los estados del dominio en el registro es Sugerido, el estado del registro se establece en Sugerido.

       Nota:

       Si usa el servicio de datos de referencia para la operación de limpieza, algunos datos adicionales sobre el valor de dominio también están disponibles para la exportación. Para obtener más información, vea Limpiar datos mediante el conocimiento de datos de referencia (externo).

4. Haga clic en Exportar para exportar datos al destino de datos seleccionado. Si seleccionó:

   • SQL Server como destino de datos, se creará una nueva tabla con el nombre especificado en la base de datos seleccionada.

   • Archivo CSV como destino de datos, se creará un archivo .csv en la ubicación del equipo del Data Quality Server con el nombre de archivo que especificaste anteriormente en el campo Nombre de archivo CSV.

   • Archivo de Excel como destino de datos, se creará un archivo de Excel en la ubicación del equipo de Data Quality Server con el nombre de archivo que especificó anteriormente en el cuadro Nombre de archivo de Excel .

5. Haga clic en Finalizar para cerrar el proyecto de calidad de datos.

Estadísticas del generador de perfiles

La pestaña Generador de perfiles proporciona estadísticas que indican la calidad de los datos de origen. La generación de perfiles le ayuda a evaluar la eficacia de la actividad de limpieza de datos y puede determinar la medida en que la limpieza de datos pudo mejorar la calidad de los datos.

La pestaña Generador de perfiles proporciona las siguientes estadísticas para los datos de origen, por campo y dominio:

• Registros: cuántos registros del ejemplo de datos se analizaron para la actividad de limpieza de datos

• Registros correctos: ¿Cuántos registros se encontraron para ser correctos?

• Registros corregidos: cuántos registros se corrigieron

• Registros sugeridos: número de registros sugeridos

• Registros no válidos: número de registros no válidos

Las estadísticas de campo incluyen lo siguiente:

• Campo: nombre del campo en los datos de origen

• Dominio: nombre del dominio que se asigna al campo

• Valores corregidos: número de valores de dominio corregidos

• Valores sugeridos: el número de valores de dominio sugeridos

• Integridad: integridad de cada campo de origen asignado para la actividad de limpieza

• Precisión: la precisión de cada campo de origen que se asigna para la actividad de depuración.

La generación de perfiles de DQS proporciona dos dimensiones de calidad de datos: integridad (la medida en que los datos están presentes) y la precisión (la medida en que se pueden usar los datos para su uso previsto). Si la generación de perfiles indica que un campo está relativamente incompleto, es posible que desee quitarlo de la base de conocimiento de un proyecto de calidad de datos. La generación de perfiles puede no proporcionar estadísticas de integridad confiables para dominios compuestos. Si necesita estadísticas de integridad, use dominios únicos en lugar de dominios compuestos. Si desea usar dominios compuestos, puede crear una base de conocimiento con dominios únicos para la generación de perfiles, determinar la integridad y crear otro dominio con un dominio compuesto para el proceso de limpieza. Por ejemplo, la generación de perfiles podría mostrar una incompletitud del 95 %% para los registros de direcciones que usan un dominio compuesto, pero podría haber un nivel mucho mayor de incompletitud para una de las columnas, por ejemplo, una columna de código postal. En este ejemplo, puede que quiera medir la integridad de la columna de código postal con un solo dominio. La generación de perfiles probablemente proporcionará estadísticas de precisión confiables para dominios compuestos, ya que puede medir la precisión de varias columnas juntas. El valor de estos datos está en la agregación compuesta, por lo que es posible que desee medir la precisión con un dominio compuesto.

Es probable que las estadísticas de precisión requieran más interpretación si no usa un servicio de datos de referencia. Si usa un servicio de datos de referencia para la limpieza de datos, tendrá un nivel de confianza en las estadísticas de precisión. Para obtener más información sobre la limpieza de datos mediante el servicio de datos de referencia, vea Limpiar datos mediante datos de referencia (externos).

Notificaciones de limpieza

Las siguientes condiciones dan como resultado notificaciones:

• No hay correcciones ni sugerencias para un campo. Es posible que quiera eliminarlo del mapeo, o quizás ejecutar primero el descubrimiento de conocimiento, o usar otra base de conocimiento.

• Hay relativamente pocas correcciones o sugerencias para un campo. Puede que quiera quitarlo del mapeo, realizar el descubrimiento de conocimientos primero, o usar otra base de conocimiento.

• El nivel de precisión del campo es muy bajo. Es posible que desee verificar la asignación o considerar realizar primero un descubrimiento de conocimiento.

Para obtener más información sobre la generación de perfiles, consulte Generación de perfiles de datos y notificaciones en DQS.