Perfil de dados e notificações no DQS

Aplica-se a:SQL Server

O perfil de dados no Data Quality Services (DQS) é o processo de analisar os dados em uma fonte de dados existente e exibir estatísticas sobre os dados nas atividades do DQS. Ele fornece medições automatizadas da qualidade dos dados. A perfilagem do DQS é integrada na gestão do conhecimento do DQS e nos projetos de qualidade de dados. é dinâmico e ajustável. A criação de perfis tem dois objetivos principais: primeiro, guiá-lo através dos processos de qualidade de dados e apoiar as suas decisões e, segundo, avaliar a eficácia dos processos. O processo de criação de perfil do DQS tem os seguintes benefícios:

• A criação de perfis fornece informações sobre a qualidade dos dados de origem e ajuda a identificar problemas de qualidade dos dados.

• A profilagem avalia a eficácia dos processos de qualidade de dados, orientando-o na descoberta de conhecimento, limpeza de dados, política e trabalho de correspondência.

• A definição de perfis apresenta-lhe a informação mais relevante no momento mais relevante.

• O processo de criação de perfil gera notificações que enfatizam estatísticas ou eventos importantes que podem merecer ação. Em muitos casos, as notificações do DQS indicarão uma condição e recomendarão a ação que você pode tomar para remediar essa condição.

A criação de perfis permite que você use o Data Quality Services não apenas para descoberta, limpeza e correspondência de conhecimento, mas também como uma ferramenta de análise. Você pode querer criar uma base de conhecimento para análise e executar a descoberta de conhecimento usando essa base para determinar, a partir das estatísticas de perfilagem, se a base de conhecimento satisfaz suas necessidades de descoberta, limpeza e correspondência.

Como funciona o perfilamento

A perfilagem não mede a qualidade da base de conhecimento. Mede a qualidade dos dados de origem. A criação de perfil fornece estatísticas que indicam o efeito da operação específica que está a realizar na gestão de conhecimento ou em um projeto de qualidade de dados nos seus dados de origem. A criação de perfis está sempre no contexto da atividade específica que estás a fazer. Você pode clicar na guia Criação de perfil em uma tela para exibir dados de criação de perfil sem sair do estágio da atividade que está fazendo. A tabela de criação de perfil é preenchida em tempo real à medida que o processo é executado, permitindo que você avalie as tarefas de qualidade de dados à medida que as realiza. Você pode determinar se os dados de origem são melhores após a limpeza ou eliminação da duplicação e por quanto.

Todos os números de perfilagem referem-se ao número de aparições de um valor e, em muitos casos, correspondem à percentagem do total, com exceção das métricas de exclusividade. As métricas de exclusividade referem-se ao número absoluto de valores, independentemente do número de aparições desses valores.

A criação de perfis faz parte da solução orientada pelo conhecimento do DQS. Ele fornece informações sobre uma base de conhecimento, correspondência ou processo de limpeza de dados com base no mapeamento entre campos da fonte de dados e domínios da base de conhecimento. O perfil é definido apenas após o término do mapeamento; não se realiza qualquer perfilagem durante a fase de mapeamento de uma atividade. A criação de perfis está sempre associada a uma atividade. O processo de criação de perfil é feito nos dados que são mapeados para os domínios, e não nos dados dentro dos domínios. Está integrado nas seguintes etapas de atividades:

• As etapas Descobrir e gerenciar valores de domínio da atividade Descoberta de conhecimento

• As etapas Limpar e Gerir e Visualizar resultados da atividade de Limpeza

• As etapas Política de equiparação e Resultados de equiparação da atividade Política de equiparação

• As etapas Correspondência e Exportação da atividade de correspondência

DQS não fornece estatísticas de criação de perfil para a atividade de gestão de domínio.

Criação de perfil de dados por atividade

A criação de perfil do DQS usa dimensões padrão de qualidade de dados para representar a qualidade dos dados: integridade (a extensão em que os dados estão presentes), precisão (a medida em que os dados podem ser usados para o uso pretendido) e exclusividade (a medida em que diferentes valores representam entidades diferentes). Por padrão, os valores NULL e vazio são considerados ausentes ou diminuem a porcentagem de completude; no entanto, você também pode definir outros valores como equivalentes a NULL, caso em que eles também serão considerados ausentes.

A criação de perfis fornece as estatísticas necessárias para avaliar seus processos, mas você deve interpretar as estatísticas. Compreenda o que a criação de perfis lhe diz olhando para as estatísticas coluna por coluna.

As atividades do DQS têm diferentes conjuntos de estatísticas de criação de perfis, como se segue:

• Somente a atividade de Limpeza tem estatísticas de perfilagem para precisão (em percentagem por domínio). A precisão é afetada pela validade, consistência, erros de sintaxe e regras de domínio.

• Somente a atividade de Limpeza tem estatísticas de perfilagem para valores corretos, corrigidos e sugeridos na origem, e corrigidos e sugeridos por domínio (ambos como percentagem).

• As atividades Limpeza e Descoberta de Conhecimento têm estatísticas de criação de perfil para validade (Limpeza por registro, Descoberta de Conhecimento por registro e domínio). As atividades de correspondência e a política de correspondência não têm estatísticas para validade.

• A atividade de Limpeza não tem estatísticas de perfilagem para exclusividade. As atividades Descoberta de Conhecimento, Política de Correspondência e Correspondência têm estatísticas de perfil para singularidade em número e porcentagem para a origem e por domínio.

Para obter mais informações sobre as estatísticas de criação de perfil específicas relacionadas a uma atividade, consulte as seções Criação de perfil nos seguintes artigos:

• Realizar Descoberta de Conhecimento

• Limpar Dados Usando o Conhecimento do DQS (Interno)

• Criar uma política de correspondência

• Executar um projeto correspondente

Definindo o perfil de dados no monitoramento de atividades

As informações de criação de perfil para as atividades de Descoberta de Conhecimento, Política de Correspondência, Correspondência e Limpeza estão disponíveis não apenas nas páginas de atividade no cliente Data Quality, mas também no monitoramento de atividades. O monitoramento de atividades fornece uma visão geral das atividades atuais e passadas. Além das propriedades e processos computacionais relacionados das atividades, você pode visualizar as informações de criação de perfil geradas para cada atividade em um local. Selecione uma atividade na tabela de atividades para exibir os resultados da criação de perfil em uma tabela abaixo. Você também pode exportar os resultados da criação de perfil. Para obter mais informações, consulte Administração do DQS.

Notificações

Além de coletar e exibir estatísticas e métricas importantes por meio da criação de perfil, o DQS gerará notificações (se habilitadas) para indicar quando você pode querer executar uma ação com base nas estatísticas de criação de perfil exibidas. O DQS usa notificações para enfatizar fatos importantes sobre a fonte de dados e para mostrar a eficácia da atividade atual em comparação com a finalidade para a qual ela foi executada. As notificações fornecem dicas e recomendações que indicam uma condição e recomendam como você pode melhorar uma descoberta de conhecimento, limpeza de dados ou atividade de correspondência de dados.

Uma notificação DQS é usada para levantar um problema que pode interessá-lo ou para resolver um problema potencial. Se você age de acordo com a notificação, depende se ela é relevante para seus propósitos. Por exemplo, suponha que o DQS posta uma notificação quando a limpeza de dados não produz valores corrigidos ou sugeridos, enquanto a integridade e a precisão são de 100%. Essa notificação indicaria que a atividade pode não precisar ser executada. Se você optar por executar a atividade, no entanto, é sua decisão.

Uma notificação é indicada por uma dica de ferramenta com um ponto de exclamação na guia Criação de perfil . As estatísticas associadas à notificação são coloridas a vermelho para indicar a justificação estatística para a notificação.

Você pode habilitar (o padrão) ou desabilitar notificações na guia Configurações Gerais da seção Administração da home page do Cliente Data Quality. Quando a notificação é desativada, as dicas de ferramentas não são exibidas e as estatísticas não são coloridas em vermelho. Não há melhoria significativa no desempenho ao desativar as notificações. A criação de perfil ainda estará operacional se você desativar as notificações.

Para condições específicas associadas a notificações de uma atividade, consulte os seguintes artigos:

• Realizar Descoberta de Conhecimento

• Limpar Dados Usando o Conhecimento do DQS (Interno)

• Criar uma política de correspondência

• Executar um projeto correspondente

Tarefas relacionadas