Limpar dados usando conhecimento (interno) do DQS

Aplica-se a:SQL Server

Este tópico descreve como limpar seus dados usando um projeto de qualidade de dados no Data Quality Services (DQS). A limpeza de dados é realizada nos seus dados de origem usando uma base de conhecimento que foi criada no DQS com um conjunto de dados de alta qualidade. Para obter mais informações, consulte Criando uma Base de Dados de Conhecimento.

A limpeza de dados é realizada em quatro estágios: um estágio de mapeamento no qual você identifica a fonte de dados a ser limpa e a mapeia para os domínios necessários em uma base de dados de conhecimento, um estágio de limpeza assistida por computador em que o DQS aplica a base de dados de conhecimento aos dados a serem limpos e propõe/faz alterações nos dados de origem, um estágio de limpeza interativa em que os administradores de dados podem analisar as alterações de dados e aceitar/rejeitar as alterações de dados e, finalmente, o estágio de exportação que permite exportar os dados limpos. Cada um desses processos é executado em uma página separada do assistente de atividade de limpeza, permitindo que você vá e volte para páginas diferentes, execute novamente o processo e feche um processo de limpeza específico e, em seguida, retorne ao mesmo estágio do processo. O DQS fornece estatísticas sobre os dados de origem e os resultados de limpeza que permitem tomar decisões informadas sobre a limpeza de dados.

Antes de começar

Pré-requisitos

• Você deve ter especificado valores de limite apropriados para a atividade de limpeza. Para obter informações sobre como fazer isso, consulte Configurar valores de limite para limpeza e correspondência.

• Uma base de dados de conhecimento DQS deve estar disponível no Data Quality Server com a qual você deseja comparar e limpar os dados de origem. Além disso, a base de dados de conhecimento deve conter conhecimento sobre o tipo de dados que você deseja limpar. Por exemplo, se quiser limpar os dados de origem que contêm endereços nos EUA, deve ter uma base de conhecimento que foi criada a partir de uma amostra de dados de alta qualidade para endereços nos EUA.

• O Microsoft Excel deve ser instalado no computador Cliente Data Quality se os dados de origem a serem limpos estiverem em um arquivo do Excel. Caso contrário, você não poderá selecionar o arquivo do Excel na etapa de mapeamento. Os arquivos criados pelo Microsoft Excel podem ter uma extensão de .xlsx, .xlsou .csv. Se a versão de 64 bits do Excel for usada, somente arquivos do Excel 2003 (.xls) serão suportados; Os ficheiros do Excel 2007 ou 2010 (.xlsx) não são suportados. Se estiver a utilizar a versão de 64 bits do Excel 2007 ou 2010, guarde o ficheiro como um ficheiro .xls ou um ficheiro .csv ou instale uma versão de 32 bits do Excel.

Segurança

Permissões

Você deve ter a função dqs_kb_editor ou dqs_kb_operator no banco de dados DQS_MAIN para executar a limpeza de dados.

Criar um projeto de limpeza de qualidade de dados

Você deve usar um projeto de qualidade de dados para executar a operação de limpeza de dados. Para criar um projeto de qualidade para limpeza de dados:

1. Siga as etapas 1 a 3 no tópico Criar um projeto de qualidade de dados.

2. Na etapa 3.d, selecione a atividade Limpeza.

3. Clique em Criar para criar um projeto de limpeza de qualidade de dados.

Isso cria um projeto de purificação de qualidade de dados e abre a página do Mapa do assistente de purificação de qualidade de dados.

Estágio de mapeamento

No estágio de mapeamento, você especifica a conexão com os dados de origem a serem limpos e mapeia as colunas nos dados de origem com os domínios apropriados na base de dados de conhecimento selecionada.

1. Na página Mapa do assistente de qualidade de dados de purificação, selecione os dados de origem a serem limpos: SQL Server ou Ficheiro Excel:

   1. SQL Server: Selecione DQS_STAGING_DATA como o banco de dados de origem se tiver copiado os dados de origem para esse banco de dados e, em seguida, selecione a tabela/exibição apropriada que contém os dados de origem. Caso contrário, selecione o banco de dados de origem e a tabela/exibição apropriada. Seu banco de dados de origem deve estar presente na mesma instância do SQL Server que o Data Quality Server para estar disponível na lista suspensa Banco de Dados .

   2. Arquivo Excel: Clique em Procurare selecione o arquivo do Excel que contém os dados a serem limpos. O Microsoft Excel deve ser instalado no computador Cliente Data Quality para selecionar um arquivo do Excel. Caso contrário, o botão Procurar não estará disponível e você será notificado abaixo dessa caixa de texto de que o Microsoft Excel não está instalado. Além disso, deixe a caixa de seleção Usar primeira linha como cabeçalho marcada se a primeira linha do arquivo do Excel contiver dados de cabeçalho.

2. Em Mapeamentos, mapeie as colunas de dados nos seus dados de origem com domínios apropriados na base de conhecimento selecionando uma coluna de origem na lista suspensa na coluna Coluna de Origem e, em seguida, selecionando um domínio na lista suspensa na coluna Domínio na mesma linha. Repita esta etapa para mapear todas as colunas em seus dados de origem com domínios apropriados na base de dados de conhecimento. Se necessário, pode clicar no ícone Adicionar um mapeamento de coluna para adicionar linhas à tabela de mapeamento.

   Observação

   Você pode mapear seus dados de origem para um domínio DQS para executar a limpeza de dados somente se o tipo de dados de origem for suportado no DQS e corresponder ao tipo de dados de domínio DQS. Para obter informações sobre tipos de dados de origem com suporte, consulte Supported SQL Server and SSIS Data Types for DQS Domains.

3. Clique no ícone da fonte de dados do Preview para ver os dados na tabela ou exibição do SQL Server selecionada ou na planilha do Excel selecionada.

4. Clique Exibir/Selecionar Domínios Compostos para exibir uma lista dos domínios compostos mapeados para uma coluna de origem. Esse botão estará disponível somente se você tiver pelo menos um domínio composto mapeado para uma coluna de origem.

5. Clique Avançar para prosseguir para o estágio de limpeza assistida por computador (página Limpar).

Computer-Assisted Fase de Limpeza

No estágio de limpeza assistida por computador, você executa um processo automatizado de limpeza de dados que analisa os dados de origem em relação aos domínios mapeados na base de dados de conhecimento e faz/propõe alterações de dados.

1. Na página Limpeza do assistente de verificação da qualidade de dados, clique em Iniciar para executar o processo de limpeza assistida por computador. O DQS usa algoritmos avançados e níveis de confiança com base nos níveis de limite especificados para analisar seus dados em relação à base de dados de conhecimento selecionada e, em seguida, limpá-los. Para obter informações detalhadas sobre como a limpeza assistida por computador acontece no DQS, consulte Limpeza Assistida por Computador em Limpeza de Dados.

   Importante

   • Após a conclusão da análise de dados, o botão Iniciar se transforma em um botão Reiniciar. Se os resultados da análise anterior ainda não tiverem sido salvos, clicar em Reiniciar fará com que os dados anteriores sejam perdidos. Como a análise está em execução, não saia da página ou o processo de análise será encerrado.

   • Se a base de dados de conhecimento usada para o projeto de limpeza tiver sido atualizada e publicada após o momento em que o projeto de limpeza foi criado, clicar em Iniciar perguntará se você deve usar a base de dados de conhecimento mais recente para limpeza. Isso normalmente pode acontecer se você criou um projeto de qualidade de dados usando uma base de dados de conhecimento, fechou o projeto de limpeza no meio do caminho clicando em Fechare, em seguida, reabriu o projeto de qualidade de dados em um ponto posterior para executar a limpeza. Entretanto, a base de dados de conhecimento utilizada no projeto de limpeza foi atualizada e publicada.

     Da mesma forma, se a base de dados de conhecimento usada para o projeto de limpeza tiver sido atualizada e publicada após a última vez que você executou a limpeza assistida por computador, clicar em Reiniciar perguntará se você deve usar a base de dados de conhecimento mais recente para limpeza.

     Em ambos os casos, clique em Sim para usar a base de conhecimento atualizada para a limpeza assistida por computador. Além disso, se houver conflitos entre os mapeamentos atuais e a base de dados de conhecimento atualizada (como domínios foram excluídos ou o tipo de dados de domínio foi alterado), a mensagem também solicita que você corrija os mapeamentos atuais para usar a base de dados de conhecimento atualizada. Clicar em Sim leva para a página Mapa, onde pode corrigir os mapeamentos antes de continuar com a limpeza assistida por computador.

2. Durante o estágio de limpeza assistida por computador, pode-se ativar o profiler clicando no separador Profiler para visualizar o perfil de dados e as notificações em tempo real. Para obter mais informações, consulte Profiler Statistics.

3. Se não estiver satisfeito com os resultados, então clique em Voltar para retornar à página Mapa, modifique um ou mais mapeamentos conforme necessário, volte à página Limpeza e depois clique em Reiniciar.

4. Após a conclusão do processo de limpeza assistida por computador, clique em Avançar para prosseguir para o estágio de limpeza interativa (página Gerenciar e Exibir Resultados).

Estágio de limpeza interativo

Na etapa de limpeza interativa, você pode ver as alterações propostas pelo DQS e decidir se as implementa ou não, aprovando ou rejeitando as alterações. No painel esquerdo da página Gerenciar e exibir resultados, o DQS exibe uma lista de todos os domínios mapeados anteriormente no estágio de mapeamento, juntamente com o número de valores nos dados de origem analisados em relação a cada domínio durante o estágio de limpeza assistida por computador. No painel direito da página Gerir e visualizar resultados, com base na adesão às regras de domínio, regras de erro de sintaxe e algoritmos avançados, o DQS organiza os dados em cinco guias, usando o nível de confiança . O nível de confiança indica o grau de certeza do DQS para a correção ou sugestão e baseia-se nos seguintes limiares:

• limite de Correção Automática: Qualquer valor que tenha um nível de confiança acima desse limite é corrigido automaticamente pelo DQS. No entanto, o responsável pelos dados pode anular a alteração durante a limpeza interativa. Você pode especificar o valor do limite de correção automática na aba Configurações Gerais da tela de Configuração. Para obter mais informações, consulte Configurar valores de limite para limpeza e correspondência.

• limite de Sugestão Automática: Qualquer valor que tenha um nível de confiança acima desse limite, mas abaixo do limite de correção automática, é sugerido como um valor de substituição. O DQS fará a alteração somente se o administrador de dados aprová-la. Você pode especificar o valor do limiar de sugestão automática na guia Configurações Gerais no ecrã de Configuração . Para obter mais informações, consulte Configurar valores de limite para limpeza e correspondência.

• Outros: Qualquer valor abaixo do valor limite de sugestão automática é deixado inalterado pelo DQS.

Com base no nível de confiança, os valores são exibidos nas cinco guias a seguir:

Para limpar os dados de forma interativa:

1. Na página Gerenciar e exibir resultados do assistente de limpeza de qualidade de dados, clique em um nome de domínio no painel esquerdo.

2. Revise os valores de domínio nas cinco guias e tome as medidas apropriadas, conforme explicado anteriormente.

   • O painel superior direito exibe as seguintes informações para cada valor no domínio selecionado: valor original, número de instâncias (registros), uma caixa para especificar outro valor (correto), o nível de confiança (não disponível para os valores na guia ), o motivo da ação DQS no valor e a opção de aprovar e rejeitar as correções e sugestões para o valor.

     Dica

     Você pode aprovar ou rejeitar todos os valores no domínio selecionado no painel superior direito clicando no ícone Aprovar todos os termos ou no ícone Rejeitar todos os termos, respectivamente. Como alternativa, você pode clicar com o botão direito do mouse em um valor no domínio selecionado e clicar em Aceitar todas as ou Rejeitar todas as no menu de atalho.

   • O painel inferior exibe ocorrências individuais do valor de domínio selecionado no painel superior direito. As seguintes informações são exibidas: uma caixa para especificar outro valor (correto), o nível de confiança (não disponível para os valores na guia Correto), o motivo da ação DQS no valor, a opção de aprovar ou rejeitar as correções e sugestões para o valor, e o valor original.

3. Se você ativou o recurso ortográfico para um domínio ao criá-lo, sublinhados vermelhos ondulados serão exibidos em relação a esses valores de domínio identificados como erro potencial. O sublinhado está visível para todo o valor. Por exemplo, se "New York" estiver escrito incorretamente como "Neu York", o ortógrafo exibirá sublinhado vermelho em "Neu York", e não apenas "Neu". Se clicar com o botão direito do rato no valor, verá as correções sugeridas. Se houver mais de 5 sugestões, você pode clicar em Mais sugestões no menu de contexto para ver o restante delas. Tal como na exibição de erros, as sugestões são substituições do valor completo. Por exemplo, "Nova York" será exibido como uma sugestão no exemplo anterior, e não apenas "Novo". Você pode escolher uma das sugestões ou adicionar um valor ao dicionário a ser exibido para esse valor. Os valores são armazenados no dicionário em um nível de conta de usuário. Quando você seleciona uma sugestão no menu de contexto do ortógrafo, a sugestão selecionada será adicionada à coluna Corrigir para. No entanto, se você selecionar uma sugestão na coluna Corrigir para, o valor na coluna será substituído pela sugestão selecionada.

   O recurso de ortografia é ativado por padrão no estágio de limpeza interativa. Pode desativar o verificador ortográfico na fase de limpeza interativa clicando no ícone Ativar/Desativar Verificação Ortográfica, ou clicando com o botão direito do rato na área dos valores do domínio e, em seguida, clicando em Verificação Ortográfica no menu de atalho. Para ativá-lo novamente, faça o mesmo.

   Observação

   O recurso de ortografia só está disponível no painel superior (valores de domínio). Além disso, não é possível ativar ou desativar o corretor ortográfico para domínios compostos. Os domínios filho em um domínio composto que são do tipo cadeia de caracteres e estão habilitados para o recurso de ortografia, terão a funcionalidade de ortografia habilitada no estágio de limpeza interativa, por padrão.

4. Durante o estágio de limpeza interativa, pode ativar o Profiler clicando na guia Profiler para visualizar o perfil de dados e as notificações em tempo real. Para obter mais informações, consulte Profiler Statistics.

5. Depois de revisar todos os valores de domínio, clique em Avançar para prosseguir para o estágio de exportação.

Etapa de exportação

Na etapa de exportação, você especifica os parâmetros para exportar os dados limpos: o que e para onde exportar.

1. Na página Exportar do assistente de qualidade de dados de limpeza, selecione o tipo de destino para a exportação dos seus dados limpos: SQL Server, Arquivo CSV, ou Arquivo Excel.

   Importante

   Se estiver a utilizar a versão de 64 bits do Excel, não pode exportar os dados limpos para um ficheiro Excel; você só pode exportar para um banco de dados do SQL Server ou para um arquivo .csv.

   1. SQL Server: Selecione DQS_STAGING_DATA como o banco de dados de destino se quiser exportar seus dados aqui e especifique um nome de tabela que será criado para armazenar os dados exportados. Caso contrário, selecione outro banco de dados se desejar exportar dados para um banco de dados diferente e especifique um nome de tabela que será criado para armazenar os dados exportados. Seu banco de dados de destino deve estar presente na mesma instância do SQL Server que o Data Quality Server para estar disponível na lista suspensa Banco de Dados.

   2. arquivo CSV: Clique Explorare especifique o nome e a localização do arquivo .csv onde pretende exportar os dados corrigidos. Você também pode digitar o nome do arquivo .csv junto com o caminho completo para onde deseja exportar os dados limpos. Por exemplo, "c:\ExportedData.csv". O arquivo é salvo no computador onde o Data Quality Server está instalado.

   3. Ficheiro Excel: Clique Explorare especifique o nome e a localização do ficheiro Excel para onde pretende exportar os dados apurados. Você também pode digitar o nome do arquivo do Excel junto com o caminho completo para onde deseja exportar os dados limpos. Por exemplo, "c:\ExportedData.xlsx". O arquivo é salvo no computador onde o Data Quality Server está instalado.

2. Marque a caixa de seleção Padronizar Saída para padronizar a saída com base no formato de saída selecionado para o domínio. Por exemplo, altere o valor da cadeia de caracteres para maiúsculas ou coloque em maiúscula a primeira letra da palavra. Para obter informações sobre como especificar o formato de saída de um domínio, consulte a lista Formatar saída para em Definir propriedades do domínio.

3. Em seguida, selecione a saída de dados: exporte apenas os dados limpos ou exporte os dados limpos junto com as informações de limpeza.

   • Somente dados: Clique no botão de rádio para exportar apenas os dados limpos.

   • Dados e Informações de Limpeza: Clique no botão de opção para exportar os seguintes dados para cada domínio:

     • <Domain>_Source: O valor original no domínio.

     • <Domain>_Output: Os valores purificados no domínio.

     • <Domínio>_Reason: O motivo especificado para a correção do valor.

     • <Domain>_Confidence: O nível de confiança para todos os termos que foram corrigidos. É exibido como o valor decimal equivalente ao valor percentual correspondente. Por exemplo, um nível de confiança de 95% será exibido como .9500000.

     • <Domain>_Status: O status do valor do domínio após a limpeza de dados. Por exemplo, Sugerido, Novo, Inválido, Corrigido, ou Correto.

     • Estado do Registo: Além de ter um campo para o estado de cada domínio mapeado (<DomainName>_Status), o campo Estado do Registo exibe o estado de um registo. Se qualquer um dos status do domínio no registro for Novo ou Correto, a de Status do Registro será definida como Correto. Se qualquer um dos estados do domínio no registo estiver Sugerido, Inválido ou Corrigido, o Status do Registo será definido como o respetivo valor. Por exemplo, se qualquer um dos status do domínio no registro for Sugerido, a Status do Registro será definida como Sugerido.

       Observação

       Se você usar o serviço de dados de referência para a operação de limpeza, alguns dados adicionais sobre o valor do domínio também estarão disponíveis para exportação. Para mais informações, consulte Limpar dados usando dados de referência externos.

4. Clique em Exportar para exportar dados para o destino de dados selecionado. Se selecionou:

   • SQL Server como destino de dados, uma nova tabela com o nome especificado será criada no banco de dados selecionado.

   • Arquivo CSV como destino de dados, um arquivo de .csv será criado no local no computador do Data Quality Server com o nome de arquivo especificado anteriormente na caixa Nome do do Arquivo CSV.

   • Arquivo do Excel como destino de dados, um arquivo do Excel será criado no computador do Data Quality Server no local com o nome de arquivo especificado anteriormente na caixa nome do arquivo Excel.

5. Clique Concluir para encerrar o projeto de qualidade de dados.

Estatísticas do Profiler

A guia Profiler fornece estatísticas que indicam a qualidade dos dados de origem. A criação de perfil ajuda a avaliar a eficácia da atividade de limpeza de dados e você pode determinar até que ponto a limpeza de dados foi capaz de melhorar a qualidade dos dados.

A aba Profiler fornece as seguintes estatísticas sobre os dados de origem, por campo e domínio:

• Records: Quantos registros na amostra de dados foram analisados para a atividade de limpeza de dados

• Registros corretos: Quantos registros foram considerados corretos

• Registros corrigidos: Quantos registros foram corrigidos

• Registros sugeridos: Quantos registros foram sugeridos

• Registros inválidos: Quantos registros eram inválidos

As estatísticas de campo incluem o seguinte:

• Campo: Nome do campo nos dados de origem

• Domain: Nome do domínio que corresponde ao campo

• Valores corrigidos: O número de valores de domínio que foram corrigidos

• Valores sugeridos: O número de valores de domínio que foram sugeridos

• Completude: A completude de cada campo de origem mapeado para a atividade de limpeza

• Precisão: A precisão de cada campo de origem que é mapeado para a atividade de limpeza

O perfilamento DQS fornece duas dimensões de qualidade de dados: integridade (a extensão em que os dados estão presentes) e precisão (a extensão em que os dados podem ser usados para seu propósito pretendido). Se a criação de perfil indicar que um campo está relativamente incompleto, convém removê-lo da base de conhecimento de um projeto de qualidade de dados. A criação de perfis pode não fornecer estatísticas confiáveis de completude para domínios compostos. Se você precisar de estatísticas de completude, use domínios únicos em vez de domínios compostos. Se você quiser usar domínios compostos, convém criar uma base de dados de conhecimento com domínios únicos para criação de perfil, para determinar a completude e criar outro domínio com um domínio composto para o processo de limpeza. Por exemplo, a perfilagem pode mostrar 95% de completude para registos de endereço usando um domínio composto, mas pode haver um nível muito maior de incompletude para uma das colunas, por exemplo, uma coluna de código postal. Neste exemplo, talvez você queira medir a integridade da coluna de CEP com um único domínio. A criação de perfil provavelmente fornecerá estatísticas de precisão confiáveis para domínios compostos, pois você pode medir a precisão de várias colunas juntas. O valor desses dados está na agregação composta, portanto, convém medir a precisão com um domínio composto.

As estatísticas de precisão provavelmente exigirão mais interpretação se você não estiver usando um serviço de dados de referência. Se você estiver usando um serviço de dados de referência para limpeza de dados, terá um nível de confiança nas estatísticas de precisão. Para obter mais informações sobre limpeza de dados usando o serviço de dados de referência, consulte Limpar dados usando dados de referência (externos) Knowledge.

Limpeza de notificações

As seguintes condições resultam em notificações:

• Não há correções ou sugestões para um campo. Talvez você queira removê-lo do mapeamento, executar a descoberta de conhecimento primeiro ou usar outra base de dados de conhecimento.

• Há relativamente poucas correções ou sugestões para um campo. Talvez você queira removê-lo do mapeamento, executar a descoberta de conhecimento primeiro ou usar outra base de dados de conhecimento.

• O nível de precisão do campo é muito baixo. Talvez queiras verificar o mapeamento ou considerar a execução da extração de conhecimento primeiro.

Para obter mais informações sobre criação de perfil, consulte Perfilagem de Dados e Notificações no DQS.