Solução de problemas de qualidade de dados

Este artigo descreve perguntas comuns e sintomas de erros, juntamente com possíveis resoluções:

Por que motivo estou a ver um erro de origem inválido da tarefa de análise?

• Poderá ver este erro por dois motivos:
  • A tabela delta não existe na localização.
  • Os dados no ficheiro não estão num formato delta válido.

Estou a configurar análises de qualidade de dados para as minhas tabelas delta do Microsoft Fabric. Vejo todos os recursos de dados na vista de qualidade dos dados, seleciono um recurso e aplico regras para análise da qualidade dos dados, mas a análise falha.

• A análise da qualidade dos dados pode falhar por vários motivos:
  • Os dados nas tabelas não estão no formato delta correto. Certifique-se de que os seus dados estão no formato delta.
    • A análise do Mapa de Dados não foi executada com êxito. Volte a executar a análise do Mapa de Dados.
    • Tem de eliminar quaisquer execuções de qualidade de dados anteriores para o recurso de dados.

Por que motivo estou a ver a mensagem de erro "Não é possível utilizar nenhuma ligação. Tente criar a ligação primeiro."?

• Para criar perfis de dados ou para executar a análise da qualidade dos dados, primeiro tem de configurar uma ligação de origem de dados. Este alerta desaparece depois de criar uma ligação de origem de dados.

Por que motivo a contagem total de dados criados com perfis é inferior à contagem total na minha tabela Delta do Microsoft Azure Data Lake Storage Gen2?

• Qualidade de Dados do Microsoft Purview utiliza um tamanho de amostra de 1 milhão para criação de perfis. Este exemplo é recolhido aleatoriamente. Se a sua tabela delta tiver mais de 1 milhão de registos, a contagem total não corresponderá.

Por que motivo vejo uma ação sobre a classificação de qualidade dos dados em falta para um produto de dados, mas vejo a classificação no produto de dados quando naveguei na vista do produto de dados?

• Quando a ação foi criada, não havia nenhuma classificação de qualidade de dados para esse produto de dados. A análise da qualidade dos dados foi executada após a ação ter sido criada e a classificação publicada para o produto de dados. Feche a ação assim que a remediação for feita para evitar confusões.

A criação de regras de qualidade de dados a partir de "Sugerir regras" gera um erro sobre uma coluna "data" ao tentar adicionar todas as 30 regras sugeridas

• Este erro ocorre porque o tipo de dados de esquema não é suportado na vista de esquema de qualidade de dados. Pode alterar o tipo de dados para data ao selecionar o botão de alternar gestão de esquemas e guardá-lo. Depois de alterar o tipo de dados, deverá conseguir adicionar a regra.

Ao tentar adicionar todas as regras sugeridas, por que motivo vejo o erro "O ObserverId já existe"?

• O mais provável é que a mesma regra ou regra idêntica já esteja adicionada a uma coluna. Quando tenta adicionar a mesma regra ou uma regra idêntica a uma coluna, a aplicação lança esta mensagem de erro.

Porque é que o meu trabalho agendado está a ser ignorado em vez de ser executado? Vejo Ignorado para tarefas de análise de qualidade de dados.

• A tarefa de qualidade de dados verifica e executa a qualidade dos dados apenas se existirem alterações desde a última execução. Verifica o histórico de diferenças. Ignorado significa que não existem alterações nos dados desde a última execução e que a execução do Spark para a qualidade dos dados não é efetuada. Ignorado não significa que falhou.

Quando seleciono o separador dados do perfil, vejo o número de colunas pré-selecionadas. Posso alterar as colunas selecionadas?

• Qualidade de Dados do Microsoft Purview utiliza uma solução de criação de perfis assistido de IA. A IA de Criação de Perfis de Dados do Microsoft Purview seleciona as colunas pré-selecionadas. Pode desselecionar essas colunas e voltar a selecionar com base na criticidade das colunas e selecionar Guardar e executar para executar a criação de perfis.

Por que motivo não consigo selecionar alguns dos recursos de dados da página da lista de recursos de qualidade de dados para perfil e análise?

• Podem existir algumas razões:
  • Esses recursos de dados são publicados a partir de origens de dados não suportadas.
  • O formato de ficheiro desses recursos de dados não é suportado.

Porque é que a minha tarefa de criação de perfis está a falhar para as origens de dados suportadas?

• Verifique o esquema para se certificar de que não existe nenhum nome de coluna com espaços. A versão atual não suporta nomes de colunas com espaços.

Por que motivo não consigo executar a análise da qualidade dos dados e a criação de perfis de dados para ficheiros de CSV, TSV e texto?

• Atualmente, a Qualidade de Dados suporta o formato Delta do Parquet, Delta, Iceberg ORC e Iceberg AVRO. A Qualidade de Dados do Purview não suporta ficheiros de texto, TSV e CSV.

Por que motivo não vejo a regra de atualização da qualidade dos dados na lista de regras?

• As tabelas do Microsoft SQL do Azure não suportam a atualização da qualidade dos dados. Se o recurso de dados for uma tabela de SQL do Azure, a regra de atualização não aparece na lista para seleção e aplicação ao recurso de dados.

Por que motivo vejo o tipo de dados Não Definido para algumas colunas de um esquema de recurso de dados numa página de esquema de qualidade de dados?

• Parece que o tipo de dados para todas as colunas não está identificado corretamente. Pode importar o esquema para resolve o problema (para atualizar o tipo de dados). Selecione o item de menu de esquema na página de descrição geral da dualidade de dados, selecione o botão de alternar Gestão de esquemas e selecione Importar esquema. Depois de importar o esquema, selecione novamente o botão de alternar gestão de esquemas para guardar o esquema atualizado.

• As tabelas do Microsoft SQL do Azure não suportam a atualização da qualidade dos dados. Se o recurso de dados for uma tabela de SQL do Azure, a regra de atualização não aparece na lista para seleção e aplicação ao recurso de dados.

A minha tarefa de análise de qualidade de dados falhou. Vejo uma mensagem de erro "Ocorreu um erro de serviço interno, tente novamente ou contacte o suporte da Microsoft.". O que devo fazer para resolver problemas?

• Muitos motivos podem fazer com que a análise falhe com esta mensagem de erro:
  • O utilizador não está autorizado a executar a operação atual para a área de trabalho à qual o utilizador está a tentar aceder para a análise da qualidade dos dados.
  • Código de erro 403, o que significa que o acesso às origens de dados é proibido temporariamente.
  • O acesso concedido à origem de dados para a identidade gerida (MSI) expirou.
  • A identidade gerida (MSI) do Microsoft Purview precisa de contribuidor acesso à área de trabalho do Microsoft Fabric. Se o acesso contribuidor para o MSI do Microsoft Purview não tiver sido fornecido à área de trabalho do Microsoft Fabric, a análise da qualidade dos dados falhará.

Por que motivo estou a receber um erro de formato delta, apesar de estar a utilizar o formato delta?

• Suportamos o Spark 3.4 Delta 2.4. Certifique-se de que está a utilizar a versão 2.4 do Delta Lake.

Por que motivo estou a ver o erro quando selecionei um recurso de dados de referência para configurar a regra de pesquisa de tabelas?

• Selecionou um recurso de dados que não faz parte da ligação ou se referiu a um produto de dados no mesmo domínio de governação. Para selecionar o recurso de dados correto:

  • Selecione selecionar tabela de referência, conforme indicado nesta imagem:

    

  • Cancele a seleção atual, conforme indicado nesta imagem:

    

  • Depois de cancelar a seleção atual, selecione outro elemento.

Como posso configurar o acesso à origem de dados para o Microsoft Purview MSI?

• Eis o guia de configuração do MSI. Encontrará os detalhes neste documento.

Todas as nossas origens de dados estão protegidas pelo ponto final privado (na rede virtual), o Microsoft Purview pode aceder aos dados na rede virtual para análise da qualidade dos dados?

• Sim, o Microsoft Purview suporta o Managed Rede Virtual para análise da qualidade dos dados. Veja o artigo Configuração da rede virtual gerida do Microsoft Purview.

Onde posso encontrar documentação sobre a função de expressão para criar regras personalizadas?

• Encontre informações e exemplos em Criar regras de qualidade de dados.

Porque é que a minha análise de qualidade de dados da tabela Fabric Lakehouse está a falhar?

• Muitos motivos podem causar a falha:

  • Certifique-se de que as tabelas lakehouse são detetáveis no Mapa de Dados com esquema.

  • Certifique-se de que está a utilizar o SPN para a análise do Mapa de Dados e a MSI para análise da qualidade dos dados.

  • Confirme que configurou a ligação DQ com MSI.

    • Certifique-se de que o MSI do Microsoft Purview tem contribuidor acesso à área de trabalho Recursos de Infraestrutura.
    • Ativar a definição do Microsoft OneLake: os utilizadores podem aceder aos dados armazenados no OneLake com aplicações externas aos Recursos de Infraestrutura.

    

  • Saiba como configurar a qualidade dos dados para o Fabric Lakehouse.

  • Saiba como configurar uma configuração de análise do Mapa de Dados para Recursos de Infraestrutura.

Por que motivo os utilizadores não podem ativar a rede virtual gerida (VNET) para a configuração da qualidade dos dados no Microsoft Purview para Databricks, Synapse ou outras origens de dados suportadas?

• Problema: depois de selecionar a caixa de verificação Ativar vnet gerida e receber aprovação, não ocorrem alterações no lado do Microsoft Purview e as tentativas subsequentes de criar uma ligação falham sem nenhum pedido enviado para as origens (por exemplo, Azure Databricks, Synpase, Azure Data Lake Storage Gen2) para aprovação.

• Resolução: este problema ocorre quando um utilizador elimina o Ponto Final Privado Gerido (MPE) depois de o configurar. Atualmente, se um utilizador atualizar ou eliminar o MPE diretamente da origem após a aprovação inicial, o sistema de Qualidade de Dados não conseguirá controlar o MPE status alteração. Para resolve este problema, contacte o suporte da Microsoft.