Compartilhar via

Configurar a qualidade dos dados do Snowflake

Ao analisar origens de dados do Snowflake, o Microsoft Purview suporta a extração de metadados técnicos, incluindo:

  • Servidor, bases de dados, esquemas e tabelas, incluindo as colunas; vistas, incluindo as colunas, chaves externas e restrições exclusivas.
  • Procedimentos armazenados, incluindo o conjunto de dados de parâmetros e o conjunto de resultados.
  • Funções, incluindo o conjunto de dados de parâmetros.
  • Pipes, fases e fluxos, incluindo as colunas.
  • Tarefas e sequências.

Registar uma origem de Snowflake no Mapa de Dados

Para registar uma nova origem de Snowflake no Catálogo unificado do Microsoft Purview, siga estes passos:

  • Inicie sessão no portal do Microsoft Purview.
  • Selecione a solução Mapa de Dados card. Se a solução mapa de dados card não for apresentada, selecione Ver todas as soluções e, em seguida, selecione Mapa de Dados na secção Núcleo.
  • Selecione Registrar.
  • Em Registar origens, selecione Snowflake.

Configurar uma análise do Mapa de Dados

  • Selecione a origem registada do Snowflake.
  • Selecione + Nova análise.
  • Forneça os seguintes detalhes:
    • Nome: o nome da análise.
    • Ligar através do runtime de integração: selecione o runtime de integração Azure autoresolved, IR de Rede Virtual Gerido ou SHIR de acordo com o seu cenário.
    • Anfitrião para ligação: escolha o ponto final utilizado para estabelecer ligação ao Snowflake durante a análise. Pode escolher entre o URL do servidor ou os outros anfitriões que configurou na origem de dados.
    • Credencial: selecione a credencial para ligar à sua origem de dados. Certifique-se de que:
      • Selecione Autenticação Básica ao criar uma credencial.
      • Indique o nome de utilizador utilizado para ligar ao Snowflake no campo de entrada Nome de utilizador.
      • Armazene a palavra-passe de utilizador utilizada para ligar ao Snowflake na chave secreta.
    • Armazém: especifique o nome da instância do armazém utilizada para capacitar a análise em maiúsculas e minúsculas. A função predefinida atribuída ao utilizador especificado na credencial tem de ter direitos de UTILIZAÇÃO neste armazém.
    • Bases de dados: especifique um ou mais nomes de instâncias de base de dados a importar em maiúsculas e minúsculas. Separe os nomes na lista com um ponto e vírgula (;). Por exemplo, DB1; DB2. A função predefinida atribuída ao utilizador especificado na credencial tem de ter direitos adequados nos objetos da base de dados.
    • Esquema: listar o subconjunto de esquemas a importar expressos como uma lista separada por ponto e vírgula.
  • Selecione Testar ligação para validar as definições (disponíveis ao utilizar Azure Integration Runtime).
  • Selecione Continuar.
  • Selecione um conjunto de regras de análise para classificação. Pode escolher entre a predefinição do sistema, os conjuntos de regras personalizadas existentes ou criar um novo conjunto de regras inline.
  • Reveja a análise e selecione Guardar e Executar.

Depois de analisado, o recurso de dados no Snowflake está disponível na pesquisa Catálogo unificado. Para obter mais informações sobre como ligar e gerir o Snowflake no Microsoft Purview, consulte Ligar e gerir o Snowflake no Microsoft Purview.

Importante

Quando elimina o objeto da origem de dados, a análise subsequente não remove automaticamente o recurso correspondente no Microsoft Purview.

Configurar a ligação à origem de dados do Snowflake para análise da qualidade dos dados

Neste momento, o recurso analisado está pronto para catalogação e governação. Associe o recurso analisado ao produto de dados numa Seleção de Domínio de Governação. No Separador Qualidade dos Dados, adicione um novo SQL do Azure Ligação à Base de Dados: Introduza manualmente o Nome da Base de Dados.

  1. No portal do Microsoft Purview, abra Catálogo unificado.

  2. Em Gestão do estado de funcionamento, selecione Qualidade dos dados.

  3. Selecione um domínio de governação na lista e, em seguida, selecione Ligações na lista pendente Gerir .

  4. Configure a ligação na página Ligações :

    • Adicione o nome e a descrição da ligação.
    • Selecione o tipo de origem Snowflake.
    • Adicione Nome do servidor, Nome do armazém, Nome da base de dados, Nome do esquema e Nome da tabela.
    • Selecione o método de autenticação – Autenticação básica.
    • Adicionar Nome de utilizador.
    • Adicionar Credenciais:
      • Adicionar Azure subscrição
      • Ligação ao cofre de chaves
      • Nome do segredo
      • Versão secreta
    • Selecione a caixa de verificação Ativar V-Net geridose o Snowflake estiver em execução no Azure Rede Virtual.
    • Selecione o Azure Região.
    • Adicione Link Privado ID de Recursos.
    • Adicionar Nome de Domínio Completamente Qualificado.

  5. Teste a ligação para se certificar de que funciona. Se estiver a utilizar Rede Virtual, a funcionalidade de ligação de teste não é suportada.

    Captura de ecrã que mostra como configurar a ligação de floco de neve.

    Captura de ecrã que mostra como configurar o token de ligação de floco de neve.

O ID do recurso para a ligação privada snowflake de destino tem o seguinte formato: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

  • Para obter o ID de região e o Nome completamente qualificado, execute SYSTEM_WHITE_LIST e SYSTEM_WHITE_LIST_PRIVATELINK para obter os SNOWFLAKE_DEPLOYMENTvalores , SNOWFLAKE_DEPLOYMENT_REGIONLESSe OCSP_CACHE para anfitriões públicos e de lista de permissões.
  • Para obter o ID da Subscrição, execute SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() como ACCOUNTADMIN para obter os valores snowflake-vnet-subnet-ids . O ID da Subscrição da Link Privado do inquilino Azure do Snowflake é obtido a partir deste.

Importante

  • Assim que o pedido de uma ligação de ponto final privado for criado, é necessário criar um pedido de suporte com o suporte do Snowflake para aprovar a ligação de ponto final privado. Indique os detalhes do ID do recurso de ponto final privado gerido neste pedido de suporte para a equipa do Snowflake aprovar.
  • Os responsáveis pela qualidade dos dados precisam de acesso só de leitura ao Snowflake para configurar a ligação de qualidade dos dados.
  • O conector snowflake não aceita https://. Remova https:// quando adicionar o nome do servidor para configurar a ligação à origem de dados.
  • Se o acesso público estiver desativado, tem de selecionar Permitir serviços Microsoft fidedignos para Key Vault. Isto é necessário apenas para Key Vault, não para a área de trabalho do Snowflake.

Observação

Será adicionado suporte para Open Authorization (OAuth) e o par de chaves para a ligação da base de dados snowflake. Com o OAuth e os mecanismos de autenticação baseados em pares de chaves suportados para o Snowflake, pode criar várias ligações que suportem diferentes mecanismos de autenticação. Nestes casos, a lógica de escolher a última ligação criada mantém-se. Por exemplo, se criar primeiro uma ligação baseada em pares de chaves seguida de OAuth, a OAuth é recolhida. Se pretender que a ligação do par de chaves seja recolhida, tem de eliminar o mecanismo OAuth. Contacte o seu representante da Conta Microsoft se quiser pré-visualizar o novo modelo de autenticação snowflake para Qualidade de Dados do Microsoft Purview análise.

Análise de perfis e qualidade dos dados para dados no Snowflake

Depois de configurar a ligação, pode criar e aplicar regras nos seus dados, criar e aplicar regras e executar uma análise da qualidade dos dados dos seus dados no Snowflake. Siga as diretrizes passo a passo descritas nos seguintes documentos:

Recursos

  • Last updated on