Análise e informações personalizadas

As análises e informações personalizadas referem-se a dados, ferramentas e plataformas que permitem aos utilizadores empresariais aceder, analisar e gerar informações a partir de dados de forma independente. A governação de dados do Microsoft Purview publica um modelo de domínio de metadados no OneLake do Microsoft Fabric e no Microsoft Azure Data Lake Storage Gen2, para que possa analisar e gerar informações ao trazer as suas próprias ferramentas e computação. A análise self-service dos metadados de governação de dados é valiosa para impulsionar a melhoria contínua da gestão do estado de funcionamento do seu património de dados e promover uma cultura condicionada por dados em toda a sua organização ao democratizar o acesso às informações do património de dados e à gestão do estado de funcionamento.

Componentes principais

• Modelo de Dados: Modelo 3NF com domínios e detalhes de dimensões.
• Metadados: Metadados de governação de dados que incluem:
  • Domínios de governação
  • Produtos de dados
  • Recursos de dados
  • Termos do glossário
  • Pedido de subscrição
  • Regras de qualidade de dados
  • Dimensões
  • Factos de qualidade dos dados (contagens de passagem e falha)
  • Ações de estado de funcionamento dos dados (incluindo ações de qualidade de dados)
  • E muitos mais

Benefícios

• Capacitação: Capacita os profissionais de dados, proprietários de produtos de dados, responsáveis pelos dados e analistas a explorar metadados de governação de dados e ligar metadados de várias origens para obter informações.
• Flexibilidade e Eficiência: Pode criar relatórios personalizados para além de relatórios desativados na gestão do estado de funcionamento.
• Agilidade: Permite que a sua organização responda mais rapidamente aos problemas de gestão do estado de funcionamento e à remediação.
• Rentável: Reduz a necessidade de configurar plataformas e ferramentas de compilação. Todos os dados estão disponíveis no OneLake e pode utilizar ferramentas disponíveis (modelo semântico de recursos de infraestrutura, Microsoft Power BI relatórios, fluxo de dados e bloco de notas) no OneLake.

Relatórios atualmente disponíveis (desativados)

Eis os relatórios disponíveis. Não pode personalizar estes relatórios.

• Recursos clássicos – uma descrição geral dos recursos por tipo e coleção, e a sua status de curadoria.
• Adoção clássica do catálogo – para compreender rapidamente como Catálogo unificado está a ser utilizada. o seu glossário, fornecendo uma snapshot de termos e os respetivos status.
• Classificações clássicas – uma descrição geral dos recursos classificados e dos tipos de classificações.
• Gestão de dados clássica – uma descrição geral dos recursos classificados e dos tipos de classificações.
• Glossário clássico - saúde e utilização de termos do glossário.
• Etiquetas de confidencialidade clássicas – uma descrição geral dos recursos que têm etiquetas de confidencialidade aplicadas e os tipos de etiquetas aplicados.
• Governação de dados – o relatório de estado de funcionamento da governação de dados permite à sua equipa controlar rapidamente o progresso do estado de funcionamento e identificar áreas que precisam de mais trabalho.
• Estado de funcionamento da qualidade dos dados – relatórios de desempenho das dimensões de qualidade dos dados e das regras de qualidade dos dados.

Modelo de dados para metadados de análise self-service

O modelo de domínio 3NF faz parte do processo de normalização na estrutura da base de dados relacional. Garante que a base de dados está livre de redundância e atualiza anomalias. Um esquema de base de dados está no Terceiro Formulário Normal se cumprir os requisitos dos Formulários Normais Primeiro e Segundo e todos os respetivos atributos dependerem funcionalmente apenas da chave primária. Utilize o modelo de domínio 3NF para estruturar dados de uma forma que minimize a duplicação e garanta a integridade dos dados. Concentra-se em dividir dados em tabelas relacionadas mais pequenas, onde cada informação é armazenada apenas uma vez.

Características:

• Eliminação das Dependências Transitivas: os atributos não chave não devem depender de outros atributos não chave.
• Agrupamento Lógico: os dados são agrupados logicamente em domínios com base na respetiva função ou significado.
• Entity-Relationship Diagramas (ERDs): normalmente utilizados para representar modelos de domínio 3NF, mostrando como as entidades se relacionam entre si.

* O nome do Domínio Empresarial foi mudado para "Domínio de Governação" na nova experiência de utilizador Catálogo unificado, mas não foi mudado no modelo físico na base de dados. A alteração de nome não afeta o cenário de utilização descrito aqui para Domínio de Negócio.

Este diagrama mostra a relação entre entidades do modelo de domínio descrito na tabela anterior: Captura de ecrã

Subscrever Catálogo unificado metadados para o OneLake dos Recursos de Infraestrutura

Subscreva os metadados de governação de dados do Microsoft Purview para análise e obtenha informações ao seguir estes passos:

1. No portal do Microsoft Purview, selecione Definições e, em seguida, selecione Catálogo unificado e, em seguida, selecione Integrações de soluções (pré-visualização).

2. Certifique-se de que tem a função Administrador de Governação de Dados (saiba mais sobre funções e permissões).

3. Selecione Editar.

4. Adicione o Tipo de armazenamento e Ativou a configuração.

5. Adicionar URL de Localização (exemplo: https://onelake.dfs.fabric.microsoft.com/workspace name/lakehouse name/Files/purviewmetadata)

6. Selecione Propriedades para copiar o URL.

   

7. Copie o URL da página Propriedades .

   

8. Adicione o nome da pasta no final do URL; por exemplo, /DEH, como visto na imagem anterior.

9. Conceda contribuidor acessos à Identidade de Serviço (MSI) de Gestão do Microsoft Purview para a área de trabalho recursos de infraestrutura.

10. Teste a ligação.

11. Selecione Guardar para guardar a configuração e publicar metadados do Microsoft Purview na sua área de trabalho do OneLake.

Ativar o V-NET gerido

Para ativar e desativar a rede virtual gerida, siga estes passos:

1. No portal do Microsoft Purview, selecione Definições.
2. Em Definições da solução, selecione Catálogo unificado e, em seguida, selecione Integrações de soluções (pré-visualização).
3. No painel Configurar lista de opções de armazenamento , selecione o botão de alternar Ativar V-NET gerido para ativar a rede virtual gerida para o seu armazenamento.

1. Introduza o ID do Recurso de Destino. Por exemplo, o ID do recurso de destino é: /subscriptions/e2223ea4f73-6833-439d-b40e 615c78e2d8af/resourceGroups/vnettesting/providers/. Para copiar um ID de recurso do seu armazenamento, selecione a Vista Json do seu armazenamento e copie a cadeia Json.
2. Selecione Atualizar MPE status para ver a atualização. O status muda de Aprovisionamento para Pendente.
3. Tem de aprovar o pedido MPE no Microsoft portal do Azure para concluir a configuração. Depois de aprovar o pedido, o MPE status alterações de Pendente para Aprovado.

Desative a configuração da rede virtual ao selecionar o seletor Ativar V-NET gerido para a ativar para a posição desativada. Se a desativar, terá de alterar o ponto final de armazenamento de rede não virtual.

Remover uma rede virtual configurada

Para remover uma configuração de rede virtual gerida, selecione Eliminar MPE no painel Configurar lista de opções de armazenamento. Esta ação elimina a configuração da rede virtual e remove-a do painel Configurar armazenamento . A área Testar ligação reaparece, permitindo-lhe testar uma ligação de rede não virtual. A ligação de teste só está ativada para a configuração de armazenamento não virtual.

Configuração de rede virtual gerida para armazenamento de recursos de infraestrutura

Se o inquilino dos Recursos de Infraestrutura estiver configurado para ser executado no Rede Virtual ou no Link Privado, tem de selecionar Ativar V-NET gerido no painel Configurar armazenamento e, em seguida, adicionar um Link Privado ID de Recurso, conforme listado aqui:/subscriptions/07d669d6-83f2-4f15-8b5b-4a4b31a3432/resourceGroups/pdgbugbashfabricvnet/providers/Microsoft.PowerBI/privateLinkServicesForPowerBI/fabricvnetpl.

Para configurar a computação para redes virtuais, veja Configurar a qualidade dos dados para redes virtuais geridas. Tem de configurar a ligação privada para o inquilino dos Recursos de Infraestrutura antes de configurar a ligação de rede virtual de qualidade de dados e a alocação de computação.

Informações úteis sobre a configuração da rede virtual

• Certifique-se de que está a utilizar o URL de Localização ou o Ponto Final do armazenamento de rede virtual quando estiver a ativar a rede virtual gerida para armazenar metadados do Microsoft Purview.
• Para evitar utilizar um grupo de recursos incorreto, utilize a Vista JSN para copiar o "ID de Recurso de Destino" do portal do Azure.
• Se eliminou a rede virtual configurada, certifique-se de que alterou o ponto final ou o URL de Localização para utilizar o armazenamento de rede não virtual e testar a ligação para o armazenamento de rede não virtual.

Criar um modelo semântico no OneLake

Um modelo semântico no contexto de dados e análise refere-se a uma representação estruturada de dados que define o significado, as relações e as regras num domínio específico. Fornece uma camada de abstração que ajuda os utilizadores a compreender e interagir com dados complexos, tornando-os mais intuitivos e acessíveis, especialmente no contexto de business intelligence (BI) e plataformas de análise. Um modelo semântico é sempre necessário antes de ser possível criar relatórios. No armazém, um utilizador pode adicionar objetos de armazém – tabelas ou vistas ao modelo semântico predefinido do Power BI. Também podem adicionar outras propriedades de modelação semântica, como hierarquias e descrições. Estas propriedades são então utilizadas para criar as tabelas do modelo semântico do Power BI. Os utilizadores também podem remover objetos do modelo semântico predefinido do Power BI.

Para criar um modelo semântico a partir do modelo de domínio de metadados Governança de dados do Microsoft Purview:

1. Abra o Lakehouse na área de trabalho Recursos de Infraestrutura.

2. Utilize o atalho para criar um atalho do modelo de domínio a partir do OneLake e do OneLake.

   1. Selecione o botão de reticências de Tabelas (...).
   2. Selecione Novo Atalho e selecione Microsoft OneLake na página Novas Origens de atalho.
   3. Selecione a tabela DomainModel a atalho.

   

3. Crie um atalho diretamente ao nível da tabela para todos os ficheiros, o que elimina os registos duplicados.

   

Depois de publicar todos os ficheiros em tabelas delta através de atalho, pode adicionar as tabelas delta ao modelo semântico.

1. Mude para a página de ponto final de análise do SQL a partir da página Lakehouse.
2. Selecione Relatórios no canto superior esquerdo da página de ponto final de análise do SQL .
3. Selecione Gerir modelo semântico predefinido.
4. Selecione as tabelas das Tabelas dbo > que pretende adicionar ao modelo semântico para relatórios.

Para adicionar objetos como tabelas ou vistas ao modelo semântico predefinido do Power BI, selecione Atualizar automaticamente o modelo semântico.

Subscrever metadados do catálogo do Purview para Data Lake Storage Gen2 armazenamento

Subscreva os metadados de governação de dados do Microsoft Purview para publicá-los e armazená-los no armazenamento do AdlsG2 para análise e informações ao seguir estes passos:

1. No portal do Microsoft Purview, abra Catálogo unificado.

2. Selecione Definições no painel de navegação esquerdo e, em seguida, em Definições da solução, selecione Catálogo unificado.

3. Selecione Integração da solução e, em seguida, selecione Editar.

4. Selecione Tipo de armazenamento e Ativado a configuração.

5. Adicionar URL de Localização. Este URL tem de ser o caminho Data Lake Storage Gen2 mais o nome do contentor, formatado como Data Lake Storage Gen2 + "/(nome do contentor)".

   1. Acesse portal.azure.com.
      1. Selecione o armazenamento Data Lake Storage Gen2 (Home adlsg2>).
   2. Aceda a Pontos Finais de Definições> e selecione o ponto final principal do armazenamento do Microsoft Azure Data Lake.

6. Conceda acesso de Contribuidor de Dados do Blob de Armazenamento ao Microsoft Purview Manage Service Identity (MSI) para o contentor de Data Lake Storage Gen2.

7. Teste a ligação.

   

8. Selecione Guardar para guardar a configuração e publicar o modelo de domínio no seu armazenamento Data Lake Storage Gen2.

Rever os dados e o modelo publicados

1. Abra portal.azure.com.

2. Selecione o Data Lake Storage Gen2 armazenamento.

3. Selecione o contentor que adicionou com o ponto final Data Lake Storage Gen2 no Microsoft Purview.

4. Procure a lista de ficheiros Delta Parquet publicados no contentor.

5. Procure metadados e modelos publicados (veja as seguintes imagens).

   

   

Criar um relatório do Power BI

O Power BI está integrado nativamente em toda a experiência de Recursos de Infraestrutura. Esta integração nativa inclui um modo exclusivo, denominado DirectLake, para aceder aos dados do lakehouse para proporcionar a experiência de consulta e relatórios mais eficaz. O DirectLake é uma nova capacidade inovadora que lhe permite analisar grandes modelos semânticos no Power BI. Com o DirectLake, carrega ficheiros formatados em parquet diretamente a partir de um data lake sem ter de consultar um armazém de dados ou ponto final lakehouse e sem ter de importar ou duplicar dados para um modelo semântico do Power BI. O DirectLake é um caminho rápido para carregar os dados do data lake diretamente para o motor do Power BI, pronto para análise.

No modo DirectQuery tradicional, o motor do Power BI consulta diretamente os dados da origem para cada execução de consulta e o desempenho da consulta depende da velocidade de obtenção de dados. O DirectQuery elimina a necessidade de copiar dados, garantindo que quaisquer alterações na origem são imediatamente refletidas nos resultados da consulta.

Para obter mais informações, veja como criar um relatório do Power BI no Microsoft Fabric.

Configurar a agenda

Os Administradores de Governação de Dados podem configurar a agenda de atualização de metadados de análise self-service ao seguir estes passos:

1. No portal do Microsoft Purview, abra Catálogo unificado.
2. Selecione Definições no painel de navegação esquerdo e, em seguida, em Definições da solução, selecione Catálogo unificado.
3. Selecione Integração da solução e, em seguida, selecione o ícone do agendador.
4. Em Agendar análise personalizada, ative o botão ativado e defina a data de início, a frequência e a data de fim.
5. Selecione Salvar.

Histórico de tarefas

Pode navegar no Histórico de tarefas ao clicar no ícone Histórico de tarefas localizado na página de análise self-service. Pode filtrar a tarefa status Concluída ou Falhada para um intervalo de datas.

Conteúdo relacionado

• Atalhos do OneLake
• Ativador de Dados de Recursos de Infraestrutura
• O que é o ativador de dados
• Criar automatização com o PowerAPP
• Diagrama de relação entre entidades para modelo de domínio