Partilhar via

Implementar uma arquitetura em medalhão com vistas lacustres materializadas

Este tutorial descreve as etapas e considerações para implementar uma arquitetura medalhão usando vistas materializadas do lago. Ao final deste tutorial, você aprenderá os principais recursos e capacidades das visualizações materializadas do lago e poderá criar um fluxo de trabalho automatizado de transformação de dados. Este tutorial não se destina a ser uma arquitetura de referência, uma lista exaustiva de recursos e funcionalidades ou uma recomendação de práticas recomendadas específicas.

Pré-requisitos

Como pré-requisitos para este tutorial, conclua as seguintes etapas:

  1. Inicie sessão na sua conta do Power BI ou, se ainda não tiver uma conta, inscreva-se para uma avaliação gratuita.
  2. Habilite o Microsoft Fabric em seu locatário. Selecione o ícone padrão do Power BI no canto inferior esquerdo da tela e selecione Malha.
  3. Crie um espaço de trabalho habilitado para Microsoft Fabric.
  4. Selecione um espaço de trabalho na guia Espaços de trabalho, selecione + Novo item e escolha Pipeline. Forneça um nome para seu pipeline e selecione Criar.
  5. Crie um Lakehouse com esquemas ativados . Nomeie-o SalesLakehouse e carregue arquivos de dados de exemplo no Lakehouse. Para obter mais informações, consulte Tutorial do Lakehouse.

Descrição geral do cenário

Neste tutorial, você vai dar um exemplo de uma organização de varejo fictícia, a Contoso, que usa uma arquitetura medalhão para análise de dados para obter informações acionáveis sobre suas operações de vendas no varejo. O objetivo é agilizar o processo de análise e gerar insights mais profundos sobre o desempenho dos negócios, organizando seus dados em três camadas: bronze (dados brutos), prata (dados limpos e enriquecidos) e ouro (dados agregados e analisados).

O diagrama seguinte representa diferentes entidades em cada camada da arquitetura medallion no SalesLakehouse.

Captura de tela mostrando a arquitetura do medalhão.

Entidades

  1. Pedidos: Esta entidade inclui detalhes sobre cada pedido do cliente, como data do pedido, detalhes da remessa, categoria do produto e subcategoria. Perceções podem ser obtidas para otimizar as estratégias de envio, identificar categorias de produtos populares e melhorar a gestão de encomendas.

  2. Vendas: ao analisar dados de vendas, a Contoso pode avaliar métricas importantes, como receita total, margens de lucro, prioridades de pedidos e descontos. As correlações entre esses fatores fornecem uma compreensão mais clara dos comportamentos de compra dos clientes e da eficiência das estratégias de desconto.

  3. Localização: captura a dimensão geográfica de vendas e pedidos, incluindo cidades, estados, regiões e segmentos de clientes. Ele ajuda a Contoso a identificar regiões de alto desempenho, abordar áreas de baixo desempenho e personalizar estratégias para segmentos de clientes específicos.

  4. Desempenho do agente: com detalhes sobre os agentes que gerenciam transações, suas comissões e dados de vendas, a Contoso pode avaliar o desempenho individual do agente, incentivar os melhores desempenhos e projetar estruturas de comissão eficazes.

  5. Comissões de agentes: A incorporação de dados de comissões garante transparência e permite uma melhor gestão de custos. Compreender a correlação entre as taxas de comissão e o desempenho dos agentes ajuda a refinar os sistemas de incentivos.

Conjunto de dados de exemplo

A Contoso mantém seus dados brutos de operações de varejo no formato CSV no ADLS Gen2. Utilizamos esses dados para criar a camada de bronze e, em seguida, usamos a camada de bronze para criar as vistas materializadas do lago que formam as camadas de prata e ouro da arquitetura do medalhão. Primeiro, baixe os arquivos CSV de exemplo do repositório de amostras do Fabric.

Criar a linha de produção

As etapas de alto nível são as seguintes:

  1. Camada de bronze: Ingerir dados brutos na forma de arquivos CSV na casa do lago.
  2. Camada de prata: limpe os dados usando vistas materializadas do lago.
  3. Gold Layer: Organize dados para análises e relatórios usando vistas materializadas do lago.

Crie uma camada bronze de arquitetura de medalhão analítico de vendas

  1. Carregue os arquivos CSV correspondentes a entidades diferentes dos dados baixados no Lakehouse. Para fazer isso, navegue até sua casa do lago e carregue os dados baixados na seção Arquivos da casa do lago. Ele cria uma pasta chamada tutorial.

  2. Em seguida, crie um atalho para ele na seção Tabelas . Selecione ... ao lado da seção Tabelas e selecione Novo atalho de esquema e, em seguida, Microsoft OneLake. Escolha o SalesLakehouse nos tipos de fonte de dados. Expanda a seção Arquivos e escolha a pasta do tutorial e selecione Criar. Você também pode usar outras opções alternativas para obter dados no Lakehouse.

    Captura de tela mostrando como criar um atalho para colocar os dados em tabelas.

  3. Na seção Tabelas , renomeie a pasta do tutorial como bronze.

    Captura de ecrã mostrando a criação da camada de bronze.

Crie camadas prateadas e douradas de arquitetura em estilo medalhão

  1. Carregue o ficheiro de caderno baixado para a sua área de trabalho.

    Captura de tela mostrando a criação de vista do lago materializada em prata.

  2. Abra o Caderno da Lakehouse. Para obter mais informações, consulte Explorar os dados da lakehouse com um notebook.

  3. Execute todas as células do caderno usando Spark SQL para criar visualizações materializadas de lago aplicando restrições de qualidade de dados. Assim que todas as células forem executadas com êxito, atualize a fonte SalesLakehouse para visualizar os views materializados do lago recém-criados para o esquema prata e ouro.

    Captura de tela mostrando o notebook em execução.

Agendar o processo

  1. Uma vez que as vistas materializadas do lago para as camadas de prata e ouro são criadas, navegue até a casa do lago e selecione Vista do lago materializada gerenciada para ver a vista da linhagem. É gerado automaticamente com base em dependências, cada visão de lago materializada dependente forma os nós da linhagem.

    Captura de ecrã mostrando a vista de um lago materializado.

    Captura de tela mostrando a criação da linhagem.

  2. Selecione Agendar na faixa de opções de navegação. Ative a agenda de atualização e configuração.

    Captura de tela mostrando o agendamento executar as vistas materializadas do lago.

Monitorizar e resolver problemas

  1. O menu suspenso lista as execuções atuais e históricas.

    Captura de tela mostrando a execução do agendamento.

  2. Ao selecionar qualquer uma das corridas, você pode encontrar os detalhes materializados da vista do lago no painel do lado direito. O painel de atividades na parte inferior fornece um resumo geral do status de execução do nódulo.

    Captura de tela mostrando detalhes da execução.

  3. Selecione qualquer nó na linhagem para ver os detalhes de execução desse nó e aceder aos logs detalhados. Se o status do nó for Falha, uma mensagem de erro também será exibida.

    Captura de tela mostrando logs de detalhes de execução.

  4. Selecionar o link Logs detalhados redirecionará você para o Hub do Monitor de onde você pode acessar os logs de erros do Spark para solução de problemas adicionais.

    Captura de ecrã a mostrar logs do Spark.

  5. Selecione o botão Relatório de qualidade de dados na faixa de opções da página de visualizações materializadas do lago, para criar ou ver um relatório de qualidade de dados gerado automaticamente.

  • Last updated on