Tutorial: Usar um notebook do Fabric com o Kqlmagic para consultar um banco de dados KQL

Os notebooks do Fabric permitem que você crie e compartilhe documentos contendo código dinâmico, equações, visualizações e texto narrativo. É útil para uma ampla variedade de tarefas, como limpeza e transformação de dados, simulação numérica, modelagem estatística, visualização de dados e machine learning.

O Kqlmagic estende os recursos do kernel do Python nos notebooks do Fabric para que você possa executar consultas KQL (Kusto Query Language) nativamente a partir de células de notebook. Você pode combinar Python e KQL para consultar e visualizar dados usando a rica biblioteca Plotly integrada ao operador de renderização .

Para obter mais informações sobre notebooks, consulte Como usar notebooks do Microsoft Fabric.

Neste tutorial, você aprenderá a usar o Kqlmagic para executar consultas e visualizações avançadas de dados em um banco de dados KQL. Ele usa conjuntos de dados e notebooks pré-criados nos ambientes de Inteligência Real-Time e Engenharia de Dados no Microsoft Fabric.

Neste tutorial, você aprenderá como:

Pré-requisitos

• Um espaço de trabalho com uma capacidade habilitada para o Microsoft Fabric
• Um banco de dados KQL com permissões de edição

1. Criar um banco de dados KQL

Nesta etapa, você criará um banco de dados KQL vazio chamado NYCTaxiDB em seu workspace ou em um Eventhouse existente.

1. Selecione seu workspace na barra de navegação esquerda.

2. Siga uma destas etapas para começar a criar um banco de dados KQL:

   • Selecione Novo Item e, em seguida, Eventhouse. No campo Nome do Eventhouse , insira NYCTaxiDB e selecione Criar. Um banco de dados KQL é gerado com o mesmo nome.
   • Em um eventhouse existente, selecione Bancos de Dados. Em bancos de dados KQL , selecione +, no campo nome do Banco de Dados KQL , insira NYCTaxiDB e selecione Criar.

3. Selecione o banco de dados NYCTaxiDB , expanda os detalhes do banco de dados, copie o URI de Consulta e cole-o em algum lugar, como um bloco de notas, para usar em uma etapa posterior.

   

2. Obter dados

Nesta etapa, você usa um script para primeiro criar uma tabela com o mapeamento especificado e, em seguida, obter dados de um blob público nessa tabela.

1. Copiar o script KQL do repositório de exemplos do Fabric no GitHub

   

2. Navegue até o banco de dados KQL.

3. Selecione Consulta com código para abrir uma guia vazia no NYCTaxiDB_queryset.

4. Cole o script KQL da etapa 1. e selecione o botão Executar .

   A primeira consulta cria a tabela e o mapeamento de esquema. A saída dessa consulta mostra a tabela e as informações de criação de mapeamento, incluindo o tipo de comando e o resultado Completed quando concluído. A segunda consulta carrega seus dados. Pode levar alguns minutos para que o carregamento de dados seja concluído.

   

5. Atualize o conjunto de consultas e selecione Tabelas para ver uma visão geral da tabela recém-criada chamada trips2. A partir daqui, você pode expandir o esquema de tabela, visualizar os dados e exibir insights de consulta.

   

3. Baixe o notebook de demonstração de NYC Taxi

Use um bloco de anotações de exemplo para consultar e visualizar os dados de exemplo carregados no banco de dados KQL.

1. Abra o repositório de exemplos do Fabric no GitHub e baixe o Nyc Taxi KQL Notebook..

   

2. Baixe o notebook localmente em seu dispositivo.

   Observação

   O notebook deve ser salvo no formato de arquivo .ipynb.

4. Importar o bloco de anotações

O restante desse fluxo de trabalho usa Kqlmagic para consultar e visualizar os dados em seu banco de dados KQL.

1. Em seu Workspace, selecione Importar>Bloco de Anotações<deste computador.

   

2. No painel Status de importação, selecione Upload.

   

3. Selecione o Notebook KQL do Táxi de NYC que você baixou na etapa 3.

4. Depois que a importação for concluída, selecione Ir para o workspace e abra este bloco de anotações.

   

5. Executar o bloco de anotações

Selecione o botão play para executar cada célula na sequência, ou selecione a célula e pressione Shift+ Enter. Repita esta etapa para cada pacote.

Execute as células restantes sequencialmente para criar um mapa de calor de picapes de táxi de NYC. Para obter mais informações sobre o Kqlmagic, consulte Usar um Jupyter Notebook e uma extensão Kqlmagic para analisar dados

1. A célula de dados a seguir agrega todas as coletas dentro do limite geográfico especificado.

   

2. Execute a célula a seguir para desenhar um mapa de calor de picapes de táxi de NYC.

   

   No mapa de calor resultante, você pode ver que a maioria das picapes de táxi está na área inferior de Manhattan. Além disso, também há muitas picapes de táxi no aeroporto JFK e La Guardia.

   

6. Limpar os recursos

Limpe os itens criados navegando até o workspace no qual foram criados.

1. No workspace, passe o mouse sobre o notebook que você deseja excluir, selecione o menu Mais [...] >Excluir.

   

2. Selecione Excluir. Não é possível recuperar o notebook depois de excluí-lo.

Conteúdo relacionado

• Consultar dados no conjunto de consultas KQL
• visualizar dados em um relatório do Power BI