Tutorial: Usar um notebook Fabric com o Kqlmagic para consultar uma base de dados KQL

Os blocos de anotações de malha permitem criar e compartilhar documentos contendo código dinâmico, equações, visualizações e texto narrativo. É útil para uma ampla gama de tarefas, como limpeza e transformação de dados, simulação numérica, modelagem estatística, visualização de dados e aprendizado de máquina.

O Kqlmagic estende os recursos do kernel Python em notebooks Fabric para que você possa executar consultas KQL (Kusto Query Language) nativamente a partir de células de notebook. Você pode combinar Python e KQL para consultar e visualizar dados usando a rica biblioteca Plotly integrada com o operador de renderização .

Para obter mais informações sobre blocos de anotações, consulte Como usar blocos de anotações do Microsoft Fabric.

Neste tutorial, você aprenderá a usar o Kqlmagic para executar consultas e visualizações avançadas a partir de dados em um banco de dados KQL. Ele usa conjuntos de dados e blocos de anotações pré-criados nos ambientes Real-Time Intelligence e Data Engineering no Microsoft Fabric.

Neste tutorial, aprenderás como:

Pré-requisitos

• Um espaço de trabalho com uma capacidade habilitada através de Microsoft Fabric
• Um banco de dados KQL com permissões de edição

1. Crie um banco de dados KQL

Nesta etapa, você cria um banco de dados KQL vazio chamado NYCTaxiDB em seu espaço de trabalho ou em um Eventhouse existente.

1. Selecione seu espaço de trabalho na barra de navegação esquerda.

2. Siga uma destas etapas para começar a criar um banco de dados KQL:

   • Selecione Novo item e depois Eventhouse. No campo Nome da casa de eventos , digite NYCTaxiDB e selecione Criar. Um banco de dados KQL é gerado com o mesmo nome.
   • Em uma casa de eventos existente, selecione Bancos de dados. Em Bancos de dados KQL , selecione +, no campo Nome do banco de dados KQL , digite NYCTaxiDB e selecione Criar.

3. Selecione o banco de dados NYCTaxiDB , expanda Detalhes do banco de dados, copie o URI de consulta e cole-o em algum lugar, como um bloco de notas, para usar em uma etapa posterior.

   

2. Obter dados

Nesta etapa, você usa um script para primeiro criar uma tabela com mapeamento especificado e, em seguida, obter dados de um blob público para essa tabela.

1. Copie o script KQL do repositório de amostras do Fabric no GitHub

   

2. Navegue até a sua base de dados KQL.

3. Selecione Consulta com código para abrir uma guia vazia no NYCTaxiDB_queryset.

4. Cole o script KQL da etapa 1. e selecione o botão Executar .

   A primeira consulta cria a tabela e o mapeamento de esquema. A saída desta consulta mostra as informações de criação de tabela e mapeamento, incluindo o tipo de comando e o resultado de Concluído quando concluído. A segunda consulta carrega seus dados. Pode levar alguns minutos para que o carregamento de dados seja concluído.

   

5. Atualize o conjunto de consultas e selecione Tabelas para ver uma visão geral da tabela recém-criada chamada trips2. A partir daqui, você pode expandir o esquema de tabela, visualizar os dados e exibir informações de consulta.

   

3. Faça o download do notebook de demonstração do NYC Taxi

Use um bloco de anotações de exemplo para consultar e visualizar os dados de exemplo carregados no banco de dados KQL.

1. Abra o repositório de amostras do Fabric no GitHub e baixe o NYC Taxi KQL Notebook..

   

2. Faça o download do notebook para o seu dispositivo.

   Observação

   O bloco de notas tem de ser guardado .ipynb no formato de ficheiro.

Importar o caderno

O restante desse fluxo de trabalho usa o Kqlmagic para consultar e visualizar os dados em seu banco de dados KQL.

1. No espaço de trabalho, selecione Importar>Bloco de Anotações<a partir deste computador.

   

2. No painel Estado da importação , selecione Carregar.

   

3. Selecione o NYC Taxi KQL Notebook que você baixou na etapa 3.

4. Quando a importação estiver concluída, selecione Ir para o espaço de trabalho e abra este bloco de anotações.

   

5. Execute o bloco de notas

Selecione o botão reproduzir para executar cada célula sequencialmente ou escolha a célula e pressione Shift+ Enter. Repita este passo para cada embalagem.

Execute as células restantes sequencialmente para criar um mapa de calor das coletas de táxi de Nova York. Para obter mais informações sobre o Kqlmagic, consulte Usar um Notebook Jupyter e a extensão Kqlmagic para analisar dados

1. A célula a seguir agrega todas as coletas dentro do limite geográfico especificado.

   

2. Execute a célula a seguir para desenhar um mapa de calor das picapes de táxi de Nova York.

   

   No mapa de calor resultante, você pode ver que a maioria das picapes de táxi estão na área inferior de Manhattan. Além disso, há também muitas coletas de táxi no aeroporto JFK e La Guardia.

   

6. Limpar os recursos

Limpe os itens criados navegando até o espaço de trabalho no qual foram criados.

1. No seu espaço de trabalho, passe o mouse sobre o bloco de anotações que deseja excluir, selecione o menu Mais [...] >Suprimir.

   

2. Selecione Eliminar. Não é possível recuperar o bloco de notas depois de o eliminar.

Conteúdo relacionado

• Dados de consulta no conjunto de consultas KQL
• Visualizar dados em um relatório do Power BI