Executar consultas KQL no data lake do Microsoft Sentinel

A exploração do Data Lake no portal do Microsoft Defender fornece uma Interface Unificada para analisar seu Data Lake. Ele permite executar consultas KQL (Linguagem de Consulta Kusto), criar trabalhos e gerenciá-las.

A página de consultas KQL na exploração do Data lake permite editar e executar consultas KQL em recursos do data lake. Crie trabalhos para promover os dados do data lake para a camada de análise ou crie tabelas agregadas na camada do data lake. Execute trabalhos sob demanda ou agende-os. A página Trabalhos permite que você gerencie trabalhos; habilitar, desabilitar, editar ou excluir. Para obter mais informações, consulte Criar trabalhos no data lake do Microsoft Sentinel.

Pré-requisitos

Os pré-requisitos a seguir são necessários para executar consultas KQL no data lake do Microsoft Sentinel.

Integrar ao data lake

Você pode executar consultas KQL no portal do Microsoft Defender depois de concluir o processo de integração. Para obter mais informações sobre integração, consulte Integração ao data lake do Microsoft Sentinel.

Permissões

As funções do Microsoft Entra ID permitem que você acesse todos os espaços de trabalho no lago de dados. Como alternativa, você pode conceder acesso a workspaces individuais usando funções RBAC do Azure. Os usuários com permissões RBAC do Azure para workspaces do Microsoft Sentinel podem executar consultas KQL nesses workspaces na camada data lake. Para obter mais informações sobre funções e permissões, consulte as permissões e funções do Data Lake do Microsoft Sentinel.

Gravar consultas KQL

Escrever consultas para o data lake é semelhante a escrever consultas na experiência de caça avançada. Você pode usar a mesma sintaxe KQL e funções. O KQL dá suporte a análises avançadas e funções de machine learning. O editor de consultas oferece uma interface para executar consultas KQL com recursos como IntelliSense e preenchimento automático para ajudá-lo a escrever com eficiência. Para obter uma visão geral detalhada da sintaxe KQL e das funções, consulte a visão geral da KQL (Linguagem de Consulta Kusto).

Consultas KQL no portal do Defender

Selecione Nova consulta para criar uma nova guia de consulta. O portal salva a última consulta em cada guia. Alterne entre as guias para funcionar em várias consultas simultaneamente.

A guia Consultas: Histórico mostra uma lista de consultas executadas anteriormente, tempo de processamento e estado de conclusão. Você pode abrir uma consulta anterior em uma nova guia selecionando-a na lista. O portal salva o histórico de consultas por 30 dias. Selecione uma consulta para editá-la ou executá-la novamente.

Selecionar espaços de trabalho

Você pode executar consultas em um único workspace ou em vários workspaces. Selecione os espaços de trabalho no canto superior direito do editor de consultas usando o menu suspenso Workspaces selecionados. Os workspaces selecionados determinam as tabelas disponíveis para consulta. Os espaços de trabalho selecionados se aplicam a todas as abas de consulta no editor de consultas. Quando você usa vários workspaces, o union() operador é aplicado por padrão a tabelas com o mesmo nome e esquema de workspaces diferentes. Use o workspace() operador para consultar uma tabela de um workspace específico, por exemplo workspace("MyWorkspace").AuditLogs.

Se você selecionar um espaço de trabalho vazio ou um espaço de trabalho em processo de integração, o navegador de esquema não exibirá nenhuma tabela.

Seleção de intervalo de tempo

Use o seletor de tempo acima do editor de consultas para selecionar o intervalo de tempo para sua consulta. Usando a opção De intervalo de tempo personalizado , você pode definir uma hora de início e término específica. Os intervalos de tempo podem ter até 12 anos de duração.

Você também pode especificar um intervalo de tempo na sintaxe da consulta KQL, por exemplo:

• where TimeGenerated between (datetime(2020-01-01) .. datetime(2020-12-31))
• where TimeGenerated between(ago(180d)..ago(90d))

Exibir informações de esquema

O navegador de esquema exibe uma lista das tabelas disponíveis e suas colunas para os espaços de trabalho selecionados, agrupadas por categoria. As tabelas do sistema aparecem na categoria Ativos . Tabelas personalizadas com _CL, _KQL_CL, e _SPARK_SPARK_CL são agrupadas na categoria Logs personalizados. Use o navegador de esquema para explorar os dados disponíveis no data lake e descobrir tabelas e colunas. Use a caixa de pesquisa para localizar rapidamente tabelas específicas.

Janela de resultados

A janela de resultados exibe os resultados da consulta. Você pode exibir os resultados em um formato de tabela e exportar os resultados para um arquivo CSV usando o botão Exportar no canto superior esquerdo da janela de resultados. Alterne a visibilidade de colunas vazias usando o botão Mostrar colunas vazias . O botão Personalizar colunas permite que você selecione quais colunas exibir na janela de resultados.

Você pode pesquisar os resultados usando a caixa de pesquisa no canto superior direito da janela de resultados.

Consultas prontas para uso

A guia Consultas fornece uma coleção de consultas KQL prontas para uso. Essas consultas abrangem cenários comuns e casos de uso, como investigação de incidentes de segurança e busca de ameaças. Você pode usar essas consultas as-is ou modificá-las para atender às suas necessidades específicas.

Selecione uma consulta na lista usando o ícone ... . Você pode abri-la em uma nova guia de consulta para editá-la ou executá-la imediatamente.

Para obter mais informações sobre consultas de exemplo, consulte exemplo de consultas KQL para data lake do Microsoft Sentinel.

Consultas assíncronas

Você pode executar consultas de longa execução de forma assíncrona, para que possa continuar trabalhando enquanto a consulta é executada no servidor. Para executar uma consulta de forma assíncrona, selecione a seta para baixo no botão Executar consulta e selecione Executar consulta assíncrona. Insira um nome de consulta para identificar sua consulta assíncrona. Depois de enviar a consulta, você pode monitorar seu status na guia Consultas Assíncronas . Quando a consulta for concluída, você poderá exibir os resultados selecionando o nome da consulta na lista.

Se uma consulta síncrona levar mais de 2 minutos para ser executada, um prompt será exibido perguntando se você deseja executar a consulta de forma assíncrona. Selecione Executar assíncrono para alterar a consulta para ser executada de forma assíncrona.

Recuperar resultados da consulta assíncrona

Para exibir os resultados da consulta assíncrona, selecione a consulta assíncrona concluída na guia Consultas Assíncronas e selecione Buscar resultados. A consulta é exibida em comentários no editor de consultas e os resultados são exibidos na guia Resultados.

Os resultados são armazenados por 24 horas e podem ser acessados várias vezes. Você pode exportar os resultados para um arquivo CSV usando o botão Exportar no canto superior esquerdo da janela de resultados.

Trabalhos

Os trabalhos são usados para executar consultas KQL em relação aos dados na camada data lake e promover os resultados para a camada de análise. Você pode criar trabalhos únicos ou agendados e habilitar, desabilitar, editar ou excluir trabalhos da página Trabalhos . Para criar um trabalho com base na consulta atual, selecione o botão Criar trabalho . Para obter mais informações sobre como criar e gerenciar trabalhos, consulte Criar trabalhos no data lake do Microsoft Sentinel.

Azure Data Explorer

Você pode executar consultas KQL no data lake do Microsoft Sentinel usando o ADX (Azure Data Explorer). O ADX fornece um mecanismo de consulta avançado e recursos avançados de análise. Para se conectar ao data lake usando o ADX, crie uma nova conexão usando o seguinte URI: https://api.securityplatform.microsoft.com/lake/kql

Ao consultar tabelas no data lake usando o ADX, você deve usar a external_table() função para acessar os dados. Por exemplo:

external_table("AADRiskyUsers")
| take 100

Considerações e limitações de consulta

• As consultas são realizadas nos espaços de trabalho que você selecionou. Selecione os workspaces corretos antes de executar uma consulta.

• A execução de consultas KQL no data lake do Microsoft Sentinel incorre em encargos com base nos medidores de cobrança de consulta. Para obter mais informações, consulte Planejar os custos e entender os preços e a cobrança do Microsoft Sentinel.

• Analise a ingestão de dados e a política de retenção de tabelas. Antes de definir o intervalo de tempo de consulta, lembre-se da retenção de dados em suas tabelas do data lake e se os dados estão disponíveis para o intervalo de tempo selecionado. Para obter mais informações, consulte Gerenciar camadas de dados e retenção no portal do Microsoft Defender.

• As consultas KQL no data lake têm menos desempenho do que as consultas na camada de análise. Utilize consultas KQL no data lake somente ao explorar dados históricos ou quando as tabelas estiverem armazenadas no modo exclusivo do Data Lake.

• No momento, há suporte para os seguintes comandos de controle KQL:

  • .show version
  • .show databases
  • .show databases entities
  • .show database

• Ao usar o stored_query_results comando, forneça o intervalo de tempo na consulta KQL. O seletor de tempo acima do editor de consultas não funciona com esse comando.

• O uso de funções prontas para uso ou personalizadas não é suportado em consultas KQL no Data Lake.

• Não há suporte para chamar dados externos por meio de consulta KQL no data lake.

• Todos os operadores e funções KQL têm suporte, exceto para o seguinte:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

Parâmetros e limites de serviço para consultas KQL na camada lake

As limitações de parâmetros de serviço a seguir se aplicam ao escrever consultas no lake de dados do Microsoft Sentinel.

Para solucionar problemas de consultas KQL, consulte Solucionar problemas de consultas KQL no data lake do Microsoft Sentinel.

Conteúdo relacionado

• Visão geral do data lake do Microsoft Sentinel
• Integração ao data lake do Microsoft Sentinel
• Criar trabalhos no data lake do Microsoft Sentinel
• Gerenciar trabalhos no data lake do Microsoft Sentinel
• Solucionar problemas de consultas KQL no data lake do Microsoft Sentinel.