Compartilhar via

KQL e o data lake do Microsoft Sentinel

Com o Data Lake do Microsoft Sentinel, você pode armazenar e analisar logs de alto volume e baixa fidelidade, como firewall ou dados DNS, inventários de ativos e registros históricos por até 12 anos. Como o armazenamento e a computação são desacoplados, você pode consultar a mesma cópia de dados usando várias ferramentas, sem movê-los ou duplicá-los.

Você pode explorar dados no data lake usando KQL (Linguagem de Consulta Kusto) e Jupyter Notebooks, para dar suporte a uma ampla variedade de cenários, desde busca de ameaças e investigações até enriquecimento e aprendizado de máquina.

Este artigo apresenta os principais conceitos e cenários de exploração do data lake, destaca casos de uso comuns e mostra como interagir com seus dados usando ferramentas familiares.

Consultas interativas KQL

Use a KQL (Linguagem de Consulta Kusto) para executar consultas interativas diretamente no data lake em vários workspaces.

Usando o KQL, os analistas podem:

  • Investigar e responder usando dados históricos: use dados de longo prazo no data lake para coletar evidências forenses, investigar um incidente, detectar padrões e responder a incidentes.
  • Enriquecer investigações com logs de alto volume: aproveite dados barulhentos ou de baixa fidelidade armazenados no data lake para adicionar contexto e profundidade às investigações de segurança.
  • Correlacionar os dados de ativos e logs no data lake: consultar inventários de ativos e logs de identidades para relacionar a atividade do usuário com os recursos e identificar ataques mais amplos.

Use consultas KQL na exploração do Microsoft Sentinel>Data lake no portal do Defender para executar consultas KQL interativas ad hoc diretamente em dados de longo prazo. A exploração do Data Lake está disponível após a conclusão do processo de integração . As consultas KQL são ideais para os analistas de SOC que investigam incidentes em que os dados podem não residir mais na camada de análise. As consultas habilitam a análise forense usando consultas familiares sem reescrever o código. Para começar a usar consultas KQL, consulte a exploração do Data lake – consultas KQL.

Tarefas de KQL

As tarefas KQL são consultas KQL assíncronas agendadas ou de execução única em dados no data lake do Microsoft Sentinel. Tarefas são úteis para cenários investigativos e analíticos, por exemplo

  • Consultas de execução prolongada e de execução única para investigações de incidentes e IR (resposta a incidentes)
  • Tarefas de agregação de dados que dão suporte a fluxos de trabalho de enriquecimento usando logs de baixa fidelidade
  • Verificações correspondentes da TI (inteligência contra ameaças) histórica para análise retrospectiva
  • Verificações de detecção de anomalias que identificam padrões incomuns em várias tabelas
  • Promova dados do data lake para a camada de análise para habilitar a investigação de incidentes ou a correlação de log.

Execute trabalhos de KQL pontuais no data lake para promover dados históricos específicos da camada de data lake para a de análise ou crie tabelas de resumo personalizadas na camada de data lake. A promoção de dados é útil para análise de causa raiz ou detecção de dia zero ao investigar incidentes que vão além da janela da camada de análise. Envie um trabalho agendado no data lake para automatizar consultas recorrentes para detectar anomalias ou criar linhas de base usando dados históricos. Os caçadores de ameaças podem usar isso para monitorar padrões incomuns ao longo do tempo e alimentar resultados em detecções ou dashboards. Para obter mais informações, consulte Criar trabalhos no data lake do Microsoft Sentinel e gerenciar trabalhos no data lake do Microsoft Sentinel.

Cenários de exploração

Os cenários a seguir ilustram como as consultas KQL no data lake do Microsoft Sentinel podem ser usadas para aprimorar as operações de segurança:

Cenário Detalhes Exemplo
Investigar incidentes de segurança usando dados históricos de longo prazo As equipes de segurança geralmente precisam ir além da janela de retenção padrão para descobrir o escopo completo de um incidente. Um analista SOC de Tier 3 que investiga um ataque de força bruta usa consultas KQL no data lake para consultar dados de mais de 90 dias. Depois de identificar atividades suspeitas de mais de um ano atrás, o analista promove os achados para a camada de análise para uma análise mais profunda e correlação de incidentes.
Detectar anomalias e criar linhas de base comportamentais ao longo do tempo Os engenheiros de detecção dependem de dados históricos para estabelecer linhas de base e identificar padrões que podem indicar comportamento mal-intencionado. Um engenheiro de detecção analisa logs de entrada ao longo de vários meses para detectar picos na atividade. Ao agendar um trabalho KQL no data lake, eles criam uma linha de base de série temporal e descobrem um padrão consistente com o abuso de credenciais.
Enriquecer investigações usando logs de alto volume e baixa fidelidade Alguns logs são muito barulhentos ou volumosos para a camada de análise, mas ainda são valiosos para análise contextual. Os analistas do SOC usam o KQL para consultar logs de rede e firewall armazenados apenas no data lake. Esses logs, embora não sejam na camada de análise, ajudam a validar alertas e fornecer evidências de suporte durante as investigações.
Responder a ameaças emergentes com camadas de dados flexíveis Quando a nova inteligência contra ameaças surge, os analistas precisam acessar e agir rapidamente sobre dados históricos. Um analista de inteligência contra ameaças reage a um relatório de análise de ameaças recém-publicado executando as consultas KQL sugeridas no data lake. Ao descobrir a atividade relevante de vários meses atrás, o log necessário é promovido para a camada de análise. Para habilitar a detecção em tempo real para detecções futuras, as políticas de camada podem ser ajustadas nas tabelas relevantes para espelhar os logs mais recentes na camada de análise.
Explore dados de ativos provenientes de fontes além dos logs de segurança tradicionais Enriquecer a investigação usando o inventário de ativos, como, por exemplo, objetos do Microsoft Entra ID e recursos do Azure. Os analistas podem usar o KQL para consultar informações de identidade e ativo de recursos, como usuários do Microsoft Entra ID, aplicativos, grupos ou inventários de Recursos do Azure, para correlacionar logs para um contexto mais amplo que complemente os dados de segurança existentes.

Conteúdo relacionado

  • Last updated on