Compartilhar via

Jupyter Notebooks e o data lake do Microsoft Sentinel

Os jupyter notebooks são parte integrante do ecossistema de data lake do Microsoft Sentinel, oferecendo ferramentas avançadas para análise e visualização de dados. Os notebooks são fornecidos pela extensão Microsoft Sentinel Visual Studio Code que permite interagir com o data lake usando o Python para Spark (PySpark). Os notebooks permitem que você execute transformações de dados complexas, execute modelos de machine learning e crie visualizações diretamente no ambiente do notebook.

A extensão do Microsoft Sentinel Visual Studio Code com notebooks Jupyter fornece um ambiente avançado para explorar e analisar dados do lake com os seguintes benefícios:

  • Exploração interativa de dados: os jupyter notebooks fornecem um ambiente interativo para explorar e analisar dados. Você pode executar snippets de código, visualizar resultados e documentar suas descobertas em um só lugar.
  • Integração com bibliotecas do Python: a extensão do Microsoft Sentinel inclui uma ampla gama de bibliotecas python, permitindo que você use as ferramentas e estruturas existentes para análise de dados, aprendizado de máquina e visualização.
  • Análise de dados avançada: com a integração das sessões de computação do Apache Spark, você pode usar o poder da computação distribuída para analisar grandes conjuntos de dados com eficiência. Isso permite que você execute transformações e agregações complexas em seus dados de segurança.
  • Ataques baixos e lentos: analise dados em grande escala, complexos e interconectados relacionados a eventos de segurança, alertas e incidentes, permitindo a detecção de ameaças e padrões sofisticados, como movimento lateral ou ataques baixos e lentos que podem evitar sistemas tradicionais baseados em regras.
  • Integração de IA e ML: integre-se à IA e ao aprendizado de máquina para aprimorar a detecção de anomalias, a previsão de ameaças e a análise comportamental, capacitando as equipes de segurança a criar agentes para automatizar suas investigações.
  • Escalabilidade: os notebooks fornecem a escalabilidade para processar grandes quantidades de dados com eficiência e habilitar o processamento em lote profundo para descobrir tendências, padrões e anomalias.
  • Funcionalidades de visualização: os notebooks Jupyter dão suporte a várias bibliotecas de visualização, permitindo que você crie gráficos, grafos e outras representações visuais de seus dados, ajudando você a obter insights e comunicar descobertas com eficiência.
  • Colaboração e compartilhamento: os jupyter notebooks podem ser facilmente compartilhados com colegas, permitindo a colaboração em projetos de análise de dados. Você pode exportar blocos de anotações em vários formatos, incluindo HTML e PDF, para fácil compartilhamento e apresentação.
  • Documentação e reprodutibilidade: os jupyter notebooks permitem documentar seu código, análise e descobertas em um único arquivo, facilitando a reprodução de resultados e o compartilhamento de seu trabalho com outras pessoas.

Cenários de exploração do lake para notebooks

Os cenários a seguir ilustram como os notebooks Jupyter no Microsoft Sentinel Lake podem ser usados para aprimorar as operações de segurança:

Cenário Descrição
Comportamento do usuário em tentativas de login com falha Estabeleça uma linha de base do comportamento normal do usuário analisando padrões de tentativas de entrada com falha. Investigue as operações tentadas antes e depois dos logons com falha para detectar possíveis comprometimentos ou atividades de força bruta.
Caminhos de dados confidenciais Identificar usuários e dispositivos que têm acesso a ativos de dados confidenciais. Combine os logs de acesso com o contexto organizacional para avaliar a exposição de risco, mapear caminhos de acesso e priorizar áreas para revisão de segurança.
Análise de ameaças de anomalias Analise ameaças identificando desvios de linhas de base estabelecidas, como logons de locais, dispositivos ou horários incomuns. Sobreponha o comportamento do usuário com dados de ativos para identificar atividades de alto risco, incluindo possíveis ameaças internas.
Priorização de pontuação de risco Aplique modelos personalizados de pontuação de risco a eventos de segurança no data lake. Enriqueça eventos com sinais contextuais, como a criticidade do ativo e a função do usuário, para quantificar o risco, avaliar o raio da explosão e priorizar incidentes para investigação.
Análise exploratória e visualização Realizar a análise exploratória de dados em várias fontes de log para reconstruir cronologias de ataque, determinar causas raízes e criar visualizações personalizadas que ajudam a comunicar as descobertas às partes interessadas.

Gravando nas camadas lake e de análise

Você pode gravar dados na camada lake e na camada de análise usando notebooks. A extensão do Microsoft Sentinel para Visual Studio Code fornece uma biblioteca PySpark Python que abstrai a complexidade da gravação nas camadas lake e de análise. Você pode usar a função MicrosoftSentinelProvider da classe save_as_table() para gravar dados em tabelas personalizadas ou acrescentar dados a tabelas existentes na camada lake ou na camada de análise. Para obter mais informações, consulte a referência de classe do Provedor do Microsoft Sentinel.

Trabalhos e agendamento

Você pode agendar trabalhos para execução em horários ou intervalos específicos usando a extensão do Microsoft Sentinel para Visual Studio Code. Os trabalhos permitem automatizar tarefas de processamento de dados para resumir, transformar ou analisar dados no data lake do Microsoft Sentinel. Use trabalhos para processar dados e gravar resultados em tabelas personalizadas na camada lake ou na camada de análise. Para obter mais informações, consulte Criar e gerenciar trabalhos do Jupyter Notebook.

Conteúdo relacionado

  • Last updated on