Partilhar via


Notebooks Jupyter e o lago de dados do Microsoft Sentinel

Os notebooks Jupyter são parte integrante do ecossistema de data lake do Microsoft Sentinel, oferecendo ferramentas poderosas para análise e visualização de dados. Os blocos de anotações são fornecidos pela extensão Microsoft Sentinel Visual Studio Code que permite interagir com o data lake usando Python for Spark (PySpark). Os notebooks permitem executar transformações de dados complexas, executar modelos de aprendizado de máquina e criar visualizações diretamente no ambiente de caderno.

A extensão Microsoft Sentinel Visual Studio Code com notebooks Jupyter fornece um ambiente poderoso para explorar e analisar dados de lago com os seguintes benefícios:

  • Exploração interativa de dados: os notebooks Jupyter fornecem um ambiente interativo para explorar e analisar dados. Você pode executar trechos de código, visualizar resultados e documentar suas descobertas em um só lugar.
  • Integração com bibliotecas Python: A extensão Microsoft Sentinel inclui uma ampla gama de bibliotecas Python, permitindo que você use ferramentas e estruturas existentes para análise de dados, aprendizado de máquina e visualização.
  • Análise de dados poderosa: Com a integração de sessões de computação do Apache Spark, você pode usar o poder da computação distribuída para analisar grandes conjuntos de dados de forma eficiente. Isso permite que você execute transformações e agregações complexas em seus dados de segurança.
  • Ataques baixos e lentos: analise dados em larga escala, complexos e interconectados relacionados a eventos, alertas e incidentes de segurança, permitindo a deteção de ameaças e padrões sofisticados, como movimentos laterais ou ataques baixos e lentos que podem escapar dos sistemas tradicionais baseados em regras.
  • Integração de IA e ML: integre com IA e aprendizado de máquina para aprimorar a deteção de anomalias, a previsão de ameaças e a análise comportamental, capacitando as equipes de segurança a criar agentes para automatizar suas investigações.
  • Escalabilidade: os notebooks fornecem a escalabilidade para processar grandes quantidades de dados de forma eficiente em termos de custos e permitem o processamento em lote profundo para descobrir tendências, padrões e anomalias.
  • Recursos de visualização: os notebooks Jupyter suportam várias bibliotecas de visualização, permitindo que você crie gráficos, tabelas e outras representações visuais de seus dados, ajudando você a obter insights e comunicar descobertas de forma eficaz.
  • Colaboração e partilha: Os blocos de notas Jupyter podem ser facilmente partilhados com colegas, permitindo a colaboração em projetos de análise de dados. Você pode exportar blocos de anotações em vários formatos, incluindo HTML e PDF, para facilitar o compartilhamento e a apresentação.
  • Documentação e reprodutibilidade: Os cadernos Jupyter permitem que você documente seu código, análise e descobertas em um único arquivo, facilitando a reprodução de resultados e o compartilhamento de seu trabalho com outras pessoas.

Cenários de exploração de lagos para notebooks

Os cenários a seguir ilustram como os notebooks Jupyter no Microsoft Sentinel Lake podem ser usados para aprimorar as operações de segurança:

Cenário Descrição
Comportamento do utilizador em inícios de sessão falhados Estabeleça uma linha de base do comportamento normal do usuário analisando padrões de tentativas de entrada com falha. Investigue as operações tentadas antes e depois dos logins com falha para detetar possíveis comprometimentos ou atividades de força bruta.
Caminhos de dados confidenciais Identifique usuários e dispositivos que têm acesso a ativos de dados confidenciais. Combine os logs de acesso com o contexto organizacional para avaliar a exposição ao risco, mapear os trajetos de acesso e priorizar áreas para revisão de segurança.
Análise de ameaças de anomalias Analise ameaças identificando desvios das linhas de base estabelecidas, como logins de locais, dispositivos ou horários incomuns. Sobreponha o comportamento do usuário com dados de ativos para identificar atividades de alto risco, incluindo ameaças internas potenciais.
Priorização de pontuação de risco Aplique modelos personalizados de pontuação de risco a eventos de segurança no data lake. Enriqueça os eventos com sinais contextuais, como criticidade dos ativos e função do usuário, para quantificar riscos, avaliar o raio de explosão e priorizar incidentes para investigação.
Análise exploratória e visualização Execute análises exploratórias de dados em várias fontes de log para reconstruir linhas do tempo de ataque, determinar causas básicas e criar visualizações personalizadas que ajudem a comunicar descobertas às partes interessadas.

Escrevendo para o data lake e camada de análises

Você pode gravar dados na camada lake e na camada de análise usando blocos de anotações. A extensão Microsoft Sentinel para Visual Studio Code fornece uma biblioteca Python PySpark que abstrai a complexidade da escrita nas camadas lake e analytics. Você pode usar a MicrosoftSentinelProvider função da save_as_table() classe para gravar dados em tabelas personalizadas ou acrescentar dados a tabelas existentes na camada de lago ou camada de análise. Para obter mais informações, consulte Referência de classe do Microsoft Sentinel Provider.

Trabalhos e agendamento

Você pode agendar trabalhos para execução em horários ou intervalos específicos usando a extensão Microsoft Sentinel para Visual Studio Code. Os trabalhos permitem automatizar tarefas de processamento de dados para resumir, transformar ou analisar dados no data lake do Microsoft Sentinel. Use trabalhos para processar dados e gravar resultados em tabelas personalizadas na camada lake ou na camada de análise. Para obter mais informações, consulte Criar e gerenciar trabalhos de bloco de anotações do Jupyter.