Executar notebooks no data lake do Microsoft Sentinel

Os jupyter notebooks fornecem um ambiente interativo para explorar, analisar e visualizar dados no data lake do Microsoft Sentinel. Com blocos de anotações, você pode escrever e executar código, documentar seu fluxo de trabalho e exibir resultados— tudo em um só lugar. Isso facilita a exploração de dados, a criação de soluções de análise avançada e o compartilhamento de insights com outras pessoas. Aproveitando o Python e o Apache Spark no Visual Studio Code, os notebooks ajudam você a transformar dados de segurança brutos em inteligência acionável.

Este artigo mostra como explorar e interagir com dados data lake usando notebooks Jupyter no Visual Studio Code.

Pré-requisitos

Conectar ao data lake do Microsoft Sentinel

Para usar notebooks no data lake do Microsoft Sentinel, primeiro você deve integrar-se ao data lake. Se você ainda não se registrou no data lake do Sentinel, consulte Integração ao data lake do Microsoft Sentinel. Se você tiver integrado recentemente ao data lake, pode levar um tempo até que um volume suficiente de dados seja ingerido antes que você possa criar análises significativas usando notebooks.

Permissões

As funções do Microsoft Entra ID fornecem amplo acesso em todos os workspaces no data lake. Como alternativa, você pode conceder acesso a workspaces individuais usando funções RBAC do Azure. Os usuários com permissões RBAC do Azure para workspaces do Microsoft Sentinel podem executar notebooks nesses workspaces na camada do data lake. Para obter mais informações, consulte Funções e permissões no Microsoft Sentinel.

Para criar novas tabelas personalizadas na camada de análise, a identidade gerenciada do data lake deve receber a função colaborador do Log Analytics no workspace do Log Analytics.

Para atribuir a função, siga as etapas abaixo:

1. No portal do Azure, navegue até o workspace do Log Analytics ao qual você deseja atribuir a função.
2. Selecione Controle de acesso (IAM) no painel de navegação à esquerda.
3. Selecione Adicionar atribuição de função.
4. Na tabela Função , selecione Colaborador do Log Analytics e selecione Avançar
5. Selecione Identidade Gerenciada e selecione Selecionar membros.
6. Sua identidade gerenciada do data lake é uma identidade gerenciada atribuída pelo sistema chamada msg-resources-<guid>. Selecione a identidade gerenciada e selecione Selecionar.
7. Selecione Examinar e atribuir.

Para obter mais informações sobre como atribuir funções a identidades gerenciadas, consulte Atribuir funções do Azure usando o portal do Azure.

Instalar o Visual Studio Code e a extensão do Microsoft Sentinel

Se você ainda não tiver o Visual Studio Code, baixe e instale o Visual Studio Code para Mac, Linux ou Windows.

A extensão do Microsoft Sentinel para Visual Studio Code (VS Code) é instalada no marketplace de extensões. Para instalar a extensão, siga estas etapas:

1. Selecione o Marketplace de Extensões na barra de ferramentas à esquerda.
2. Procure Sentinel.
3. Selecione a extensão do Microsoft Sentinel e selecione Instalar.
4. Depois que a extensão é instalada, o ícone de escudo do Microsoft Sentinel aparece na barra de ferramentas à esquerda.

Instale a extensão do GitHub Copilot no Visual Studio Code e habilite a conclusão de código e sugestões em notebooks.

1. Pesquise o GitHub Copilot no Extensions Marketplace e instale-o.
2. Após a instalação, entre no GitHub Copilot usando sua conta do GitHub.

Explorar tabelas de níveis do data lake

Depois de instalar a extensão do Microsoft Sentinel, você pode começar a explorar tabelas da camada data lake e criar notebooks Jupyter para analisar os dados.

Entrar na extensão do Microsoft Sentinel

1. Selecione o ícone de escudo do Microsoft Sentinel na barra de ferramentas à esquerda.

2. Uma caixa de diálogo é exibida com o seguinte texto: A extensão "Microsoft Sentinel" quer entrar com a Microsoft. Selecione Permitir.

   

3. Selecione o nome da sua conta para concluir a entrada.

   

Exibir trabalhos e tabelas do data lake

Depois que você se conectar, a extensão do Sentinel exibirá uma lista de Tabelas do lake e Trabalhos no painel esquerdo. As tabelas são agrupadas pelo banco de dados e pela categoria. Selecione uma tabela para ver as definições de coluna.

Para obter informações sobre trabalhos, consulte Trabalhos e Agendamento.

Criar um novo notebook

1. Para criar um novo notebook, use um dos métodos a seguir.

2. Insira > na caixa de pesquisa ou pressione Ctrl+Shift+P e, em seguida, insira Criar Novo Jupyter Notebook.

3. Selecione Arquivo > Novo Arquivo e escolha Jupyter Notebook na lista suspensa.
   

4. No novo notebook, cole o código a seguir na primeira célula.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

O editor fornece preenchimento de código IntelliSense para a classe MicrosoftSentinelProvider e para os nomes de tabelas no data lake.

1. Selecione o triângulo Executar para executar o código no notebook. Os resultados são exibidos no painel de saída abaixo da célula de código.
   

2. Selecione o Microsoft Sentinel na lista para obter uma lista de pools de runtime.

3. Selecione Médio para executar o notebook no pool de runtime de tamanho médio. Para obter mais informações sobre os diferentes runtimes, consulte Selecionar o runtime apropriado do Microsoft Sentinel.

Quando a sessão é iniciada, o código no notebook é executado e os resultados são exibidos no painel de saída abaixo da célula de código, por exemplo:

Para ver notebooks de exemplo que demonstram como interagir com o data lake do Microsoft Sentinel, consulte Notebooks de exemplo para o data lake do Microsoft Sentinel.

Barra de status

A barra de status na parte inferior do bloco de anotações fornece informações sobre o estado atual do notebook e a sessão do Spark. A barra de status inclui as seguintes informações:

• O percentual de utilização do vCore para o pool do Spark selecionado. Passe o mouse sobre a porcentagem para ver o número de vCores usados e o número total de vCores disponíveis no pool. Os percentuais representam o uso atual entre cargas de trabalho interativas e de trabalho da conta conectada.

• O status da conexão da sessão do Spark, por exemplo Connecting, Connectedou Not Connected.

Definir tempos limite de sessão

Você pode definir o tempo limite da sessão e os avisos de tempo limite para blocos de anotações interativos. Para alterar o tempo limite, selecione o status da conexão na barra de status na parte inferior do notebook. Escolha entre as seguintes opções:

• Definir o período de tempo limite da sessão: define o tempo em minutos antes do tempo limite da sessão. O padrão é 30 minutos.

• Redefinir período de tempo limite da sessão: redefine o tempo limite da sessão para o valor padrão de 30 minutos.

• Definir o período de aviso de tempo limite da sessão: define o tempo em minutos antes do tempo limite em que um aviso é exibido de que a sessão está prestes a atingir o tempo limite. O padrão é 5 minutos.

• Redefinir o período de aviso de tempo limite da sessão: redefine o aviso de tempo limite da sessão para o valor padrão de 5 minutos.

  

Usar o GitHub Copilot em notebooks

Use o GitHub Copilot para ajudá-lo a escrever código em notebooks. O GitHub Copilot fornece sugestões de código e preenchimento automático com base no contexto do código. Para usar o GitHub Copilot, verifique se você tem a extensão do GitHub Copilot instalada no Visual Studio Code.

Copie o código dos Notebooks de exemplo para o data lake do Microsoft Sentinel e salve-o na pasta de notebooks para fornecer contexto ao GitHub Copilot. O GitHub Copilot poderá sugerir conclusões de código com base no contexto do seu notebook.

O exemplo a seguir mostra o GitHub Copilot gerando uma revisão de código.

Classe de Provedor do Microsoft Sentinel

Para se conectar ao data lake do Microsoft Sentinel, use à SentinelLakeProvider classe. Essa classe faz parte do access_module.data_loader módulo e fornece métodos para interagir com o data lake. Para usar essa classe, importe-a e crie uma instância da classe usando uma spark sessão.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Para obter mais informações sobre os métodos disponíveis, consulte a referência de classe do Provedor do Microsoft Sentinel.

Selecione o pool de runtime apropriado

Há três pools de runtime disponíveis para executar seus notebooks Jupyter na extensão do Microsoft Sentinel. Cada pool foi projetado para diferentes cargas de trabalho e requisitos de desempenho. A escolha do pool de runtime afeta o desempenho, o custo e o tempo de execução dos trabalhos do Spark.

Exibir mensagens, logs e erros

Os logs de mensagens e as mensagens de erro são exibidos em três áreas no Visual Studio Code.

1. O painel Saída.

   1. No painel Saída, selecione Microsoft Sentinel na lista suspensa.
   2. Selecione Depurar para incluir entradas de log detalhadas.

   

2. Mensagens em linha no notebook fornecem comentários e informações sobre a execução de células de código. Essas mensagens incluem atualizações de status de execução, indicadores de progresso e notificações de erro relacionadas ao código na célula anterior

3. Um pop-up de notificação no canto inferior direito do Visual Studio Code, também conhecido como uma mensagem de notificação do sistema, fornece alertas e atualizações em tempo real sobre o status das operações no notebook e na sessão do Spark. Essas notificações incluem mensagens, avisos e alertas de erro, como conexão bem-sucedida com uma sessão do Spark e avisos de tempo limite.

   

Trabalhos e agendamento

Você pode agendar trabalhos para execução em horários ou intervalos específicos usando a extensão do Microsoft Sentinel para Visual Studio Code. Os trabalhos permitem automatizar tarefas de processamento de dados para resumir, transformar ou analisar dados no data lake do Microsoft Sentinel. As tarefas também são usadas para processar dados e gravar resultados em tabelas personalizadas na camada do data lake ou na camada de análise. Para obter mais informações sobre como criar e gerenciar trabalhos, consulte Criar e gerenciar trabalhos do Jupyter Notebook.

Parâmetros e limites de serviço para notebooks VS Code

A seção a seguir lista os parâmetros de serviço e os limites do data lake do Microsoft Sentinel ao usar o VS Code Notebooks.

Resolução de problemas

A tabela a seguir lista os erros comuns que você pode encontrar ao trabalhar com notebooks, suas causas raiz e ações sugeridas para resolvê-los.

Conteúdo relacionado

• Criar e gerenciar trabalhos de notebook
• Notebooks de exemplo para o data lake do Microsoft Sentinel
• Referência de Classe do Provedor Microsoft Sentinel
• Visão geral do data lake do Microsoft Sentinel
• Funções e permissões do Data Lake do Microsoft Sentinel.