Executar cadernos de notas no data lake do Microsoft Sentinel

Os blocos de anotações Jupyter fornecem um ambiente interativo para explorar, analisar e visualizar dados no data lake do Microsoft Sentinel. Com os blocos de anotações, você pode escrever e executar código, documentar seu fluxo de trabalho e exibir resultados, tudo em um só lugar. Isso facilita a exploração de dados, a criação de soluções de análise avançadas e o compartilhamento de insights com outras pessoas. Ao aproveitar o Python e o Apache Spark no Visual Studio Code, os blocos de anotações ajudam você a transformar dados brutos de segurança em inteligência acionável.

Este artigo mostra como explorar e interagir com dados de data lake usando blocos de anotações Jupyter no Visual Studio Code.

Pré-requisitos

Integrado ao data lake do Microsoft Sentinel

Para usar notebooks no data lake do Microsoft Sentinel, deve primeiro integrar-se ao data lake. Se você não tiver integrado ao data lake do Sentinel, consulte Integração ao data lake do Microsoft Sentinel. Se você tiver integrado recentemente ao data lake, pode levar algum tempo até que um volume suficiente de dados seja ingerido antes de poder criar análises significativas usando blocos de anotações.

Permissões

As funções de ID do Microsoft Entra fornecem amplo acesso em todos os espaços de trabalho no data lake. Como alternativa, você pode conceder acesso a espaços de trabalho individuais usando funções RBAC do Azure. Utilizadores com permissões do Azure RBAC para espaços de trabalho do Microsoft Sentinel podem executar notebooks nesses espaços de trabalho na camada do data lake. Para obter mais informações, consulte Funções e permissões no Microsoft Sentinel.

Para criar novas tabelas personalizadas na camada de análise, a identidade gerenciada do data lake deve receber a função de Colaborador do Log Analytics no espaço de trabalho do Log Analytics.

Para atribuir a função, siga as etapas abaixo:

1. No portal do Azure, navegue até o espaço de trabalho do Log Analytics ao qual você deseja atribuir a função.
2. Selecione Controle de acesso (IAM) no painel de navegação esquerdo.
3. Selecione Adicionar atribuição de função.
4. Na tabela Função, selecione Log Analytics Contributor, em seguida, selecione Avançar
5. Selecione Identidade gerenciada e, em seguida, selecione Selecionar membros.
6. Sua identidade gerenciada do data lake é uma identidade gerenciada atribuída ao sistema chamada msg-resources-<guid>. Selecione a identidade gerenciada e, em seguida, selecione Selecionar.
7. Selecione Rever e atribuir.

Para obter mais informações sobre como atribuir funções a identidades gerenciadas, consulte Atribuir funções do Azure usando o portal do Azure.

Instalar o Visual Studio Code e a extensão Microsoft Sentinel

Se você ainda não tiver o Visual Studio Code, baixe e instale o Visual Studio Code para Mac, Linux ou Windows.

A extensão Microsoft Sentinel para Visual Studio Code (VS Code) é instalada a partir do mercado de extensões. Para instalar a extensão, siga estes passos:

1. Selecione o Marketplace de extensões na barra de ferramentas à esquerda.
2. Procure por Sentinel.
3. Selecione a extensão Microsoft Sentinel e selecione Instalar.
4. Depois que a extensão é instalada, o ícone do escudo do Microsoft Sentinel aparece na barra de ferramentas esquerda.

Instale a extensão GitHub Copilot para o Visual Studio Code para habilitar a conclusão automática de código e sugestões em notebooks.

1. Procure o GitHub Copilot no Extensions Marketplace e instale-o.
2. Após a instalação, faça login no GitHub Copilot usando sua conta do GitHub.

Explore tabelas de camadas de data lake

Depois de instalares a extensão Microsoft Sentinel, poderás começar a explorar as tabelas da camada do data lake e criar notebooks Jupyter para analisar os dados.

Entre na extensão Microsoft Sentinel

1. Selecione o ícone do escudo do Microsoft Sentinel na barra de ferramentas esquerda.

2. É apresentada uma caixa de diálogo com o seguinte texto: A extensão "Microsoft Sentinel" pretende iniciar sessão utilizando a Microsoft. Selecione Permitir.

   

3. Selecione o nome da sua conta para concluir o login.

   

Exibir tabelas e trabalhos do data lake

Depois de entrar, a extensão Sentinel exibe uma lista de tabelas Lake e Jobs no painel esquerdo. As tabelas são agrupadas por banco de dados e categoria. Selecione uma tabela para ver as definições de coluna.

Para obter informações sobre trabalhos, consulte Trabalhos e agendamento.

Criar um novo bloco de notas

1. Para criar um novo bloco de notas, utilize um dos seguintes métodos.

2. Introduza > na caixa de pesquisa ou prima Ctrl+Shift+P e, em seguida, introduza Criar Novo Bloco de Notas Jupyter.

3. Selecione Arquivo > Novo Arquivo e, em seguida, selecione Jupyter Notebook na lista suspensa.
   

4. No novo bloco de notas, cole o seguinte código na primeira célula.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

O editor fornece conclusão de código intellisense para a classe MicrosoftSentinelProvider e para os nomes de tabelas no data lake.

1. Selecione o triângulo Executar para executar o código no bloco de anotações. Os resultados são exibidos no painel de saída abaixo da célula de código.
   

2. Selecione Microsoft Sentinel na lista para obter uma lista de pools de tempo de execução.

3. Selecione Médio para executar o notebook no pool de tempo de execução de tamanho médio. Para obter mais informações sobre os diferentes tempos de execução, consulte Selecionando o tempo de execução apropriado do Microsoft Sentinel.

Quando a sessão é iniciada, o código no bloco de anotações é executado e os resultados são exibidos no painel de saída abaixo da célula de código, por exemplo:

Para obter blocos de anotações de exemplo que demonstram como interagir com o data lake do Microsoft Sentinel, consulte Blocos de anotações de exemplo para o data lake do Microsoft Sentinel.

Barra de status

A barra de status na parte inferior do bloco de anotações fornece informações sobre o estado atual do bloco de anotações e da sessão do Spark. A barra de status inclui as seguintes informações:

• A porcentagem de utilização do vCore para o pool Spark selecionado. Passe o cursor sobre a porcentagem para ver o número de vCores usados e o número total de vCores disponíveis no pool. As porcentagens representam o uso atual em cargas de trabalho interativas e de trabalho para a conta conectada.

• O status da conexão da sessão do Spark, por exemplo Connecting, , Connectedou Not Connected.

Definir tempos limite de sessão

Você pode definir o tempo limite da sessão e os avisos de tempo limite para blocos de anotações interativos. Para alterar o tempo limite, selecione o status da conexão na barra de status na parte inferior do bloco de anotações. Escolha entre as seguintes opções:

• Definir período de tempo limite da sessão: define o tempo em minutos antes do tempo limite da sessão. O padrão é 30 minutos.

• Redefinir o período de tempo limite da sessão: redefine o tempo limite da sessão para o valor padrão de 30 minutos.

• Definir período de aviso de tempo limite da sessão: define a hora, em minutos antes do tempo limite, em que é apresentado um aviso de que a sessão está prestes a atingir o tempo limite. O padrão é 5 minutos.

• Redefinir o período de aviso de tempo limite da sessão: redefine o aviso de tempo limite da sessão para o valor padrão de 5 minutos.

  

Usar o GitHub Copilot em notebooks

Use o GitHub Copilot para ajudá-lo a escrever código em blocos de anotações. O GitHub Copilot fornece sugestões de código e preenchimento automático com base no contexto do seu código. Para usar o GitHub Copilot, verifique se você tem a extensão GitHub Copilot instalada no Visual Studio Code.

Copie o código dos notebooks de exemplo do Microsoft Sentinel data lake e salve-o na sua pasta de notebooks para fornecer contexto para o GitHub Copilot. O GitHub Copilot poderá sugerir completações de código com base no contexto do seu notebook.

O exemplo a seguir mostra o GitHub Copilot gerando uma revisão de código.

Classe Microsoft Sentinel Provider

Para se conectar ao data lake do Microsoft Sentinel, use a SentinelLakeProvider classe. Essa classe faz parte do access_module.data_loader módulo e fornece métodos para interagir com o data lake. Para usar essa classe, importe-a e crie uma instância da classe usando uma spark sessão.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Para obter mais informações sobre os métodos disponíveis, consulte Referência de classe do Microsoft Sentinel Provider.

Selecione o pool de tempo de execução apropriado

Há três pools de tempo de execução disponíveis para executar os cadernos Jupyter na extensão Microsoft Sentinel. Cada pool é projetado para diferentes cargas de trabalho e requisitos de desempenho. A escolha do pool de tempo de execução afeta o desempenho, o custo e o tempo de execução dos trabalhos do Spark.

Ver mensagens, registos e erros

Registos de mensagens e mensagens de erro são apresentados em três áreas distintas no Visual Studio Code.

1. O painel Saída.

   1. No painel Saída , selecione Microsoft Sentinel na lista suspensa.
   2. Selecione Depurar para incluir entradas de log detalhadas.

   

2. As mensagens em linha no bloco de notas fornecem comentários e informações sobre a execução de células de código. Essas mensagens incluem atualizações de status de execução, indicadores de progresso e notificações de erro relacionadas ao código na célula anterior

3. Um pop-up de notificação no canto inferior direito do Visual Studio Code, também conhecido como mensagem de toast, fornece alertas e atualizações em tempo real sobre o status das operações no notebook e na sessão Spark. Essas notificações incluem mensagens, avisos e alertas de erro, como conexão bem-sucedida a uma sessão de faísca e avisos de tempo limite.

   

Trabalhos e agendamento

Você pode agendar trabalhos para execução em horários ou intervalos específicos usando a extensão Microsoft Sentinel para Visual Studio Code. Os trabalhos permitem automatizar tarefas de processamento de dados para resumir, transformar ou analisar dados no data lake do Microsoft Sentinel. Os trabalhos também são usados para processar dados e gravar resultados em tabelas personalizadas na camada de data lake ou na camada de análise. Para obter mais informações sobre como criar e gerenciar trabalhos, consulte Criar e gerenciar trabalhos de bloco de anotações Jupyter.

Parâmetros e limites de serviço para VS Code Notebooks

A seção a seguir lista os parâmetros e limites de serviço para o data lake do Microsoft Sentinel ao usar o VS Code Notebooks.

Solução de problemas

A tabela a seguir lista erros comuns que você pode encontrar ao trabalhar com blocos de anotações, suas causas básicas e ações sugeridas para resolvê-los.

Conteúdo relacionado

• Criar e gerenciar trabalhos de bloco de anotações
• Notebooks de exemplo para o Microsoft Sentinel data lake
• Referência de classe do Microsoft Sentinel Provider
• Visão geral do data lake do Microsoft Sentinel
• Funções e permissões do data lake do Microsoft Sentinel.