Ejecución de cuadernos en el lago de datos de Microsoft Sentinel

Los cuadernos de Jupyter Notebook proporcionan un entorno interactivo para explorar, analizar y visualizar datos en el lago de datos de Microsoft Sentinel. Con cuadernos, puede escribir y ejecutar código, documentar el flujo de trabajo y ver los resultados, todo en un solo lugar. Esto facilita la exploración de datos, la creación de soluciones de análisis avanzadas y el uso compartido de información con otros usuarios. Al aprovechar Python y Apache Spark en Visual Studio Code, los cuadernos le ayudan a transformar los datos de seguridad sin procesar en inteligencia accionable.

En este artículo se muestra cómo explorar e interactuar con los datos del lago de datos mediante cuadernos de Jupyter Notebook en Visual Studio Code.

Prerrequisitos

Incorporación al lago de datos de Microsoft Sentinel

Para usar cuadernos en el lago de datos de Microsoft Sentinel, primero debe incorporarlos al lago de datos. Si no se ha incorporado al lago de datos de Sentinel, consulte Incorporación al lago de datos de Microsoft Sentinel. Si recientemente se ha incorporado al lago de datos, puede tardar algún tiempo hasta que se ingiere suficiente volumen de datos antes de poder crear análisis significativos mediante cuadernos.

Permisos

Los roles de Identidad de Microsoft Entra proporcionan un acceso amplio en todas las áreas de trabajo del data lake. Como alternativa, puede conceder acceso a áreas de trabajo individuales mediante roles RBAC de Azure. Los usuarios con permisos de RBAC de Azure para las áreas de trabajo de Microsoft Sentinel pueden ejecutar cuadernos en esas áreas de trabajo en el nivel de lago de datos. Para obtener más información, consulte Roles y permisos en Microsoft Sentinel.

Para crear nuevas tablas personalizadas en el nivel de análisis, a la identidad administrada del lago de datos se le debe asignar el rol Colaborador de Log Analytics en el área de trabajo de Log Analytics.

Para asignar el rol, siga estos pasos:

1. En Azure Portal, vaya al área de trabajo de Log Analytics a la que desea asignar el rol.
2. Seleccione Control de acceso (IAM) en el panel de navegación izquierdo.
3. Seleccione Agregar asignación de roles.
4. En la tabla Rol, seleccione Colaborador de Log Analytics y, a continuación, seleccione Siguiente.
5. Seleccione Identidad administrada y, a continuación, seleccione Seleccionar miembros.
6. La identidad administrada de lago de datos es una identidad administrada asignada por el sistema denominada msg-resources-<guid>. Seleccione la identidad administrada y, a continuación, seleccione Seleccionar.
7. Seleccione Revisar y asignar.

Para más información sobre cómo asignar roles a identidades administradas, consulte Asignación de roles de Azure mediante Azure Portal.

Instalación de Visual Studio Code y la extensión de Microsoft Sentinel

Si aún no tiene Visual Studio Code, descargue e instale Visual Studio Code para Mac, Linux o Windows.

La extensión de Microsoft Sentinel para Visual Studio Code (VS Code) se instala desde marketplace de extensiones. Para instalar la extensión, siga estos pasos:

1. Seleccione El Marketplace de extensiones en la barra de herramientas izquierda.
2. Busque Sentinel.
3. Seleccione la extensión de Microsoft Sentinel y seleccione Instalar.
4. Una vez instalada la extensión, el icono de escudo de Microsoft Sentinel aparece en la barra de herramientas izquierda.

Instale la extensión Copilot de GitHub para Visual Studio Code para habilitar la finalización de código y sugerencias en cuadernos.

1. Busque GitHub Copilot en Extensions Marketplace e instálelo.
2. Después de la instalación, inicie sesión en GitHub Copilot con su cuenta de GitHub.

Exploración de tablas de nivel de lago de datos

Después de instalar la extensión de Microsoft Sentinel, puede comenzar a explorar tablas del nivel del lago de datos y crear cuadernos de Jupyter para analizar los datos.

Inicie sesión en la extensión de Microsoft Sentinel

1. Seleccione el icono de escudo de Microsoft Sentinel en la barra de herramientas izquierda.

2. Aparece un cuadro de diálogo con el texto siguiente La extensión "Microsoft Sentinel" quiere iniciar sesión con Microsoft. seleccione Permitir.

   

3. Seleccione el nombre de la cuenta para completar el inicio de sesión.

   

Visualización de tablas y trabajos de Data Lake

Una vez que inicie sesión, la extensión Sentinel muestra una lista de tablas de Lake y trabajos en el panel izquierdo. Las tablas se agrupan por la base de datos y la categoría. Seleccione una tabla para ver las definiciones de columna.

Para obtener información sobre los trabajos, consulte Trabajos y programación.

Crea un nuevo cuaderno

1. Para crear un cuaderno, use uno de los métodos siguientes.

2. Escriba > en el cuadro de búsqueda o presione Ctrl+Mayús+P y, a continuación, escriba Crear nuevo cuaderno de Jupyter Notebook.

3. Seleccione Archivo > Archivo Nuevo, y a continuación, seleccione Jupyter Notebook en la lista desplegable.
   

4. En el nuevo cuaderno, pegue el código siguiente en la primera celda.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

El editor proporciona la finalización de código IntelliSense tanto para la clase MicrosoftSentinelProvider como para los nombres de tabla en el lago de datos.

1. Seleccione el triángulo Ejecutar para ejecutar el código en el cuaderno. Los resultados se muestran en el panel de salida debajo de la celda de código.
   

2. Seleccione Microsoft Sentinel en la lista para ver una lista de grupos de tiempo de ejecución.

3. Seleccione Medium (Medio) para ejecutar el cuaderno en el grupo de entornos de ejecución de tamaño mediano. Para obtener más información sobre los distintos entornos de ejecución, consulte Selección del entorno de ejecución de Microsoft Sentinel adecuado.

Cuando se inicia la sesión, el código del cuaderno se ejecuta y los resultados se muestran en el panel de salida debajo de la celda de código, por ejemplo:

Para ver cuadernos de ejemplo que muestran cómo interactuar con el lago de datos de Microsoft Sentinel, consulte Cuadernos de ejemplo para el lago de datos de Microsoft Sentinel.

Barra de estado

La barra de estado de la parte inferior del cuaderno proporciona información sobre el estado actual del cuaderno y la sesión de Spark. La barra de estado incluye la siguiente información:

• Porcentaje de uso de vCore para el Spark pool seleccionado. Mantenga el puntero sobre el porcentaje para ver el número de núcleos virtuales usados y el número total de núcleos virtuales disponibles en el grupo. Los porcentajes representan el uso actual en cargas de trabajo interactivas y de tareas para la cuenta que ha iniciado sesión.

• Estado de conexión de la sesión de Spark, por ejemplo Connecting, , Connectedo Not Connected.

Establecimiento de tiempos de espera de sesión

Puede establecer el tiempo de espera de sesión y las advertencias de tiempo de espera para cuadernos interactivos. Para cambiar el tiempo de espera, seleccione el estado de conexión en la barra de estado de la parte inferior del cuaderno. Elija entre las siguientes opciones:

• Establecer el período de tiempo de espera de sesión: establece el tiempo en minutos antes de que se agote el tiempo de espera de la sesión. El valor predeterminado es 30 minutos.

• Restablecer el período de tiempo de espera de sesión: restablece el tiempo de espera de la sesión al valor predeterminado de 30 minutos.

• Establecer el período de advertencia de tiempo de espera de sesión: establece el tiempo en minutos antes de que se muestre una advertencia indicando que la sesión está a punto de agotarse. El valor predeterminado es 5 minutos.

• Restablecer el plazo de aviso de tiempo de espera de sesión: restablece el plazo de aviso de tiempo de espera de sesión al valor predeterminado de 5 minutos.

  

Uso de GitHub Copilot en cuadernos

Use GitHub Copilot para ayudarle a escribir código en cuadernos. GitHub Copilot proporciona sugerencias de código y autocompletado en función del contexto de tu código. Para usar GitHub Copilot, asegúrese de que tiene instalada la extensión de GitHub Copilot en Visual Studio Code.

Copie el código de los cuadernos de ejemplo para el lago de datos de Microsoft Sentinel y guárdelo en la carpeta notebooks para proporcionar contexto para GitHub Copilot. Después, GitHub Copilot podrá sugerir finalizaciones de código en función del contexto del cuaderno.

En el ejemplo siguiente se muestra GitHub Copilot que genera una revisión de código.

Clase Provider de Microsoft Sentinel

Para conectarse al lago de datos de Microsoft Sentinel, use la SentinelLakeProvider clase . Esta clase forma parte del access_module.data_loader módulo y proporciona métodos para interactuar con el lago de datos. Para usar esta clase, impórtela y cree una instancia de la clase mediante una spark sesión.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Para obtener más información sobre los métodos disponibles, consulte Referencia de clase de proveedor de Microsoft Sentinel.

Selección del grupo de tiempo de ejecución adecuado

Hay tres grupos de tiempo de ejecución disponibles para usar cuadernos de Jupyter en la extensión de Microsoft Sentinel. Cada grupo está diseñado para diferentes cargas de trabajo y requisitos de rendimiento. La elección del pool de tiempo de ejecución afecta al rendimiento, el costo y el tiempo de ejecución de los trabajos de Spark.

Visualización de mensajes, registros y errores

Los registros de mensajes y los mensajes de error se muestran en tres áreas de Visual Studio Code.

1. El panel de Salida.

   1. En el panel Salida , seleccione Microsoft Sentinel en la lista desplegable.
   2. Seleccione Depurar para incluir entradas de registro detalladas.

   

2. Los mensajes en línea del cuaderno proporcionan comentarios e información sobre la ejecución de celdas de código. Estos mensajes incluyen actualizaciones de estado de ejecución, indicadores de progreso y notificaciones de error relacionadas con el código de la celda anterior.

3. Una ventana emergente de notificación en la esquina inferior derecha de Visual Studio Code, también conocido como mensaje emergente, proporciona alertas en tiempo real y actualizaciones sobre el estado de las operaciones en el bloc de notas y la sesión de Spark. Estas notificaciones incluyen mensajes, advertencias y alertas de error, como la conexión correcta a una sesión de Spark y advertencias de tiempo de espera.

   

Trabajos y programación

Puede programar trabajos para que se ejecuten en momentos o intervalos específicos mediante la extensión de Microsoft Sentinel para Visual Studio Code. Los trabajos permiten automatizar las tareas de procesamiento de datos para resumir, transformar o analizar datos en el lago de datos de Microsoft Sentinel. Los trabajos también se usan para procesar datos y escribir resultados en tablas personalizadas en el nivel de lago de datos o en el nivel de análisis. Para obtener más información sobre cómo crear y administrar trabajos, consulte Creación y administración de trabajos de Jupyter Notebook.

Parámetros y límites de servicio para cuadernos de VS Code

En la sección siguiente, se enumeran los parámetros de servicio y los límites del lago de datos de Microsoft Sentinel al usar cuadernos de VS Code.

Solución de problemas

En la tabla siguiente se enumeran los errores comunes que puede encontrar al trabajar con cuadernos, sus causas principales y las acciones sugeridas para resolverlos.

Contenido relacionado

• Crear y gestionar tareas de notebook
• Cuadernos de ejemplo para el lago de datos de Microsoft Sentinel
• Referencia de la clase del proveedor de Microsoft Sentinel
• Introducción a Data Lake de Microsoft Sentinel
• Roles y permisos del lago de datos de Microsoft Sentinel.