Exécuter des notebooks sur le lac de données Microsoft Sentinel

Les notebooks Jupyter fournissent un environnement interactif permettant d’explorer, d’analyser et de visualiser des données dans le lac de données Microsoft Sentinel. Avec les blocs-notes, vous pouvez écrire et exécuter du code, documenter votre flux de travail et afficher les résultats, tous en un seul endroit. Cela permet d’effectuer facilement l’exploration des données, de créer des solutions d’analytique avancées et de partager des insights avec d’autres personnes. En tirant parti de Python et Apache Spark dans Visual Studio Code, les notebooks vous aident à transformer des données de sécurité brutes en intelligence exploitable.

Cet article explique comment explorer et interagir avec des données data lake à l’aide de notebooks Jupyter dans Visual Studio Code.

Conditions préalables

Intégrer au lac de données Microsoft Sentinel

Pour utiliser des notebooks dans le lac de données Microsoft Sentinel, vous devez d’abord intégrer le lac de données. Si vous n’avez pas intégré le lac de données Sentinel, consultez Intégration au lac de données Microsoft Sentinel. Si vous avez récemment intégré le lac de données, vous devrez peut-être attendre un certain temps qu’un volume suffisant de données soit ingéré avant de pouvoir créer des analyses significatives à l’aide de notebooks.

Autorisations

Les rôles d’ID Microsoft Entra fournissent un accès étendu à tous les espaces de travail du lac de données. Vous pouvez également accorder l’accès à des espaces de travail individuels à l’aide de rôles RBAC Azure. Les utilisateurs disposant d’autorisations RBAC Azure sur les espaces de travail Microsoft Sentinel peuvent exécuter des notebooks sur ces espaces de travail dans le niveau Data Lake. Pour plus d’informations, consultez Rôles et autorisations dans Microsoft Sentinel.

Pour créer de nouvelles tables personnalisées dans le niveau Analytique, l’identité managée data lake doit être affectée au rôle Contributeur Log Analytics dans l’espace de travail Log Analytics.

Pour attribuer le rôle, procédez comme suit :

1. Dans le portail Azure, accédez à l’espace de travail Log Analytics auquel vous souhaitez attribuer le rôle.
2. Sélectionnez Contrôle d’accès (IAM) dans le menu de navigation de gauche.
3. Sélectionnez Ajouter une attribution de rôle.
4. Dans la table Rôle , sélectionnez Contributeur Log Analytics, puis Sélectionnez Suivant
5. Sélectionnez Identité managée, puis sélectionnez Sélectionner des membres.
6. Votre identité gérée du data lake est une identité gérée attribuée par le système nommée msg-resources-<guid>. Sélectionnez l’identité managée, puis sélectionnez Sélectionner.
7. Sélectionnez Vérifier et attribuer.

Pour plus d’informations sur l’attribution de rôles à des identités managées, consultez Affecter des rôles Azure à l’aide du portail Azure.

Installer Visual Studio Code et l’extension Microsoft Sentinel

Si vous n’avez pas encore Visual Studio Code, téléchargez et installez Visual Studio Code pour Mac, Linux ou Windows.

L’extension Microsoft Sentinel pour Visual Studio Code (VS Code) est installée à partir de la Place de marché des extensions. Pour installer l’extension, procédez comme suit :

1. Sélectionnez le Marketplace des extensions dans la barre latérale gauche.
2. Recherchez Sentinel.
3. Sélectionnez l’extension Microsoft Sentinel , puis sélectionnez Installer.
4. Une fois l’extension installée, l’icône du bouclier Microsoft Sentinel apparaît dans la barre d’outils de gauche.

Installez l’extension GitHub Copilot pour Visual Studio Code afin d’activer la complétion et les suggestions de code dans les notebooks.

1. Recherchez GitHub Copilot dans la Place de marché extensions et installez-le.
2. Après l’installation, connectez-vous à GitHub Copilot à l’aide de votre compte GitHub.

Explorer les tables de strates du Data Lake

Après avoir installé l’extension Microsoft Sentinel, vous pouvez commencer à explorer les tables du niveau Data Lake et à créer des notebooks Jupyter pour analyser les données.

Se connecter à l’extension Microsoft Sentinel

1. Sélectionnez l’icône de bouclier Microsoft Sentinel dans la barre d’outils de gauche.

2. Une boîte de dialogue s’affiche avec le texte suivant : l’extension « Microsoft Sentinel » souhaite se connecter à l’aide de Microsoft. Sélectionnez Autoriser.

   

3. Sélectionnez le nom de votre compte pour terminer la connexion.

   

Afficher les tables et les jobs du data lake

Une fois que vous êtes connecté, l’extension Sentinel affiche une liste de tables Lake et de travaux dans le volet gauche. Les tables sont regroupées par la base de données et la catégorie. Sélectionnez un tableau pour afficher les définitions de colonnes.

Pour plus d’informations sur les travaux, consultez Travaux et planification.

Créer un nouveau cahier

1. Pour créer un bloc-notes, utilisez l’une des méthodes suivantes.

2. Entrez dans la zone de recherche ou appuyez >sur Ctrl+Maj+P , puis entrez Créer un bloc-notes Jupyter.

3. Sélectionnez Fichier > nouveau fichier, puis sélectionnez Jupyter Notebook dans la liste déroulante.
   

4. Dans le nouveau bloc-notes, collez le code suivant dans la première cellule.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

L’éditeur fournit la saisie semi-automatique du code IntelliSense pour la classe MicrosoftSentinelProvider et les noms de table dans le lac de données.

1. Sélectionnez le triangle Exécuter pour exécuter le code dans le bloc-notes. Les résultats sont affichés dans le volet de sortie sous la cellule de code.
   

2. Sélectionnez Microsoft Sentinel dans la liste pour obtenir la liste des pools d’exécution.

3. Sélectionnez Moyen pour exécuter le notebook dans le pool d’exécution de taille moyenne. Pour plus d’informations sur les différents runtimes, consultez Sélection du runtime Microsoft Sentinel approprié.

Lorsque la session est démarrée, le code du notebook s’exécute et les résultats sont affichés dans le volet de sortie sous la cellule de code, par exemple :

Pour obtenir des exemples de notebooks qui montrent comment interagir avec le lac de données Microsoft Sentinel, consultez Exemples de notebooks pour le lac de données Microsoft Sentinel.

Barre d’état

La barre d’état située en bas du bloc-notes fournit des informations sur l’état actuel du bloc-notes et la session Spark. La barre d’état contient les informations suivantes :

• Pourcentage d’utilisation de vCore pour le pool Spark sélectionné. Pointez sur le pourcentage pour voir le nombre de vCores utilisés et le nombre total de vCores disponibles dans le pool. Les pourcentages représentent l’utilisation actuelle entre les charges de travail interactives et de travail pour le compte connecté.

• État de connexion de la session Spark, par exemple Connecting, Connectedou Not Connected.

Définir les délais d’expiration de session

Vous pouvez définir le délai d'expiration de session et les avertissements de délai d'expiration pour les notebooks interactifs. Pour modifier le délai d’expiration, sélectionnez l’état de connexion dans la barre d’état en bas du bloc-notes. Choisissez parmi les options suivantes :

• Définir la période d’expiration de session : définit l’heure en minutes avant l’expiration de la session. La valeur par défaut est de 30 minutes.

• Réinitialiser le délai d'expiration de session : rétablit le délai d'expiration de session à la valeur par défaut de 30 minutes.

• Définir la période d’avertissement du délai d’expiration de session : définit l’heure en minutes avant le délai d’expiration d’un avertissement indiquant que la session est sur le point d’expirer. La valeur par défaut est de 5 minutes.

• Réinitialiser la période d’avertissement du délai d’expiration de session : réinitialise l’avertissement de délai d’expiration de session à la valeur par défaut de 5 minutes.

  

Utiliser GitHub Copilot dans les notebooks

Utilisez GitHub Copilot pour vous aider à écrire du code dans des notebooks. GitHub Copilot fournit des suggestions de code et une autocomplétion en fonction du contexte de votre code. Pour utiliser GitHub Copilot, vérifiez que l’extension GitHub Copilot est installée dans Visual Studio Code.

Copiez du code à partir des exemples de notebooks pour le lac de données Microsoft Sentinel et enregistrez-le dans votre dossier de notebooks pour fournir un contexte pour GitHub Copilot. GitHub Copilot pourra ensuite suggérer des complétions de code en fonction du contexte de votre notebook.

L’exemple suivant montre GitHub Copilot générant une révision de code.

Classe Fournisseur Microsoft Sentinel

Pour vous connecter au lac de données Microsoft Sentinel, utilisez la SentinelLakeProvider classe. Cette classe fait partie du access_module.data_loader module et fournit des méthodes permettant d’interagir avec le lac de données. Pour utiliser cette classe, importez-la et créez une instance de la classe à l’aide d’une spark session.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Pour plus d’informations sur les méthodes disponibles, consultez la référence de la classe fournisseur Microsoft Sentinel.

Sélectionner le pool d’exécution approprié

Trois pools d’exécution sont disponibles pour exécuter vos notebooks Jupyter dans l’extension Microsoft Sentinel. Chaque pool est conçu pour différentes charges de travail et exigences de performances. Le choix du pool d’exécution affecte les performances, le coût et le temps d’exécution de vos travaux Spark.

Afficher les messages, les logs et les erreurs

Les journaux des messages et les messages d’erreur sont affichés dans trois zones dans Visual Studio Code.

1. Volet Résultat.

   1. Dans le volet Sortie , sélectionnez Microsoft Sentinel dans la liste déroulante.
   2. Sélectionnez Déboguer pour inclure des entrées de journal détaillées.

   

2. Les messages en ligne dans le notebook fournissent des commentaires et des informations sur l’exécution des cellules de code. Ces messages incluent les mises à jour de l’état d’exécution, les indicateurs de progression et les notifications d’erreur liés au code dans la cellule précédente

3. Une fenêtre contextuelle de notification dans le coin inférieur droit de Visual Studio Code, également connu sous le nom de message toast, fournit des alertes et des mises à jour en temps réel sur l’état des opérations dans le bloc-notes et la session Spark. Ces notifications incluent les messages, les avertissements et les alertes d’erreur, comme la connexion réussie à une session Spark et les avertissements de délai d’expiration.

   

Travaux et planification

Vous pouvez planifier l’exécution de travaux à des moments ou intervalles spécifiques à l’aide de l’extension Microsoft Sentinel pour Visual Studio Code. Les travaux vous permettent d’automatiser les tâches de traitement des données pour synthétiser, transformer ou analyser des données dans le lac de données Microsoft Sentinel. Les travaux sont également utilisés pour traiter les données et écrire des résultats dans des tables personnalisées au niveau Data Lake ou au niveau Analytique. Pour plus d’informations sur la création et la gestion des travaux, consultez Créer et gérer des travaux de notebook Jupyter.

Paramètres et limites de service pour les notebooks VS Code

La section suivante répertorie les paramètres de service et les limites du lac de données Microsoft Sentinel lors de l’utilisation des notebooks VS Code.

Résolution des problèmes

Le tableau suivant répertorie les erreurs courantes que vous pouvez rencontrer lors de l’utilisation de notebooks, leurs causes profondes et les actions suggérées pour les résoudre.

Contenu connexe

• Créer et gérer des travaux de carnets
• Exemples de notebooks pour le lac de données Microsoft Sentinel
• Informations de référence sur la classe fournisseur Microsoft Sentinel
• Vue d’ensemble du lac de données Microsoft Sentinel
• Rôles et droits du datalake Microsoft Sentinel.