Notebooks uitvoeren op de Data Lake van Microsoft Sentinel

Jupyter-notebooks bieden een interactieve omgeving voor het verkennen, analyseren en visualiseren van gegevens in de Data Lake van Microsoft Sentinel. Met notebooks kunt u code schrijven en uitvoeren, uw werkstroom documenteren en resultaten weergeven, allemaal op één plaats. Dit maakt het eenvoudig om gegevensverkenning uit te voeren, geavanceerde analyseoplossingen te bouwen en inzichten met anderen te delen. Met behulp van Python en Apache Spark in Visual Studio Code kunt u met notebooks onbewerkte beveiligingsgegevens transformeren in bruikbare intelligentie.

In dit artikel leest u hoe u data lake-gegevens verkent en gebruikt met behulp van Jupyter-notebooks in Visual Studio Code.

Vereiste voorwaarden

Onboarden in Microsoft Sentinel data lake

Als u notebooks wilt gebruiken in de Data Lake van Microsoft Sentinel, moet u eerst onboarden naar de data lake. Zie Onboarding naar Microsoft Sentinel data lake als u nog geen onboarding hebt gemaakt naar de Sentinel-data lake. Als u onlangs bent aangesloten op de data lake, kan het enige tijd duren voordat er een voldoende hoeveelheid gegevens is opgenomen om zinvolle analyses te maken met behulp van notebooks.

Machtigingen

Microsoft Entra ID-rollen bieden brede toegang tot alle werkruimten in de data lake. U kunt ook toegang verlenen tot afzonderlijke werkruimten met behulp van Azure RBAC-rollen. Gebruikers met Azure RBAC-machtigingen voor Microsoft Sentinel-werkruimten kunnen notebooks uitvoeren op die werkruimten in de data lake-laag. Zie voor meer informatie Rollen en machtigingen in Microsoft Sentinel.

Als u nieuwe aangepaste tabellen wilt maken in de analyselaag, moet de door Data Lake beheerde identiteit de rol Log Analytics-inzender in de Log Analytics-werkruimte worden toegewezen.

Volg de onderstaande stappen om de rol toe te wijzen:

1. Navigeer in Azure Portal naar de Log Analytics-werkruimte waaraan u de rol wilt toewijzen.
2. Selecteer Toegangsbeheer (IAM) in het linkernavigatiedeelvenster.
3. Selecteer Roltoewijzing toevoegen.
4. In de tabel Rol selecteer Log Analytics-inzender, en selecteer vervolgens Volgende
5. Selecteer Beheerde identiteit en selecteer vervolgens Leden selecteren.
6. Uw door Data Lake beheerde identiteit is een door het systeem toegewezen beheerde identiteit met de naam msg-resources-<guid>. Selecteer de beheerde identiteit en selecteer Vervolgens Selecteren.
7. Selecteer Controleren en toewijzen.

Zie Azure-rollen toewijzen met behulp van Azure Portal voor meer informatie over het toewijzen van rollen aan beheerde identiteiten.

Visual Studio Code en de Microsoft Sentinel-extensie installeren

Als u Visual Studio Code nog niet hebt, downloadt en installeert u Visual Studio Code voor Mac, Linux of Windows.

De Microsoft Sentinel-extensie voor Visual Studio Code (VS Code) wordt geïnstalleerd vanuit de marketplace voor extensies. Voer de volgende stappen uit om de extensie te installeren:

1. Selecteer de Extensies Marketplace in de linker werkbalk.
2. Zoek naar Sentinel.
3. Selecteer de Microsoft Sentinel-extensie en selecteer Installeren.
4. Nadat de extensie is geïnstalleerd, wordt het microsoft Sentinel-schildpictogram weergegeven in de linkerwerkbalk.

Installeer de GitHub Copilot-extensie voor Visual Studio Code om codevoltooiing en suggesties in notebooks in te schakelen.

1. Zoek naar GitHub Copilot in de Extensions Marketplace en installeer deze.
2. Meld u na de installatie aan bij GitHub Copilot met uw GitHub-account.

Data lake-niveautabellen verkennen

Nadat u de Microsoft Sentinel-extensie hebt geïnstalleerd, kunt u tabellen in data lake-lagen verkennen en Jupyter-notebooks maken om de gegevens te analyseren.

Aanmelden bij de Microsoft Sentinel-extensie

1. Selecteer het microsoft Sentinel-schildpictogram in de linkerwerkbalk.

2. Er wordt een dialoogvenster weergegeven met de volgende tekst de extensie 'Microsoft Sentinel' wil zich aanmelden met Microsoft. Klik op Toestaan.

   

3. Selecteer uw accountnaam om de aanmelding te voltooien.

   

Data Lake-tabellen en -taken weergeven

Nadat u zich hebt aangemeld, wordt in de Sentinel-extensie een lijst met Lake-tabellen en taken weergegeven in het linkerdeelvenster. De tabellen worden gegroepeerd op de database en categorie. Selecteer een tabel om de kolomdefinities weer te geven.

Zie Taken en planning voor meer informatie over taken.

Een nieuwe notebook maken

1. Als u een nieuw notitieblok wilt maken, gebruikt u een van de volgende methoden.

2. Voer > in het zoekvak in of druk op Ctrl+Shift+P en voer vervolgens Nieuw Jupyter-notitieblok maken in.

3. Selecteer Bestand > nieuw bestand en selecteer vervolgens Jupyter Notebook in de vervolgkeuzelijst.
   

4. Plak in het nieuwe notitieblok de volgende code in de eerste cel.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

De editor biedt intellisense-codevoltooiing voor zowel de MicrosoftSentinelProvider klasse- als de tabelnamen in de data lake.

1. Selecteer het driehoekje Uitvoeren om de code in het notebook uit te voeren. De resultaten worden weergegeven in het uitvoervenster onder de codecel.
   

2. Selecteer Microsoft Sentinel in de lijst voor een lijst met runtimepools.

3. Selecteer Gemiddeld om het notebook uit te voeren in de middelgrote runtime-pool. Zie De juiste Microsoft Sentinel-runtime selecteren voor meer informatie over de verschillende runtimes.

Wanneer de sessie wordt gestart, wordt de code in het notebook uitgevoerd en worden de resultaten weergegeven in het uitvoervenster onder de codecel, bijvoorbeeld:

Zie Voorbeeldnotebooks voor Microsoft Sentinel data lake voor voorbeeldnotebooks die laten zien hoe u kunt communiceren met microsoft Sentinel Data Lake.

Statusbalk

De statusbalk onder aan het notebook bevat informatie over de huidige status van het notebook en de Spark-sessie. De statusbalk bevat de volgende informatie:

• Het vCore-gebruikspercentage voor de geselecteerde Spark-pool. Beweeg de muisaanwijzer over het percentage om het aantal gebruikte vCores en het totale aantal beschikbare vCores in de pool weer te geven. De percentages vertegenwoordigen het huidige gebruik van interactieve en job workloads voor het aangemelde account.

• De verbindingsstatus van de Spark-sessie, bijvoorbeeld Connecting, Connectedof Not Connected.

Sessie-timeouts instellen

U kunt de time-out- en time-outwaarschuwingen voor sessies instellen voor interactieve notitieblokken. Als u de time-out wilt wijzigen, selecteert u de verbindingsstatus op de statusbalk onder aan het notitieblok. Kies uit de volgende opties:

• Time-outperiode voor sessie instellen: hiermee stelt u de tijd in minuten in voordat er een time-out optreedt voor de sessie. De standaardwaarde is 30 minuten.

• Time-outperiode van sessie opnieuw instellen: hiermee wordt de time-out van de sessie teruggezet op de standaardwaarde van 30 minuten.

• Waarschuwingsperiode voor sessietime-out instellen: Hiermee stelt u de tijd in minuten vóór de time-out in dat er een waarschuwing wordt weergegeven dat er een time-out optreedt voor de sessie. De standaardwaarde is vijf minuten.

• Time-outperiode van sessie opnieuw instellen: hiermee wordt de time-outwaarschuwing voor de sessie opnieuw ingesteld op de standaardwaarde van 5 minuten.

  

GitHub Copilot gebruiken in notebooks

Gebruik GitHub Copilot om u te helpen code te schrijven in notebooks. GitHub Copilot biedt codesuggesties en automatisch aanvullen op basis van de context van uw code. Als u GitHub Copilot wilt gebruiken, moet u ervoor zorgen dat de GitHub Copilot-extensie is geïnstalleerd in Visual Studio Code.

Kopieer code uit de voorbeeldnotebooks voor Microsoft Sentinel data lake en sla deze op in de map notebooks om context te bieden voor GitHub Copilot. GitHub Copilot kan vervolgens codevoltooiingen voorstellen op basis van de context van uw notebook.

In het volgende voorbeeld genereert GitHub Copilot een codebeoordeling.

Microsoft Sentinel Provider-klasse

Gebruik de SentinelLakeProvider klasse om verbinding te maken met de Data Lake van Microsoft Sentinel. Deze klasse maakt deel uit van de access_module.data_loader module en biedt methoden voor interactie met de data lake. Als u deze klasse wilt gebruiken, importeert u deze en maakt u een exemplaar van de klasse met behulp van een spark sessie.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Zie de klasseverwijzing microsoft Sentinel Provider voor meer informatie over de beschikbare methoden.

Selecteer de juiste runtimepool

Er zijn drie runtimepools beschikbaar om uw Jupyter-notebooks uit te voeren in de Microsoft Sentinel-extensie. Elke pool is ontworpen voor verschillende workloads en prestatievereisten. De keuze van runtimepool is van invloed op de prestaties, kosten en uitvoeringstijd van uw Spark-taken.

Berichten, logboeken en fouten weergeven

Berichtenlogboeken en foutberichten worden weergegeven in drie gebieden in Visual Studio Code.

1. Het deelvenster Uitvoer.

   1. Selecteer Microsoft Sentinel in de vervolgkeuzelijst in het deelvenster Uitvoer.
   2. Selecteer Fouten opsporen om gedetailleerde logboekvermeldingen op te nemen.

   

2. Inline berichten in het notebook geven feedback en informatie over de uitvoering van codecellen. Deze berichten omvatten uitvoeringsstatusupdates, voortgangsindicatoren en foutmeldingen met betrekking tot de code in de voorgaande cel

3. Een notificatie-pop-up in de rechterbenedenhoek van Visual Studio Code, ook wel een toast-bericht genoemd, biedt realtime waarschuwingen en updates over de status van bewerkingen in het notebook en de Spark-sessie. Deze meldingen omvatten berichten, waarschuwingen en foutwaarschuwingen, zoals een geslaagde verbinding met een Spark-sessie en time-outwaarschuwingen.

   

Taken en planning

U kunt taken plannen om op specifieke tijdstippen of intervallen uit te voeren met behulp van de Microsoft Sentinel-extensie voor Visual Studio Code. Met taken kunt u gegevensverwerkingstaken automatiseren om gegevens samen te vatten, te transformeren of te analyseren in de Data Lake van Microsoft Sentinel. Taken worden ook gebruikt voor het verwerken van gegevens en het schrijven van resultaten naar aangepaste tabellen in de data lake-laag of analyselaag. Zie Jupyter-notebooktaken maken en beheren voor meer informatie over het maken en beheren van taken.

Serviceparameters en -limieten voor VS Code Notebooks

In de volgende sectie vindt u de serviceparameters en -limieten voor Microsoft Sentinel Data Lake wanneer u VS Code Notebooks gebruikt.

Probleemoplossingsproces

De volgende tabel bevat veelvoorkomende fouten die kunnen optreden bij het werken met notebooks, de hoofdoorzaken en voorgestelde acties om ze op te lossen.

Verwante inhoud

• Notebookopdrachten maken en beheren
• Voorbeeldnotebooks voor Microsoft Sentinel Data Lake
• Microsoft Sentinel Provider-klasseverwijzing
• Overzicht van Microsoft Sentinel Data Lake
• Microsoft Sentinel data lake-rollen en -machtigingen.