Ausführen von Notizbüchern auf dem Microsoft Sentinel-Datensee

Jupyter-Notizbücher bieten eine interaktive Umgebung zum Untersuchen, Analysieren und Visualisieren von Daten im Microsoft Sentinel-Datensee. Mit Notizbüchern können Sie Code schreiben und ausführen, Ihren Workflow dokumentieren und Ergebnisse anzeigen – alles an einer zentralen Stelle. Dies erleichtert das Durchführen der Datensuche, das Erstellen erweiterter Analyselösungen und das Teilen von Erkenntnissen mit anderen. Durch die Nutzung von Python und Apache Spark in Visual Studio Code helfen Ihnen Notizbücher beim Transformieren von Rohsicherheitsdaten in umsetzbare Intelligenz.

In diesem Artikel erfahren Sie, wie Sie Daten lake-Daten mithilfe von Jupyter-Notizbüchern in Visual Studio Code untersuchen und damit interagieren.

Voraussetzungen

Einführung in den Microsoft Sentinel Data Lake

Um Notizbücher im Microsoft Sentinel Data Lake zu verwenden, müssen Sie zuerst Zugang zum Data Lake erhalten. Wenn Sie noch nicht in den Sentinel-Datenlake integriert sind, lesen Sie Onboarding zu dem Microsoft Sentinel-Datenlake. Wenn Sie erst seit kurzem einen Data Lake verwenden, kann es einige Zeit dauern, bis genügend Daten erfasst wurden, bevor Sie mit Notebooks aussagekräftige Analysen erstellen können.

Erlaubnisse

Microsoft Entra ID-Rollen bieten umfassenden Zugriff auf alle Arbeitsbereiche im Data Lake. Alternativ können Sie über Azure RBAC-Rollen Zugriff auf einzelne Arbeitsbereiche gewähren. Benutzer mit Azure RBAC-Berechtigungen für Microsoft Sentinel-Arbeitsbereiche können Notebooks in diesen Arbeitsbereichen auf Ebene des Data Lake ausführen. Weitere Informationen finden Sie unter Rollen und Berechtigungen in Microsoft Sentinel.

Um neue benutzerdefinierte Tabellen auf der Analyseebene zu erstellen, muss die verwaltete Identität des Data Lake der Rolle Log Analytics-Mitwirkender im Log Analytics-Arbeitsbereich zugewiesen werden.

Führen Sie die folgenden Schritte aus, um die Rolle zuzuweisen:

1. Navigieren Sie im Azure-Portal zum Log Analytics-Arbeitsbereich, dem Sie die Rolle zuweisen möchten.
2. Wählen Sie im linken Navigationsbereich Zugriffssteuerung (IAM) aus.
3. Wählen Sie "Rollenzuweisung hinzufügen" aus.
4. Wählen Sie in der Tabelle "Rolle " die Option "Log Analytics-Mitwirkender" und dann "Weiter" aus.
5. Wählen Sie "Verwaltete Identität" und dann " Mitglieder auswählen" aus.
6. Die verwaltete Identität Ihres Data Lake ist eine vom System zugewiesene verwaltete Identität mit dem Namen msg-resources-<guid>. Wählen Sie die verwaltete Identität und dann "Auswählen" aus.
7. Wählen Sie Überprüfen und zuweisen aus.

Weitere Informationen zum Zuweisen von Rollen zu verwalteten Identitäten finden Sie unter Zuweisen von Azure-Rollen mithilfe des Azure-Portals.

Installieren von Visual Studio Code und der Microsoft Sentinel-Erweiterung

Wenn Sie noch nicht über Visual Studio Code verfügen, laden Sie Visual Studio Code für Mac, Linux oder Windows herunter, und installieren Sie es.

Die Microsoft Sentinel-Erweiterung für Visual Studio Code (VS Code) wird über den Erweiterungs-Marketplace installiert. Führen Sie die folgenden Schritte aus, um die Erweiterung zu installieren:

1. Wählen Sie auf der linken Symbolleiste den Erweiterungs-Marketplace aus.
2. Suchen Sie nach Sentinel.
3. Wählen Sie die Microsoft Sentinel-Erweiterung und dann "Installieren" aus.
4. Nachdem die Erweiterung installiert wurde, wird das Microsoft Sentinel-Schildsymbol in der linken Symbolleiste angezeigt.

Installieren Sie die GitHub-Copilot-Erweiterung für Visual Studio Code, um Code-Vervollständigung und Vorschläge in Notizbüchern zu ermöglichen.

1. Suchen Sie im Extensions Marketplace nach GitHub Copilot , und installieren Sie ihn.
2. Melden Sie sich nach der Installation mit Ihrem GitHub-Konto bei GitHub Copilot an.

Erkunden von Tabellen auf Ebene des Data Lake

Nach der Installation der Microsoft Sentinel-Erweiterung können Sie beginnen, Tabellen auf Ebene des Data Lake zu untersuchen und Jupyter-Notizbücher zu erstellen, um die Daten zu analysieren.

Anmelden bei der Microsoft Sentinel-Erweiterung

1. Wählen Sie auf der linken Symbolleiste das Microsoft Sentinel-Schildsymbol aus.

2. Ein Dialogfeld wird mit dem folgenden Text angezeigt : Die Erweiterung "Microsoft Sentinel" möchte sich mit Microsoft anmelden. Wählen Sie Zulassen aus.

   

3. Wählen Sie Ihren Kontonamen aus, um die Anmeldung abzuschließen.

   

Data-Lake-Tabellen und Jobs anzeigen

Nachdem Sie sich angemeldet haben, zeigt die Sentinel-Erweiterung eine Liste der Lake-Tabellen und Aufträge im linken Bereich an. Die Tabellen werden nach der Datenbank und Kategorie gruppiert. Wählen Sie eine Tabelle aus, um die Spaltendefinitionen anzuzeigen.

Informationen zu Aufträgen finden Sie unter Aufträge und Terminplanung.

Erstellen eines neuen Notebooks

1. Verwenden Sie zum Erstellen eines neuen Notizbuchs eine der folgenden Methoden.

2. Geben Sie das Suchfeld ein, oder drücken Sie >STRG+UMSCHALT+P , und geben Sie dann " Neues Jupyter-Notizbuch erstellen" ein.

3. Wählen Sie "Neue Datei" > und dann " Jupyter-Notizbuch " aus der Dropdownliste aus.
   

4. Fügen Sie im neuen Notizbuch den folgenden Code in die erste Zelle ein.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

Der Editor bietet IntelliSense-Codevervollständigung sowohl für die MicrosoftSentinelProvider Klasse als auch für die Tabellennamen im Data Lake.

1. Wählen Sie das Dreieck Ausführen aus, um den Code im Notizbuch auszuführen. Die Ergebnisse werden im Ausgabebereich unterhalb der Codezelle angezeigt.
   

2. Wählen Sie Microsoft Sentinel aus der Liste für eine Liste der Laufzeitpools aus.

3. Wählen Sie Medium, um das Notizbuch im mittleren Laufzeitpool auszuführen. Weitere Informationen zu den verschiedenen Laufzeiten finden Sie unter Auswählen der entsprechenden Microsoft Sentinel-Laufzeit.

Wenn die Sitzung gestartet wird, wird der Code im Notizbuch ausgeführt, und die Ergebnisse werden im Ausgabebereich unterhalb der Codezelle angezeigt, z. B.

Beispielnotizbücher, die die Interaktion mit dem Microsoft Sentinel-Datensee veranschaulichen, finden Sie unter Beispielnotizbücher für Microsoft Sentinel-Datensee.

Statusleiste

Die Statusleiste unten im Notizbuch enthält Informationen zum aktuellen Status des Notizbuchs und zur Spark-Sitzung. Die Statusleiste enthält die folgenden Informationen:

• Der vCore-Auslastungsprozentsatz für den ausgewählten Spark-Pool. Zeigen Sie mit der Maus auf den Prozentsatz, um die Anzahl der verwendeten vCores und die Gesamtanzahl der im Pool verfügbaren vCores anzuzeigen. Die Prozentsätze stellen die aktuelle Nutzung für interaktive Arbeitslasten und Auftragsarbeitslasten für das angemeldete Konto dar.

• Der Verbindungsstatus der Spark-Sitzung, z. B. Connecting, Connected oder Not Connected.

Festlegen von Session-Timeouts

Sie können die Sitzungsablaufzeit und Timeoutwarnungen für interaktive Notizbücher festlegen. Um das Timeout zu ändern, wählen Sie den Verbindungsstatus in der Statusleiste am unteren Rand des Notizbuchs aus. Wählen Sie aus den folgenden Optionen aus:

• Festlegen des Sitzungstimeoutzeitraums: Legt die Zeit in Minuten vor dem Timeout der Sitzung fest. Der Standardwert ist 30 Minuten.

• Sitzungs-Timeout zurücksetzen: Setzt das Sitzungs-Timeout auf den Standardwert von 30 Minuten zurück.

• Festlegen des Warnzeitraums für Sitzungstimeouts: Legt die Zeit in Minuten vor dem Timeout fest, dass eine Warnung angezeigt wird, dass die Sitzung zu einem Timeout kommt. Der Standardwert ist 5 Minuten.

• Zurücksetzen des Sitzungstimeouts-Warnzeitraums: Setzt die Warnung für das Sitzungstimeout auf den Standardwert von 5 Minuten zurück.

  

Verwenden von GitHub Copilot in Notizbüchern

Verwenden Sie GitHub Copilot, um Code in Notizbüchern zu schreiben. GitHub Copilot bietet Codevorschläge und AutoVervollständigen basierend auf dem Kontext Ihres Codes. Um GitHub Copilot zu verwenden, stellen Sie sicher, dass die GitHub Copilot-Erweiterung in Visual Studio Code installiert ist.

Kopieren Sie Code aus den Beispielnotizbüchern für Microsoft Sentinel Data Lake , und speichern Sie ihn in Ihrem Notizbuchordner, um Kontext für GitHub Copilot bereitzustellen. GitHub Copilot kann dann Codeabschlusse basierend auf dem Kontext Ihres Notizbuchs vorschlagen.

Das folgende Beispiel zeigt, wie GitHub Copilot eine Codeüberprüfung generiert.

Microsoft Sentinel-Anbieterklasse

Verwenden Sie die SentinelLakeProvider-Klasse, um eine Verbindung mit dem Microsoft Sentinel-Datenlake herzustellen. Diese Klasse ist Teil des access_module.data_loader Moduls und stellt Methoden für die Interaktion mit dem Datensee bereit. Um diese Klasse zu verwenden, importieren Sie sie, und erstellen Sie eine Instanz der Klasse mithilfe einer spark Sitzung.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Weitere Informationen zu den verfügbaren Methoden finden Sie in der Referenz zur Microsoft Sentinel-Anbieterklasse.

Auswählen des entsprechenden Laufzeitpools

Es stehen drei Laufzeitpools zur Verfügung, um Ihre Jupyter-Notizbücher in der Microsoft Sentinel-Erweiterung auszuführen. Jeder Pool ist für unterschiedliche Workloads und Leistungsanforderungen ausgelegt. Die Auswahl des Laufzeitpools wirkt sich auf die Leistung, Kosten und Ausführungszeit Ihrer Spark-Aufträge aus.

Anzeigen von Nachrichten, Protokollen und Fehlern

Nachrichtenprotokolle und Fehlermeldungen werden in drei Bereichen in Visual Studio Code angezeigt.

1. Der Ausgabebereich .

   1. Wählen Sie im Ausgabebereichmicrosoft Sentinel aus der Dropdownliste aus.
   2. Wählen Sie "Debuggen" aus, um detaillierte Protokolleinträge einzuschließen.

   

2. Inline-Nachrichten im Notebook stellen Feedback und Informationen zur Ausführung von Codezellen bereit. Zu diesen Nachrichten gehören Aktualisierungen des Ausführungsstatus, Statusanzeigen und Fehlerbenachrichtigungen im Zusammenhang mit dem Code in der vorherigen Zelle.

3. Ein Benachrichtigungs-Popup in der unteren rechten Ecke von Visual Studio Code, auch als Toast-Nachricht bekannt, bietet Echtzeit-Benachrichtigungen und Updates zum Status der Operationen innerhalb des Notizbuchs und der Spark-Sitzung. Zu diesen Benachrichtigungen gehören Meldungen, Warnungen und Fehlermeldungen, wie die erfolgreiche Verbindung zu einer Spark-Sitzung und Timeout-Warnungen.

   

Aufträge und Planung

Sie können Aufträge für die Ausführung zu bestimmten Zeiten oder Intervallen mithilfe der Microsoft Sentinel-Erweiterung für Visual Studio Code planen. Mit Jobs können Sie Datenverarbeitungsaufgaben automatisieren, um Daten im Microsoft Sentinel Datensee zusammenzufassen, zu transformieren oder zu analysieren. Aufträge werden auch verwendet, um Daten zu verarbeiten und Ergebnisse in benutzerdefinierte Tabellen auf Ebene des Data Lake oder der Analyse zu schreiben. Weitere Informationen zum Erstellen und Verwalten von Aufträgen finden Sie unter Erstellen und Verwalten von Jupyter-Notizbuchaufträgen.

Dienstparameter und Grenzwerte für VS Code Notebooks

Im folgenden Abschnitt werden die Dienstparameter und Grenzwerte für Microsoft Sentinel-Datensee bei Verwendung von VS Code Notebooks aufgeführt.

Problembehandlung

In der folgenden Tabelle sind häufige Fehler aufgeführt, die beim Arbeiten mit Notizbüchern auftreten können, deren Ursachen und vorgeschlagenen Aktionen, um sie zu beheben.

Verwandte Inhalte

• Erstellen und Verwalten von Notizbuchaufträgen
• Beispielnotizbücher für Microsoft Sentinel Data Lake
• Referenz zur Microsoft Sentinel-Anbieterklasse
• Übersicht über Microsoft Sentinel-Datensee
• Rollen und Berechtigungen für Microsoft Sentinel-Datensee.