Erstellen von KQL-Jobs im Microsoft Sentinel Data Lake

KQL-Aufträge sind einmalige oder geplante KQL-Abfragen zu Daten im Microsoft Sentinel-Datensee. Verwenden Sie Jobs für Untersuchungs- und Analyseszenarien, z. B.:

• Langfristige einmalige Abfragen für Vorfalluntersuchungen und Reaktion auf Vorfälle (IR)
• Datenaggregationsaufgaben, die Anreicherungsworkflows mithilfe von Protokollen mit niedriger Genauigkeit unterstützen
• Abgleichsscans für historische TI-Daten (Threat Intelligence) zur retrospektiven Analyse
• Anomalieerkennungsscans, die ungewöhnliche Muster über mehrere Tabellen hinweg identifizieren

KQL-Aufträge sind besonders effektiv, wenn Abfragen Verknüpfungen oder Gewerkschaften in verschiedenen Datasets verwenden.

Verwenden Sie Jobs, um Daten vom Daten-Lake Tier auf das Analytics Tier zu übertragen. Sobald Sie sich in der Analyseebene befinden, verwenden Sie den KQL-Editor für das erweiterte Suchen, um die Daten abzufragen. Das Bewerben von Daten auf die Analyseebene hat die folgenden Vorteile:

• Kombinieren Sie aktuelle und historische Daten auf der Analyseebene, um erweiterte Analyse- und Machine Learning-Modelle für Ihre Daten auszuführen.
• Reduzieren Sie die Abfragekosten, indem Sie Abfragen auf der Analyseebene ausführen.
• Kombinieren Sie Daten aus mehreren Arbeitsbereichen zu einem einzelnen Arbeitsbereich auf der Analyseebene.
• Kombinieren Sie Microsoft Entra-ID, Microsoft 365- und Microsoft Resource Graph-Daten in der Analyseebene, um erweiterte Analysen in allen Datenquellen auszuführen.

Sie können Daten zu einer neuen Tabelle heraufstufen oder die Ergebnisse an eine vorhandene Tabelle auf der Analyseebene anfügen. Beim Erstellen einer neuen Tabelle wird der Tabellenname mit _KQL_CL suffixiert, um anzugeben, dass die Tabelle von einem KQL-Auftrag erstellt wurde.

Voraussetzungen

Zum Erstellen und Verwalten von KQL-Aufträgen im Microsoft Sentinel-Datensee benötigen Sie die folgenden Voraussetzungen.

Onboarding zum Data Lake

Um KQL-Aufträge im Microsoft Sentinel-Datensee zu erstellen und zu verwalten, müssen Sie zuerst dem Datensee beitreten. Weitere Informationen zum Onboarding in den Datensee finden Sie unter Onboarding zum Microsoft Sentinel-Datensee.

Erlaubnisse

Microsoft Entra ID-Rollen bieten umfassenden Zugriff auf alle Arbeitsbereiche im Data Lake. Um Tabellen in allen Arbeitsbereichen zu lesen, in die Analyseebene zu schreiben und Aufträge mithilfe von KQL-Abfragen zu planen, müssen Sie über eine der unterstützten Microsoft Entra-ID-Rollen verfügen. Weitere Informationen zu Rollen und Berechtigungen finden Sie unter Microsoft Sentinel Data Lake-Rollen und -Berechtigungen.

Um neue benutzerdefinierte Tabellen auf der Analyseebene zu erstellen, weisen Sie die Rolle " Log Analytics-Mitwirkender " im Log Analytics-Arbeitsbereich der verwalteten Identität des Data Lake zu.

Führen Sie die folgenden Schritte aus, um die Rolle zuzuweisen:

1. Wechseln Sie im Azure-Portal zum Log Analytics-Arbeitsbereich, dem Sie die Rolle zuweisen möchten.
2. Wählen Sie im linken Navigationsbereich Zugriffssteuerung (IAM) aus.
3. Wählen Sie "Rollenzuweisung hinzufügen" aus.
4. Wählen Sie in der RollentabelleLog Analytics-Mitwirkender aus und dann "Weiter".
5. Wählen Sie "Verwaltete Identität" und dann " Mitglieder auswählen" aus.
6. Die verwaltete Identität Ihres Data Lake ist eine vom System zugewiesene verwaltete Identität mit dem Namen msg-resources-<guid>. Wählen Sie die verwaltete Identität und dann "Auswählen" aus.
7. Wählen Sie Überprüfen und zuweisen aus.

Weitere Informationen zum Zuweisen von Rollen zu verwalteten Identitäten finden Sie unter Zuweisen von Azure-Rollen mithilfe des Azure-Portals.

Einen Job erstellen

Sie können Aufträge erstellen, die nach einem Zeitplan oder einmal ausgeführt werden sollen. Wenn Sie einen Auftrag erstellen, geben Sie den Zielarbeitsbereich und die Tabelle für die Ergebnisse an. Sie können die Ergebnisse in eine neue Tabelle schreiben oder an eine vorhandene Tabelle auf der Analyseebene anfügen. Sie können einen neuen KQL-Auftrag erstellen oder einen Auftrag aus einer Vorlage erstellen, die die Abfrage- und Auftragseinstellungen enthält. Weitere Informationen finden Sie unter Erstellen eines KQL-Auftrags aus einer Vorlage.

1. Starten Sie den Auftragserstellungsprozess über den KQL-Abfrage-Editor oder über die Auftragsverwaltungsseite.

   1. Um einen Auftrag aus dem KQL-Abfrage-Editor zu erstellen, wählen Sie in der oberen rechten Ecke des Abfrage-Editors die Schaltfläche " Auftrag erstellen " aus.

   2. Um einen Auftrag auf der Seite "Auftragsverwaltung" zu erstellen, wählen Sie "Microsoft Sentinel>Data Lake Exploration>Aufträge " und dann die Schaltfläche " Auftrag erstellen " aus.

2. Geben Sie einen Auftragsnamen ein. Der Auftragsname muss für den Mandanten eindeutig sein. Auftragsnamen können bis zu 256 Zeichen enthalten. Sie können weder einen # noch einen - in einem Auftragsnamen verwenden.

3. Geben Sie eine Auftragsbeschreibung ein, die den Kontext und den Zweck des Auftrags bereitstellt.

4. Wählen Sie im Dropdownmenü "Arbeitsbereich auswählen" den Zielarbeitsbereich aus. Dieser Arbeitsbereich befindet sich auf der Analyseebene, in der Sie die Abfrageergebnisse schreiben möchten.

5. Wählen Sie die Zieltabelle aus:

   1. Um eine neue Tabelle zu erstellen, wählen Sie "Neue Tabelle erstellen " aus, und geben Sie einen Tabellennamen ein. Tabellen, die von KQL-Aufträgen erstellt werden, haben das Suffix _KQL_CL am Tabellennamen angefügt.

   2. Um eine vorhandene Tabelle anzufügen, wählen Sie "Zu einer vorhandenen Tabelle hinzufügen " aus, und wählen Sie den Tabellennamen in der Dropdownliste aus. Beim Hinzufügen zu einer vorhandenen Tabelle müssen die Abfrageergebnisse mit dem Schema der vorhandenen Tabelle übereinstimmen.

6. Wählen Sie Weiteraus.

7. Überprüfen oder schreiben Sie Ihre Abfrage im Bereich zum Vorbereiten der Abfrage. Überprüfen Sie, ob die Zeitauswahl auf den erforderlichen Zeitraum für den Auftrag festgelegt ist, wenn der Datumsbereich in der Abfrage nicht angegeben ist.

8. Wählen Sie die Arbeitsbereiche aus, für die die Abfrage aus der Dropdownliste "Ausgewählte Arbeitsbereiche" ausgeführt werden soll. Diese Arbeitsbereiche sind die Quellarbeitsbereiche, deren Tabellen Sie abfragen möchten. Die von Ihnen ausgewählten Arbeitsbereiche bestimmen die tabellen, die für die Abfrage verfügbar sind. Die ausgewählten Arbeitsbereiche gelten für alle Registerkarten im Abfrage-Editor. Bei Verwendung mehrerer Arbeitsbereiche wird der union() Operator standardmäßig auf Tabellen mit demselben Namen und Schema aus verschiedenen Arbeitsbereichen angewendet. Verwenden Sie den workspace() Operator, um eine Tabelle aus einem bestimmten Arbeitsbereich abzufragen, z. B workspace("MyWorkspace").AuditLogs. .

   Hinweis

   Wenn Sie in eine vorhandene Tabelle schreiben, muss die Abfrage Ergebnisse mit einem Schema zurückgeben, das dem Zieltabellenschema entspricht. Wenn die Abfrage keine Ergebnisse mit dem richtigen Schema zurückgibt, schlägt der Auftrag fehl, wenn sie ausgeführt wird.

9. Wählen Sie Weiteraus.

   

   Wählen Sie auf der Seite "Abfrageauftrag planen " aus, ob Sie den Auftrag einmal oder in einem Zeitplan ausführen möchten. Wenn Sie einmal auswählen, wird der Auftrag ausgeführt, sobald die Auftragsdefinition abgeschlossen ist. Wenn Sie "Zeitplan" auswählen, können Sie ein Datum und eine Uhrzeit angeben, zu dem der Auftrag ausgeführt werden soll, oder den Auftrag in einem terminserien Zeitplan ausführen.

10. Wählen Sie einen einmaligen oder geplanten Auftrag aus.

    Hinweis

    Durch das Bearbeiten eines einmaligen Auftrags wird die Ausführung sofort ausgelöst.

11. Wenn Sie "Zeitplan" ausgewählt haben, geben Sie die folgenden Details ein:

    1. Wählen Sie die Wiederholungshäufigkeit aus der Dropdownliste aus. Sie können " Nach Minute", "Stündlich", " Täglich", "Wöchentlich" oder "Monatlich" auswählen.
    2. Legen Sie den Wert "Wiederholen" fest, um festzulegen, wie oft der Auftrag in Bezug auf die ausgewählte Häufigkeit ausgeführt werden soll.
    3. Geben Sie unter "Zeitplan festlegen" die Datums- und Uhrzeitangaben "Von" ein. Die Anfangszeit des Auftrags im Feld Von muss mindestens 30 Minuten nach der Auftragserstellung betragen. Der Auftrag wird ab diesem Datum und dieser Uhrzeit nach der Häufigkeit ausgeführt, die im Dropdown-Menü Alle ausführen ausgewählt ist.
    4. Wählen Sie das An-Datum und die Uhrzeit aus, um anzugeben, wann der Auftragsterminplan abgeschlossen ist. Wenn der Zeitplan unbegrenzt fortgesetzt werden soll, wählen Sie "Auftrag festlegen" aus, der unbegrenzt ausgeführt werden soll.

    Die Zeiten des Auftrags von und bis werden für das Gebietsschema des Benutzers festgelegt.

    Hinweis

    Wenn Sie einen Auftrag für die Ausführung mit einer hohen Häufigkeit planen, z. B. alle 30 Minuten, müssen Sie die Zeit berücksichtigen, die für die Verfügbarkeit von Daten im Datensee benötigt wird. Es gibt in der Regel eine Latenz von bis zu 15 Minuten, bevor neu aufgenommene Daten für die Abfrage verfügbar sind.

12. Wählen Sie "Weiter" aus, um die Auftragsdetails zu überprüfen.

    

13. Überprüfen Sie die Auftragsdetails, und wählen Sie "Absenden" aus, um den Auftrag zu erstellen. Wenn der Auftrag ein einmaliger Auftrag ist, wird er ausgeführt, nachdem Sie "Absenden" ausgewählt haben. Wenn der Auftrag geplant ist, wird er der Liste der Aufträge auf der Seite " Aufträge " hinzugefügt und entsprechend den Startdaten und der Startzeit ausgeführt.

14. Der Job ist geplant, und die folgende Seite wird angezeigt. Sie können den Auftrag anzeigen, indem Sie den Link auswählen.

Erstellen eines Auftrags aus einer Vorlage

Sie können einen KQL-Auftrag aus einer vordefinierten Auftragsvorlage erstellen. Auftragsvorlagen enthalten die KQL-Abfrage- und Auftragseinstellungen, z. B. den Zielarbeitsbereich und die Tabelle, den Zeitplan und die Beschreibung. Sie können eigene Auftragsvorlagen erstellen oder integrierte Vorlagen verwenden, die von Microsoft bereitgestellt werden.

Führen Sie die folgenden Schritte aus, um einen Auftrag aus einer Vorlage zu erstellen:

1. Wählen Sie auf der Seite "Aufträge " oder im KQL-Abfrage-Editor " Auftrag erstellen" und dann " Aus Vorlage erstellen" aus.

2. Wählen Sie auf der Seite "Auftragsvorlagen " die Vorlage aus, die Sie aus der Liste der verfügbaren Vorlagen verwenden möchten.

3. Überprüfen Sie die Beschreibung und KQL-Abfrage aus der Vorlage.

4. Wählen Sie "Auftrag aus Vorlage erstellen" aus.

   

5. Der Assistent zur Erstellung von Jobs öffnet sich mit der Seite Erstellen Sie einen neuen KQL-Job. Die Details des Jobs werden aus der Vorlage vorausgefüllt, mit Ausnahme des Zielarbeitsbereichs.

6. Wählen Sie den Zielarbeitsbereich aus der Dropdownliste " Arbeitsbereich auswählen " aus.

7. Prüfen und ändern Sie die Job-Details nach Bedarf und wählen Sie dann Weiter, um mit dem Assistenten zur Auftragserstellung fortzufahren.

8. Die verbleibenden Schritte sind identisch mit dem Erstellen eines neuen Auftrags. Die Felder werden aus der Vorlage vorab aufgefüllt und können nach Bedarf geändert werden. Weitere Informationen finden Sie unter Erstellen eines Auftrags.

Die folgenden Vorlagen sind verfügbar:

Überlegungen und Einschränkungen

Berücksichtigen Sie beim Erstellen von Aufträgen im Microsoft Sentinel-Datensee die folgenden Einschränkungen und bewährten Methoden:

KQL

• Alle KQL-Operatoren und -Funktionen werden mit Ausnahme der folgenden Optionen unterstützt:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• Wenn Sie den stored_query_results Befehl verwenden, geben Sie den Zeitraum in der KQL-Abfrage an. Die Zeitauswahl über dem Abfrage-Editor funktioniert nicht mit diesem Befehl.

• Benutzerdefinierte Funktionen werden nicht unterstützt.

Arbeitsplätze

• Auftragsnamen müssen für den Mandanten eindeutig sein.
• Auftragsnamen können bis zu 256 Zeichen lang sein.
• Auftragsnamen dürfen keinen # oder - enthalten.
• Die Startzeit des Auftrags muss mindestens 30 Minuten nach der Auftragserstellung oder Bearbeitung betragen.

Latenzzeit bei der Daten-Lake-Einbindung

Die Data Lake-Ebene speichert Daten im Kaltspeicher. Im Gegensatz zu heißen oder nahezu echtzeitbasierten Analyseebenen ist der Kaltspeicher für die langfristige Aufbewahrung und Kosteneffizienz optimiert und bietet keinen sofortigen Zugriff auf neu aufgenommene Daten. Wenn neue Zeilen zu vorhandenen Tabellen im Datensee hinzugefügt werden, gibt es eine typische Latenz von bis zu 15 Minuten, bevor die Daten für die Abfrage verfügbar sind. Berücksichtigen Sie die Aufnahmelatenz, wenn Sie Abfragen ausführen und KQL-Aufträge planen, indem Sie sicherstellen, dass Lookbackfenster und Auftragszeitpläne konfiguriert sind, um noch nicht verfügbare Daten zu vermeiden.

Um das Abfragen von Daten zu vermeiden, die möglicherweise noch nicht verfügbar sind, schließen Sie einen Verzögerungsparameter in Ihre KQL-Abfragen oder Aufträge ein. Wenn Sie beispielsweise automatisierte Aufträge planen, legen Sie die Endzeit der Abfrage so now() - delayfest, dass delay sie mit der typischen Datenbereitschaftslatenz von 15 Minuten übereinstimmt. Dieser Ansatz stellt sicher, dass Abfragen nur Zieldaten abfragen, die vollständig aufgenommen und für die Analyse bereit sind.

let lookback = 15m;
let delay = 15m;
let endTime = now() - delay;
let startTime = endTime - lookback;
CommonSecurityLog
| where TimeGenerated between (startTime .. endTime)

Dieser Ansatz ist für Aufträge mit kurzen Lookbackfenstern oder häufigen Ausführungsintervallen effektiv.

Erwägen Sie, den Lookbackzeitraum mit der Auftragshäufigkeit zu überlappen, um das Risiko zu verringern, dass verspätet eingehende Daten fehlen.

Weitere Informationen finden Sie unter Umgang mit der Verzögerung bei der Erfassung in zeitgesteuerten Analyseregeln.

Spaltennamen

Die folgenden Standardspalten werden für den Export nicht unterstützt. Der Ingestionsprozess überschreibt in der Zielstufe diese Spalten.

• Mieter-ID

• _TimeReceived

• Typ

• SourceSystem

• _ResourceId

• _Abonnement-ID

• _ItemId

• _BilledSize

• _IstAbrechnungsfähig

• _WorkspaceId

• TimeGenerated wird überschrieben, wenn es älter als zwei Tage ist. Um die ursprüngliche Ereigniszeit beizubehalten, schreiben Sie den Quellzeitstempel in eine separate Spalte.

Informationen zu Dienstgrenzwerten finden Sie unter Microsoft Sentinel Data Lake Service Limits.

Dienstparameter und Grenzwerte für KQL-Aufträge

In der folgenden Tabelle sind die Dienstparameter und Grenzwerte für KQL-Aufträge im Microsoft Sentinel-Datensee aufgeführt.

Tipps zur Problembehandlung und Fehlermeldungen finden Sie unter Problembehandlung bei KQL-Abfragen für den Microsoft Sentinel-Datensee.

Verwandte Inhalte

• Verwalten von Aufträgen im Microsoft Sentinel-Datensee
• Übersicht über Microsoft Sentinel-Datensee
• KQL-Abfragen im Microsoft Sentinel-Datensee
• Jupyter-Notizbücher und der Microsoft Sentinel-Datensee