Tworzenie zadań KQL w usłudze Microsoft Sentinel data lake

Zadania KQL to jednorazowe lub zaplanowane zapytania KQL dotyczące danych w data lake usługi Microsoft Sentinel. Używaj zadań w scenariuszach śledczych i analitycznych, takich jak:

• Długotrwałe jednorazowe zapytania dotyczące badania zdarzeń i reagowania na zdarzenia (IR)
• Zadania agregacji danych obsługujące przepływy pracy wzbogacania przy użyciu dzienników o niskiej wierności
• Historyczne skanowania analizy zagrożeń (TI) na potrzeby analizy retrospektywnej
• Skanowania wykrywania anomalii identyfikujące nietypowe wzorce w wielu tabelach

Zadania KQL są szczególnie skuteczne, gdy zapytania używają sprzężeń lub związków w różnych zestawach danych.

Użyj zadań, aby przenieść dane z warstwy data lake do warstwy analityki. Po przejściu do warstwy analitycznej użyj edytora KQL do zaawansowanego wyszukiwania zagrożeń, aby wykonywać zapytania dotyczące danych. Podwyższenie poziomu danych do warstwy analizy ma następujące korzyści:

• Połącz bieżące i historyczne dane w warstwie analizy, aby uruchamiać zaawansowane modele analizy i uczenia maszynowego na danych.
• Zmniejsz koszty zapytań, uruchamiając zapytania w warstwie analizy.
• Łączenie danych z wielu obszarów roboczych do jednego obszaru roboczego w warstwie analizy.
• Połącz dane microsoft Entra ID, Microsoft 365 i Microsoft Resource Graph w warstwie analizy, aby uruchomić zaawansowaną analizę między źródłami danych.

Możesz podwyższyć poziom danych do nowej tabeli lub dołączyć wyniki do istniejącej tabeli w warstwie analizy. Podczas tworzenia nowej tabeli nazwa tabeli jest sufiksowana _KQL_CL wskazująca, że tabela została utworzona przez zadanie KQL.

Wymagania wstępne

Do tworzenia zadań KQL i zarządzania nimi w usłudze Data Lake usługi Microsoft Sentinel potrzebne są następujące wymagania wstępne.

Dołączanie do usługi Data Lake

Aby utworzyć zadania KQL i zarządzać nimi w usłudze Data Lake usługi Microsoft Sentinel, musisz najpierw dołączyć do usługi Data Lake. Aby uzyskać więcej informacji na temat dołączania do usługi Data Lake, zobacz Dołączanie do usługi Data Lake usługi Microsoft Sentinel.

Uprawnienia

Role Microsoft Entra ID zapewniają szeroki dostęp we wszystkich przestrzeniach roboczych w zbiorniku danych. Aby odczytywać tabele we wszystkich obszarach roboczych, zapisywać w warstwie analizy i planować zadania przy użyciu zapytań KQL, musisz mieć jedną z obsługiwanych ról Microsoft Entra ID. Aby uzyskać więcej informacji na temat ról i uprawnień, zobacz Role i uprawnienia usługi Data Lake usługi Microsoft Sentinel.

Aby utworzyć nowe tabele niestandardowe w warstwie analizy, przypisz rolę Współautor usługi Log Analytics w obszarze roboczym usługi Log Analytics do tożsamości zarządzanej usługi Data Lake.

Aby przypisać rolę, wykonaj następujące kroki:

1. W witrynie Azure Portal przejdź do obszaru roboczego usługi Log Analytics, do którego chcesz przypisać rolę.
2. Wybierz pozycję Kontrola dostępu (Zarządzanie dostępem i tożsamościami) w okienku nawigacji po lewej stronie.
3. Wybierz Dodaj przypisanie roli.
4. W tabeli Rola wybierz pozycję *Współautor usługi Log Analytics, a następnie wybierz pozycję Dalej.
5. Wybierz pozycję Tożsamość zarządzana, a następnie wybierz pozycję Wybierz członków.
6. Tożsamość zarządzana usługi Data Lake to przypisana przez system tożsamość zarządzana o nazwie msg-resources-<guid>. Wybierz tożsamość zarządzaną, a następnie wybierz opcję Wybierz.
7. Wybierz pozycję Przejrzyj i przypisz.

Aby uzyskać więcej informacji na temat przypisywania ról do tożsamości zarządzanych, zobacz Przypisywanie ról platformy Azure przy użyciu witryny Azure Portal.

Utwórz pracę

Można tworzyć zadania do uruchamiania zgodnie z harmonogramem lub jednorazowo. Podczas tworzenia zadania należy określić docelowy obszar roboczy i tabelę dla wyników. Wyniki można zapisać w nowej tabeli lub dołączyć je do istniejącej tabeli w warstwie analizy. Możesz utworzyć nowe zadanie KQL lub utworzyć zadanie na podstawie szablonu zawierającego ustawienia zapytania i zadania. Aby uzyskać więcej informacji, zobacz Tworzenie zadania KQL na podstawie szablonu.

1. Uruchom proces tworzenia zadania z poziomu edytora zapytań KQL lub na stronie zarządzania zadaniami.

   1. Aby utworzyć zadanie w edytorze zapytań KQL, wybierz przycisk Utwórz zadanie w prawym górnym rogu edytora zapytań.

   2. Aby utworzyć zadanie na stronie zarządzania zadaniami, wybierz pozycję Microsoft Sentinel>Eksploracja jeziora danych>Zadania, a następnie wybierz przycisk Utwórz zadanie.

2. Wprowadź nazwę zadania. Nazwa zadania musi być unikatowa dla najemcy. Nazwy zadań mogą zawierać maksymalnie 256 znaków. Nie można użyć # lub - w nazwie zadania.

3. Wprowadź opis zadania , podając kontekst i przeznaczenie zadania.

4. Z listy rozwijanej Wybierz obszar roboczy wybierz docelowy obszar roboczy. Ten obszar roboczy znajduje się w warstwie analizy, w której chcesz napisać wyniki zapytania.

5. Wybierz tabelę docelową:

   1. Aby utworzyć nową tabelę, wybierz pozycję Utwórz nową tabelę i wprowadź nazwę tabeli. Tabele utworzone przez zadania KQL mają sufiks _KQL_CL dołączany do nazwy tabeli.

   2. Aby dołączyć do istniejącej tabeli, wybierz pozycję Dodaj do istniejącej tabeli i wybierz nazwę tabeli z listy rozwijanej. Podczas dodawania do istniejącej tabeli wyniki zapytania muszą być zgodne ze schematem istniejącej tabeli.

6. Wybierz Dalej.

7. Przejrzyj lub napisz zapytanie w panelu Przygotowywanie zapytania . Sprawdź, czy selektor czasu jest ustawiony na wymagany zakres czasu dla zadania, jeśli zakres dat nie jest określony w zapytaniu.

8. Wybierz obszary robocze, dla których chcesz uruchomić zapytanie z listy rozwijanej Wybrane obszary robocze . Te obszary robocze to źródłowe obszary robocze, z których tabel chcesz wykonywać zapytania. Wybrane obszary robocze określają tabele dostępne do wykonywania zapytań. Wybrane obszary robocze mają zastosowanie do wszystkich kart zapytań w edytorze zapytań. W przypadku korzystania z wielu obszarów roboczych union() operator jest domyślnie stosowany do tabel o tej samej nazwie i schemacie z różnych obszarów roboczych. Użyj operatora , workspace() aby wysłać zapytanie do tabeli z określonego obszaru roboczego, na przykład workspace("MyWorkspace").AuditLogs.

   Uwaga / Notatka

   Jeśli piszesz do istniejącej tabeli, zapytanie musi zwracać wyniki ze schematem zgodnym ze schematem tabeli docelowej. Jeśli zapytanie nie zwraca wyników z poprawnym schematem, zadanie zakończy się niepowodzeniem po uruchomieniu.

9. Wybierz Dalej.

   

   Na stronie Planowanie zadania zapytania wybierz, czy chcesz uruchomić zadanie raz, czy zgodnie z harmonogramem. Jeśli wybierzesz pozycję Jeden raz, zadanie zostanie uruchomione natychmiast po zakończeniu definicji zadania. W przypadku wybrania pozycji Harmonogram możesz określić datę i godzinę uruchomienia zadania lub uruchomić zadanie zgodnie z harmonogramem cyklicznym.

10. Wybierz Jednorazowo lub Zaplanowane zadanie.

    Uwaga / Notatka

    Edytowanie jednorazowego zadania natychmiast wyzwala jego wykonanie.

11. W przypadku wybrania opcji Harmonogram wprowadź następujące szczegóły:

    1. Wybierz częstotliwość powtarzania z listy rozwijanej. Możesz wybrać pozycję Według minuty, godzinowo, Codziennie, Co tydzień lub Co miesiąc.
    2. Ustaw wartość Powtarzaj każdą wartość dla częstotliwości uruchamiania zadania w odniesieniu do wybranej częstotliwości.
    3. W obszarze Ustaw harmonogram wprowadź wartość Od dat i godziny. Czas rozpoczęcia zadania w polu Od musi być co najmniej 30 minut po utworzeniu zadania. Zadanie jest uruchamiane z tej daty i godziny zgodnie z częstotliwością wybraną na liście rozwijanej Uruchom każde .
    4. Wybierz datę i godzinę Do, aby określić koniec harmonogramu zadań. Jeśli chcesz, aby harmonogram był kontynuowany na czas nieokreślony, wybierz pozycję Ustaw zadanie do uruchomienia na czas nieokreślony.

    Godziny rozpoczęcia i zakończenia zadania są ustawiane zgodnie z ustawieniami regionalnymi użytkownika.

    Uwaga / Notatka

    Jeśli planujesz uruchamianie zadania z wysoką częstotliwością, na przykład co 30 minut, musisz wziąć pod uwagę czas potrzebny na udostępnienie danych w usłudze Data Lake. Zwykle występuje opóźnienie do 15 minut przed udostępnieniem nowo pozyskanych danych na potrzeby wykonywania zapytań.

12. Wybierz przycisk Dalej , aby przejrzeć szczegóły zadania.

    

13. Przejrzyj szczegóły zadania i wybierz pozycję Prześlij , aby utworzyć zadanie. Jeśli zadanie jest jednorazowym zadaniem, zostanie uruchomione po wybraniu pozycji Prześlij. Jeśli zadanie jest zaplanowane, zostanie dodane do listy zadań na stronie Zadania i jest uruchamiane zgodnie z danymi i godzinami rozpoczęcia.

14. Zadanie jest zaplanowane i zostanie wyświetlona następująca strona. Zadanie można wyświetlić, wybierając link.

Tworzenie zadania na podstawie szablonu

Zadanie KQL można utworzyć na podstawie wstępnie zdefiniowanego szablonu zadania. Szablony zadań zawierają zapytanie KQL i ustawienia zadania, takie jak docelowy obszar roboczy i tabela, harmonogram i opis. Możesz utworzyć własne szablony zadań lub użyć wbudowanych szablonów udostępnianych przez firmę Microsoft.

Aby utworzyć zadanie na podstawie szablonu, wykonaj następujące kroki:

1. Na stronie Zadania lub edytorze zapytań języka KQL wybierz pozycję Utwórz zadanie, a następnie wybierz pozycję Utwórz na podstawie szablonu.

2. Na stronie Szablony zadań wybierz szablon, którego chcesz użyć z listy dostępnych szablonów.

3. Przejrzyj Opis i zapytanie KQL z szablonu.

4. Wybierz Utwórz pracę z szablonu.

   

5. Kreator tworzenia zadania otwiera się na stronie Tworzenie nowego zadania KQL. Szczegóły zadania wypełniono wstępnie z szablonu, z wyjątkiem docelowego obszaru roboczego.

6. Wybierz docelowy obszar roboczy z listy rozwijanej Wybierz obszar roboczy .

7. Przejrzyj i zmodyfikuj szczegóły zadania zgodnie z potrzebami, a następnie wybierz przycisk Dalej , aby przejść przez kreatora tworzenia zadania.

8. Pozostałe kroki są takie same jak tworzenie nowego zadania. Pola są wstępnie wypełniane z szablonu i można je modyfikować w razie potrzeby. Aby uzyskać więcej informacji, zobacz Tworzenie zadania.

Dostępne są następujące szablony:

Uwagi i ograniczenia

Podczas tworzenia zadań w usłudze Data Lake usługi Microsoft Sentinel należy wziąć pod uwagę następujące ograniczenia i najlepsze rozwiązania:

KQL

• Wszystkie operatory i funkcje KQL są obsługiwane z wyjątkiem następujących elementów:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• Jeśli używasz stored_query_results polecenia , podaj zakres czasu w zapytaniu KQL. Selektor czasu powyżej edytora zapytań nie działa z tym poleceniem.

• Funkcje zdefiniowane przez użytkownika nie są obsługiwane.

Zadania

• Nazwy zadań muszą być unikatowe dla najemcy.
• Nazwy zadań mogą zawierać maksymalnie 256 znaków.
• Nazwy zadań nie mogą zawierać elementu # ani -.
• Czas rozpoczęcia zadania musi być co najmniej 30 minut po utworzeniu lub edytowaniu zadania.

Opóźnienie ładowania danych do Data Lake

Warstwa data lake przechowuje dane w zimnym magazynie. W przeciwieństwie do warstw analizy gorącej lub niemal w czasie rzeczywistym, zimna pamięć masowa jest zoptymalizowana pod kątem długoterminowego przechowywania i efektywności kosztowej oraz nie zapewnia natychmiastowego dostępu do nowo pozyskanych danych. Po dodaniu nowych wierszy do istniejących tabel w usłudze Data Lake występuje typowe opóźnienie do 15 minut, zanim dane będą dostępne do wykonywania zapytań. Uwzględnij opóźnienie pozyskiwania podczas uruchamiania zapytań i planowania zadań KQL, upewniając się, że okna wyszukiwania zwrotnego i harmonogramy zadań są skonfigurowane w celu uniknięcia danych, które nie są jeszcze dostępne.

Aby uniknąć wykonywania zapytań dotyczących danych, które mogą nie być jeszcze dostępne, uwzględnij parametr opóźnienia w zapytaniach lub zadaniach języka KQL. Na przykład podczas planowania zautomatyzowanych zadań ustaw czas zakończenia zapytania na now() - delay, gdzie delay odpowiada typowemu opóźnieniu gotowości danych na 15 minut. Takie podejście zapewnia, że zapytania będą dotyczyć tylko danych docelowych, które są w pełni pozyskiwane i gotowe do analizy.

let lookback = 15m;
let delay = 15m;
let endTime = now() - delay;
let startTime = endTime - lookback;
CommonSecurityLog
| where TimeGenerated between (startTime .. endTime)

Takie podejście jest skuteczne w przypadku zadań z krótkimi oknami czasowymi lub częstymi cyklami wykonywania.

Rozważ nakładanie się okresu wyszukiwania z częstotliwością zadań, aby zmniejszyć ryzyko braku opóźnionych danych.

Aby uzyskać więcej informacji, zobacz Obsługa opóźnień pozyskiwania w zaplanowanych regułach analizy.

Nazwy kolumn

Następujące standardowe kolumny nie są obsługiwane w przypadku eksportu. Proces przetwarzania zastępuje te kolumny w warstwie docelowej:

• Identyfikator najemcy

• _CzasOtrzymania

• Typ

• System źródłowy

• _ResourceId (Identyfikator Zasobu)

• _SubscriptionId (Identyfikator subskrypcji)

• _ItemId

• _RozmiarRachunku

• _PodlegaFakturowaniu

• _WorkspaceId

• TimeGenerated jest zastępowany, jeśli jest starszy niż dwa dni. Aby zachować oryginalny czas zdarzenia, zapisz sygnaturę czasową źródła w oddzielnej kolumnie.

Aby uzyskać informacje o limitach usług, zobacz Microsoft Sentinel data lake service limits (Limity usługi Data Lake w usłudze Microsoft Sentinel).

Parametry i limity usługi dla zadań KQL

W poniższej tabeli wymieniono parametry usługi i limity dla zadań KQL w usłudze Data Lake usługi Microsoft Sentinel.

Aby uzyskać porady dotyczące rozwiązywania problemów i komunikaty o błędach, zobacz Rozwiązywanie problemów z zapytaniami KQL dla usługi Data Lake usługi Microsoft Sentinel.

Treści powiązane

• Zarządzanie zadaniami w usłudze Data Lake usługi Microsoft Sentinel
• Omówienie usługi Microsoft Sentinel Data Lake
• Zapytania KQL w Microsoft Sentinel Data Lake
• Notatniki Jupyter oraz zbiornik danych Microsoft Sentinel