Udostępnij przez

KQL i magazyn data lake usługi Microsoft Sentinel

Za pomocą jeziora danych Microsoft Sentinel można przechowywać i analizować dużą ilość dzienników o niskiej wierności, takich jak dane zapory sieciowej lub DNS, zapasy zasobów oraz rekordy historyczne przez maksymalnie 12 lat. Ponieważ magazyn i obliczenia są oddzielone, możesz wykonywać zapytania dotyczące tej samej kopii danych przy użyciu wielu narzędzi bez przenoszenia ani duplikowania.

Dane w usłudze Data Lake można eksplorować przy użyciu języka Kusto Query Language (KQL) i notesów Jupyter Notebook, aby obsługiwać szeroką gamę scenariuszy, od wyszukiwania zagrożeń i badań po wzbogacanie i uczenie maszynowe.

W tym artykule przedstawiono podstawowe pojęcia i scenariusze eksploracji usługi Data Lake, wyróżniono typowe przypadki użycia i pokazano, jak korzystać z danych przy użyciu znanych narzędzi.

Interaktywne zapytania KQL

Użyj języka Kusto Query Language (KQL), aby uruchamiać interakcyjne zapytania bezpośrednio w usłudze Data Lake w wielu obszarach roboczych.

Korzystając z języka KQL, analitycy mogą wykonywać następujące czynności:

  • Badanie danych historycznych i reagowanie na nie: użyj długoterminowych danych w usłudze Data Lake, aby zebrać dowody kryminalistyczne, zbadać incydent, wykryć wzorce i reagować na zdarzenia.
  • Wzbogacaj dochodzenia przy użyciu dużej ilości dzienników: korzystaj z hałaśliwych lub danych o niskiej wierności przechowywanych w Data Lake, aby nadać kontekst i głębię dochodzeniom w zakresie zabezpieczeń.
  • Korelowanie danych zasobów i dzienników w usłudze Data Lake: Wykonywanie zapytań dotyczących spisów zasobów i dzienników tożsamości w celu połączenia aktywności użytkownika z zasobami i odkrywania szerszego ataku.

Użyj zapytań KQL do eksploracji Data Lake w obszarze > w portalu Defender, aby uruchamiać interakcyjne zapytania KQL ad hoc bezpośrednio na danych długoterminowych. Eksploracja usługi Data Lake jest dostępna po zakończeniu procesu dołączania . Zapytania KQL są idealne dla analityków SOC badających zdarzenia, w których dane mogą już nie znajdować się w warstwie analizy. Zapytania umożliwiają analizę kryminalistyczną przy użyciu znanych zapytań bez ponownego pisania kodu. Aby rozpocząć pracę z zapytaniami KQL, zobacz Eksploracja usługi Data Lake — zapytania KQL.

Zadania KQL

Zadania KQL to jednorazowe lub zaplanowane asynchroniczne zapytania KQL dotyczące danych w usłudze Data Lake usługi Microsoft Sentinel. Zadania są przydatne na przykład w scenariuszach śledczych i analitycznych;

  • Długotrwałe jednorazowe zapytania dotyczące badania zdarzeń i reagowania na zdarzenia (IR)
  • Zadania agregacji danych obsługujące przepływy pracy wzbogacania przy użyciu dzienników o niskiej wierności
  • Historyczne skanowania analizy zagrożeń (TI) na potrzeby analizy retrospektywnej
  • Skanowania wykrywania anomalii identyfikujące nietypowe wzorce w wielu tabelach
  • Podwyższ poziom danych z usługi Data Lake do warstwy analizy, aby umożliwić badanie zdarzeń lub korelację dziennika.

Uruchamianie jednorazowych zadań KQL w usłudze Data Lake w celu podwyższenia poziomu określonych danych historycznych z warstwy data lake do warstwy analizy lub utworzenia niestandardowych tabel podsumowań w warstwie typu data lake. Promowanie danych jest przydatne w przypadku analizy źródłowej przyczyny lub wykrywania incydentów typu zero-day podczas badania zdarzeń wykraczających poza zakres czasowy warstwy analizy. Prześlij zaplanowane zadanie w usłudze Data Lake, aby zautomatyzować cykliczne zapytania w celu wykrywania anomalii lub tworzenia punktów odniesienia przy użyciu danych historycznych. Łowcy zagrożeń mogą tego używać do monitorowania nietypowych wzorców w czasie i wprowadzania wyników do systemów wykrywania lub na dashboardy. Aby uzyskać więcej informacji, zobacz Tworzenie zadań w usłudze Data Lake usługi Microsoft Sentinel i Zarządzanie zadaniami w usłudze Data Lake usługi Microsoft Sentinel.

Scenariusze eksploracji

W poniższych scenariuszach pokazano, jak zapytania KQL w usłudze Data Lake usługi Microsoft Sentinel mogą służyć do rozszerzania operacji zabezpieczeń:

Scenariusz Szczegóły Przykład
Badanie zdarzeń zabezpieczeń przy użyciu długoterminowych danych historycznych Zespoły ds. zabezpieczeń często muszą wykraczać poza domyślne okno przechowywania, aby odkryć pełny zakres zdarzenia. Analityk SOC poziomu 3 badający atak typu brute force używa zapytań KQL do przeszukiwania data lake w celu znalezienia danych starszych niż 90 dni. Po zidentyfikowaniu podejrzanych działań z ponad roku temu analityk promuje wyniki w warstwie analizy w celu dokładniejszej analizy i korelacji incydentów.
Wykrywanie anomalii i tworzenie planów bazowych zachowań w czasie Inżynierowie wykrywania polegają na danych historycznych w celu ustanowienia punktów odniesienia i zidentyfikowania wzorców, które mogą wskazywać na złośliwe zachowanie. Inżynier wykrywania analizuje dzienniki logowania w ciągu kilku miesięcy, aby wykryć wzrost aktywności. Planując zadanie KQL w usłudze Data Lake, tworzą bazowy punkt odniesienia dla szeregów czasowych i ujawniają wzorzec zgodny z nadużyciem poświadczeń.
Wzbogacanie dochodzeń przy użyciu dzienników o dużym wolumenie i niskiej wierności Niektóre logi są zbyt hałaśliwe lub obszerne dla warstwy analitycznej, ale wciąż mają wartość dla analizy kontekstowej. Analitycy SOC używają języka KQL do wykonywania zapytań dotyczących dzienników sieci i zapory przechowywanych tylko w usłudze Data Lake. Te logi, choć znajdują się poza warstwą analizy, pomagają weryfikować alerty i dostarczać wspierające dowody podczas badania.
Odpowiadaj na pojawiające się zagrożenia dzięki elastycznemu tierowaniu danych Gdy pojawi się nowa analiza zagrożeń, analitycy muszą szybko uzyskiwać dostęp do danych historycznych i wykonywać na nie działania. Analityk analizy zagrożeń reaguje na nowo opublikowany raport analizy zagrożeń, uruchamiając sugerowane zapytania KQL w usłudze Data Lake. Po odnalezieniu odpowiednich działań sprzed kilku miesięcy wymagany dziennik jest awansowany do poziomu analizy. Aby włączyć wykrywanie w czasie rzeczywistym na potrzeby przyszłych wykryć, zasady warstwowania można dostosować w odpowiednich tabelach w celu odwzorowywania najnowszych logów w warstwie analizy.
Eksplorowanie danych zasobów ze źródeł poza tradycyjnymi dziennikami zabezpieczeń Wzbogacanie badania przy użyciu spisu zasobów, takich jak obiekty Microsoft Entra ID i zasoby platformy Azure. Analitycy mogą używać języka KQL do wykonywania zapytań dotyczących informacji o tożsamości i zasobach zasobów, takich jak użytkownicy identyfikatora Entra firmy Microsoft, aplikacje, grupy lub spisy zasobów platformy Azure, aby skorelować dzienniki w szerszym kontekście, który uzupełnia istniejące dane zabezpieczeń.

Treści powiązane

  • Last updated on