Agregowanie danych usługi Microsoft Sentinel przy użyciu reguł podsumowania

Use summary rules in Microsoft Sentinel to aggregate large sets of data in the background for a smoother security operations experience across all log tiers. Dane podsumowania są wstępnie skompilowane w niestandardowych tabelach dzienników i zapewniają szybką wydajność zapytań, w tym zapytania uruchamiane na danych pochodzących z warstw dziennika o niskich kosztach. Reguły podsumowania mogą pomóc w optymalizacji danych pod kątem:

• Analiza i raporty, szczególnie w przypadku dużych zestawów danych i zakresów czasu, zgodnie z wymaganiami analizy zabezpieczeń i zdarzeń, raportów biznesowych z miesiąca do miesiąca lub rocznego itd.
• Cost savings on verbose logs, which you can retain for as little or as long as you need in a less expensive log tier, and send as summarized data only to an Analytics table for analysis and reports.
• Bezpieczeństwo i prywatność danych, usuwając lub zaciemniając szczegóły prywatności w podsumowanych udostępnionych danych i ograniczając dostęp do tabel z nieprzetworzonymi danymi.

Microsoft Sentinel stores summary rule results in custom tables with the Analytics data plan. Aby uzyskać więcej informacji na temat planów danych i kosztów magazynowania, zobacz Plany tabel dzienników.

W tym artykule wyjaśniono, jak utworzyć reguły podsumowania lub wdrożyć wstępnie utworzone szablony reguł podsumowania w usłudze Microsoft Sentinel oraz przedstawiono przykłady typowych scenariuszy używania reguł podsumowania.

Prerequisites

Aby utworzyć reguły podsumowania w usłudze Microsoft Sentinel:

• Usługa Microsoft Sentinel musi być włączona w co najmniej jednym obszarze roboczym i aktywnie korzystać z dzienników.

• Aby uzyskać dostęp do usługi Microsoft Sentinel, musisz mieć uprawnienia współautora usługi Microsoft Sentinel . Aby uzyskać więcej informacji, zobacz Role i uprawnienia w usłudze Microsoft Sentinel.

• Aby utworzyć reguły podsumowania w portalu usługi Microsoft Defender, musisz najpierw dołączyć obszar roboczy do portalu usługi Defender. Aby uzyskać więcej informacji, zobacz Łączenie usługi Microsoft Sentinel z portalem usługi Microsoft Defender.

Zalecamy eksperymentowanie z zapytaniem reguły podsumowania na stronie Dzienniki przed utworzeniem reguły. Verify that the query doesn't reach or near the query limit, and check that the query produces the intended schema and expected results. Jeśli zapytanie znajduje się blisko limitów zapytań, rozważ użycie mniejszej binSize ilości danych na pojemnik. Możesz również zmodyfikować zapytanie, aby zwrócić mniej rekordów lub usunąć pola z większą liczbą woluminów.

Tworzenie nowej reguły podsumowania

Utwórz nową regułę podsumowania, aby zagregować określony duży zestaw danych do tabeli dynamicznej. Skonfiguruj częstotliwość reguł, aby określić częstotliwość aktualizowania zagregowanego zestawu danych na podstawie danych pierwotnych.

1. Otwórz kreatora reguł podsumowania:

   • W portalu usługi Defender wybierz pozycję Reguły podsumowania konfiguracji > usługi Microsoft Sentinel>.

   • For example: For example:

     

2. Select + Create and enter the following details:

   • Name. Wprowadź zrozumiałą nazwę reguły.

   • Description. Wprowadź opcjonalny opis.

   • Destination table. Zdefiniuj niestandardową tabelę dziennika, w której dane są agregowane:

     • Jeśli wybierzesz pozycję Istniejąca niestandardowa tabela dzienników, wybierz tabelę, której chcesz użyć.

     • Jeśli wybierzesz pozycję Nowa niestandardowa tabela dzienników, wprowadź zrozumiałą nazwę tabeli. Pełna nazwa tabeli używa następującej składni: <tableName>_CL.

3. We recommend that you enable SummaryLogs diagnostic settings on your workspace to get visibility for historical runes and failures. If SummaryLogs diagnostic settings aren't enabled, you're prompted to enable them in the Diagnostic settings area.

   If SummaryLogs diagnostic settings are already enabled, but you want to modify the settings, select Configure advanced diagnostic settings. Po powrocie do strony Kreatora reguł podsumowania upewnij się, że wybierzesz Odśwież, aby zaktualizować szczegóły ustawień.

   Important

   The SummaryLogs diagnostic setting has additional costs. Aby uzyskać więcej informacji, zobacz Ustawienia diagnostyczne w usłudze Azure Monitor.

4. Wybierz pozycję Dalej: ustaw logikę podsumowania > , aby kontynuować.

5. Na stronie Ustawianie logiki podsumowania wprowadź swoje zapytanie podsumowujące. Na przykład aby podsumować dane z platformy Google Cloud Platform, możesz wprowadzić następujące dane:

   GCPAuditLogs
   | where ServiceName == 'pubsub.googleapis.com'
   | summarize count() by Severity
   

   Aby uzyskać więcej informacji, zobacz Przykładowe scenariusze reguł podsumowania i Język zapytań Kusto (KQL) w usłudze Azure Monitor.

6. Select Preview results to show an example of the data you'd collect with the configured query.

7. In the Query scheduling area, define the following details:

   • Jak często chcesz uruchomić regułę
   • Niezależnie od tego, czy reguła ma być uruchamiana z jakimkolwiek opóźnieniem, w minutach
   • Gdy chcesz, aby reguła zaczęła działać

   Czasy zdefiniowane w harmonogramie są oparte na timegenerated kolumnie w danych

8. Wybierz Dalej: Przegląd + utwórz >>Zapisz, aby ukończyć regułę podsumowania.

Dla każdej reguły wybierz menu opcji na końcu wiersza, aby wykonać dowolną z następujących akcji: For each rule, select the options menu at the end of the row to take any of the following actions:

• View the rule's current data in the Logs page, as if you were to run the query immediately
• Wyświetlanie historii uruchamiania wybranej reguły
• Wyłącz lub włącz regułę.
• Edytowanie konfiguracji reguły

To delete a rule, select the rule row and then select Delete in the toolbar at the top of the page.

Wdrażanie wstępnie utworzonych szablonów reguł podsumowania

Szablony reguł podsumowania to wstępnie utworzone reguły podsumowania, które można wdrożyć as-is lub dostosować do własnych potrzeb.

Aby wdrożyć szablon reguły podsumowania:

1. Open the Content hub and filter Content type by Summary rules to view the available summary rule templates.

   

2. Wybierz szablon reguły podsumowania.

   Zostanie otwarty panel z informacjami o szablonie reguły podsumowania, w których są wyświetlane pola, takie jak opis, zapytanie sumaryczne i tabela docelowa.

   

3. Select Install to install the template.

4. Select the Templates tab on the Summary rules page, and select the summary rule you installed.

   

5. Select Create to open the Summary rule wizard, where all of the fields are prepopulated.

6. Go through the Summary rule wizard and select Save to deploy the summary rule.

   Aby uzyskać więcej informacji na temat kreatora reguły podsumowania, zobacz Tworzenie nowej reguły podsumowania.

Przykładowe scenariusze reguł podsumowania w usłudze Microsoft Sentinel

W tej sekcji opisano typowe scenariusze tworzenia reguł podsumowania w usłudze Microsoft Sentinel oraz nasze zalecenia dotyczące konfigurowania poszczególnych reguł. Aby uzyskać więcej informacji i przykładów, zobacz Podsumuj informacje z surowych danych w tabeli Pomocniczej do tabeli Analitycznej w usłudze Microsoft Sentinel i źródła dzienników do wykorzystania przy pozyskiwaniu Dzienników Pomocniczych.

Szybkie znajdowanie złośliwego adresu IP w ruchu sieciowym

Scenario: You're a threat hunter, and one of your team's goals is to identify all instances of when a malicious IP address interacted in the network traffic logs from an active incident, in the last 90 days.

Challenge: Microsoft Sentinel currently ingests multiple terabytes of network logs a day. Musisz szybko przejść przez nie, aby znaleźć dopasowania złośliwego adresu IP.

Solution: We recommend using summary rules to do the following:

1. Utwórz zestaw danych podsumowania dla każdego adresu IP powiązanego ze zdarzeniem, w tym SourceIP, DestinationIP, MaliciousIP, RemoteIP, z których każda zawiera listę ważnych atrybutów, takich jak IPType, FirstTimeSeeni LastTimeSeen.

   Zestaw danych podsumowania umożliwia szybkie wyszukiwanie określonego adresu IP i zawężenie zakresu czasu, w którym znajduje się adres IP. Można to zrobić nawet wtedy, gdy przeszukane zdarzenia miały miejsce ponad 90 dni temu, co wykracza poza okres przechowywania obszaru roboczego.

   W tym przykładzie skonfiguruj podsumowanie do uruchamiania codziennie, tak aby zapytanie dodaje nowe rekordy podsumowania każdego dnia do momentu wygaśnięcia.

2. Utwórz regułę analityczną, która działa przez mniej niż dwie minuty na zestawie danych podsumowania, szybko zagłębiając się w określony zakres czasu, gdy złośliwy adres IP miał interakcję z siecią firmową.

   Upewnij się, że skonfigurować interwały uruchamiania wynoszące co najmniej do pięciu minut, aby uwzględnić różne rozmiary ładunków podsumowania. Gwarantuje to, że nie ma utraty nawet wtedy, gdy wystąpi opóźnienie pozyskiwania zdarzeń.

   For example:

   let csl_columnmatch=(column_name: string) {
   summarized_CommonSecurityLog
   | where isnotempty(column_name)
   | extend
       Date = format_datetime(TimeGenerated, "yyyy-MM-dd"),
       IPaddress = column_ifexists(column_name, ""),
       FieldName = column_name
   | extend IPType = iff(ipv4_is_private(IPaddress) == true, "Private", "Public")
   | where isnotempty(IPaddress)
   | project Date, TimeGenerated, IPaddress, FieldName, IPType, DeviceVendor
   | summarize count(), FirstTimeSeen = min(TimeGenerated), LastTimeSeen = min(TimeGenerated) by Date, IPaddress, FieldName, IPType, DeviceVendor
   };
   union csl_columnmatch("SourceIP")
       , csl_columnmatch("DestinationIP") 
       , csl_columnmatch("MaliciousIP")
       , csl_columnmatch("RemoteIP")
   // Further summarization can be done per IPaddress to remove duplicates per day on larger timeframe for the first run
   | summarize make_set(FieldName), make_set(DeviceVendor) by IPType, IPaddress
   

3. Uruchom kolejne wyszukiwanie lub korelację z innymi danymi , aby ukończyć historię ataku.

Generowanie alertów dotyczących dopasowań analizy zagrożeń względem danych sieciowych

Generuj alerty dotyczące zgodności analizy zagrożeń z hałaśliwymi, dużymi ilościami i danymi sieciowymi o niskiej wartości zabezpieczeń.

Scenario: You need to build an analytics rule for firewall logs to match domain names in the system that have been visited against a threat intelligence domain name list.

Większość źródeł danych to nieprzetworzone dzienniki, które są hałaśliwe i mają dużą ilość, ale mają niższą wartość zabezpieczeń, w tym adresy IP, ruch usługi Azure Firewall, ruch fortigate itd. Całkowita ilość wynosi około 1 TB dziennie.

Challenge: Creating separate rules requires multiple logic apps, requiring extra setup and maintenance overhead and costs.

Solution: We recommend using summary rules to do the following:

1. Utwórz regułę podsumowania:

   1. Extend your query to extract key fields, such as the source address, destination address, and destination port from the CommonSecurityLog_CL table, which is the CommonSecurityLog with the Auxiliary plan.

   2. Wykonaj wewnętrzne wyszukiwanie względem aktywnych wskaźników analizy zagrożeń, aby zidentyfikować wszelkie dopasowania z naszym adresem źródłowym. Dzięki temu można odwoływać się do danych ze znanymi zagrożeniami.

   3. Projektuj istotne informacje, w tym czas wygenerowany, typ działania i wszelkie złośliwe adresy IP źródła wraz ze szczegółami miejsca docelowego. Set the frequency you want the query to run, and the destination table, such as MaliciousIPDetection . Wyniki w tej tabeli znajdują się w warstwie analitycznej i są naliczane odpowiednio opłaty.

2. Utwórz alert:

   Creating an analytics rule in Microsoft Sentinel that alerts based on results from the MaliciousIPDetection table. Ten krok ma kluczowe znaczenie dla proaktywnego wykrywania zagrożeń i reagowania na zdarzenia.

Przykładowa reguła podsumowania:

CommonSecurityLog_CL​
| extend sourceAddress = tostring(parse_json(Message).sourceAddress), destinationAddress = tostring(parse_json(Message).destinationAddress), destinationPort = tostring(parse_json(Message).destinationPort)​
| lookup kind=inner (ThreatIntelligenceIndicator | where Active == true ) on $left.sourceAddress == $right.NetworkIP​
| project TimeGenerated, Activity, Message, DeviceVendor, DeviceProduct, sourceMaliciousIP =sourceAddress, destinationAddress, destinationPort

Related content

• Agregowanie danych w obszarze roboczym usługi Log Analytics przy użyciu reguł podsumowania
• Planowanie kosztów i omówienie cen i rozliczeń usługi Microsoft Sentinel
• Źródła dzienników do użycia do zbierania dzienników pomocniczych
• Zasady, ograniczenia i limity