Uruchamianie notatników w usłudze Microsoft Sentinel Data Lake

Notesy Jupyter udostępniają interaktywne środowisko do eksplorowania, analizowania i wizualizowania danych w usłudze Data Lake usługi Microsoft Sentinel. Za pomocą notesów możesz pisać i wykonywać kod, dokumentować przepływ pracy i wyświetlać wyniki — wszystko w jednym miejscu. Ułatwia to eksplorowanie danych, tworzenie zaawansowanych rozwiązań analitycznych i udostępnianie szczegółowych informacji innym osobom. Dzięki wykorzystaniu języka Python i Apache Spark w programie Visual Studio Code, notesy ułatwiają przekształcanie surowych danych dotyczących bezpieczeństwa w informacje, które można wykorzystać.

W tym artykule pokazano, jak eksplorować dane typu data lake i wchodzić z nimi w interakcje przy użyciu notesów Jupyter w programie Visual Studio Code.

Wymagania wstępne

Wprowadzenie do usługi Microsoft Sentinel Data Lake

Aby korzystać z notesów w usłudze Data Lake usługi Microsoft Sentinel, musisz najpierw dołączyć do usługi Data Lake. Jeśli nie dołączyłeś do jeziora danych Sentinel, zobacz Dołączanie do jeziora danych Microsoft Sentinel. Jeśli niedawno dołączyłeś do jeziora danych, może upłynąć trochę czasu, zanim zostanie załadowana wystarczająca ilość danych, aby można było tworzyć znaczące analizy przy użyciu notebooków.

Uprawnienia

Role Microsoft Entra ID zapewniają szeroki dostęp we wszystkich środowiskach roboczych w jeziorze danych. Alternatywnie możesz udzielić dostępu do poszczególnych obszarów roboczych przy użyciu ról RBAC platformy Azure. Użytkownicy z uprawnieniami RBAC platformy Azure do obszarów roboczych usługi Microsoft Sentinel mogą uruchamiać notesy względem tych obszarów roboczych w warstwie data lake. Aby uzyskać więcej informacji, zobacz artykuł Role i uprawnienia w usłudze Microsoft Sentinel.

Aby utworzyć nowe tabele niestandardowe w warstwie analizy, tożsamość zarządzana usługi Data Lake musi mieć przypisaną rolę Współautor usługi Log Analytics w obszarze roboczym usługi Log Analytics.

Aby przypisać rolę, wykonaj poniższe kroki:

1. W witrynie Azure Portal przejdź do obszaru roboczego usługi Log Analytics, do którego chcesz przypisać rolę.
2. Wybierz pozycję Kontrola dostępu (Zarządzanie dostępem i tożsamościami) w okienku nawigacji po lewej stronie.
3. Wybierz Dodaj przypisanie roli.
4. W tabeli Rola wybierz pozycję Współautor usługi Log Analytics, a następnie wybierz pozycję Dalej
5. Wybierz pozycję Tożsamość zarządzana, a następnie wybierz pozycję Wybierz członków.
6. Tożsamość zarządzana usługi Data Lake to przypisana przez system tożsamość zarządzana o nazwie msg-resources-<guid>. Wybierz tożsamość zarządzaną, a następnie wybierz opcję Wybierz.
7. Wybierz pozycję Przejrzyj i przypisz.

Aby uzyskać więcej informacji na temat przypisywania ról do tożsamości zarządzanych, zobacz Przypisywanie ról platformy Azure przy użyciu witryny Azure Portal.

Instalowanie programu Visual Studio Code i rozszerzenia usługi Microsoft Sentinel

Jeśli nie masz jeszcze programu Visual Studio Code, pobierz i zainstaluj program Visual Studio Code dla komputerów Mac, Linux lub Windows.

Rozszerzenie usługi Microsoft Sentinel dla programu Visual Studio Code (VS Code) jest instalowane z witryny Marketplace rozszerzeń. Aby zainstalować rozszerzenie, wykonaj następujące kroki:

1. Wybierz Marketplace rozszerzeń na pasku narzędzi po lewej stronie.
2. Wyszukaj Sentinel.
3. Wybierz rozszerzenie usługi Microsoft Sentinel i wybierz pozycję Zainstaluj.
4. Po zainstalowaniu rozszerzenia na pasku narzędzi po lewej stronie zostanie wyświetlona ikona tarczy usługi Microsoft Sentinel.

Zainstaluj rozszerzenie GitHub Copilot dla programu Visual Studio Code, aby włączyć uzupełnianie kodu i sugestie w notesach.

1. Wyszukaj GitHub Copilot w sklepie z rozszerzeniami i zainstaluj go.
2. Po zakończeniu instalacji zaloguj się do usługi GitHub Copilot przy użyciu konta usługi GitHub.

Eksplorowanie tabel warstw usługi Data Lake

Po zainstalowaniu rozszerzenia usługi Microsoft Sentinel możesz rozpocząć eksplorowanie tabel warstwy data lake i tworzenie notesów Jupyter w celu analizowania danych.

Zaloguj się do rozszerzenia usługi Microsoft Sentinel

1. Wybierz ikonę tarczy usługi Microsoft Sentinel na lewym pasku narzędzi.

2. Zostanie wyświetlone okno dialogowe z następującym tekstem Rozszerzenie "Microsoft Sentinel" chce się zalogować przy użyciu firmy Microsoft. Zaznacz Zezwól.

   

3. Wybierz nazwę konta, aby ukończyć logowanie.

   

Wyświetlanie tabel i zadań usługi Data Lake

Po zalogowaniu rozszerzenie usługi Sentinel wyświetli listę tabel Lake i zadań w lewym okienku. Tabele są grupowane według bazy danych i kategorii. Wybierz tabelę, aby wyświetlić definicje kolumn.

Aby uzyskać informacje na temat zadań, zobacz Zadania i planowanie.

Tworzenie nowego notesu

1. Aby utworzyć nowy notes, użyj jednej z następujących metod.

2. Wprowadź > w polu wyszukiwania lub naciśnij Ctrl+Shift+P , a następnie wprowadź polecenie Create New Jupyter Notebook (Utwórz nowy notes Jupyter Notebook).

3. Wybierz pozycję Plik > Nowy plik, a następnie Notebook Jupyter z menu rozwijanego.
   

4. W nowym notesie wklej następujący kod do pierwszej komórki.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

Edytor udostępnia uzupełnianie kodu IntelliSense zarówno dla klasy MicrosoftSentinelProvider, jak i nazw tabel w data lake.

1. Wybierz trójkąt Uruchom , aby wykonać kod w notesie. Wyniki są wyświetlane w okienku danych wyjściowych poniżej komórki kodu.
   

2. Wybierz pozycję Microsoft Sentinel z listy, aby wyświetlić listę pul środowiska uruchomieniowego.

3. Wybierz Średni, aby uruchomić notatnik w średniej puli środowiska wykonawczego. Aby uzyskać więcej informacji na temat różnych środowisk uruchomieniowych, zobacz Wybieranie odpowiedniego środowiska uruchomieniowego usługi Microsoft Sentinel.

Po rozpoczęciu sesji kod w notesie zostanie uruchomiony, a wyniki zostaną wyświetlone w okienku danych wyjściowych poniżej komórki kodu, na przykład:

Przykładowe notesy demonstrujące sposób interakcji z usługą Data Lake usługi Microsoft Sentinel można znaleźć w temacie Sample notebooks for Microsoft Sentinel data lake (Przykładowe notesy dla usługi Data Lake usługi Microsoft Sentinel).

Pasek stanu

Pasek stanu w dolnej części notesu zawiera informacje o bieżącym stanie notesu i sesji platformy Spark. Pasek stanu zawiera następujące informacje:

• Procent wykorzystania rdzeni wirtualnych dla wybranej puli Spark. Zatrzymaj wskaźnik myszy na wartości procentowej, aby zobaczyć liczbę użytych rdzeni wirtualnych i łączną liczbę rdzeni wirtualnych dostępnych w puli. Procenty reprezentują bieżące użycie zadań interaktywnych i roboczych dla zalogowanego konta.

• Stan połączenia sesji platformy Spark, na przykład Connecting, Connectedlub Not Connected.

Ustawianie limitów czasu sesji

Możesz ustawić limit czasu sesji i ostrzeżenia dotyczące limitu czasu dla notesów interaktywnych. Aby zmienić limit czasu, wybierz stan połączenia na pasku stanu w dolnej części notesu. Wybierz jedną z następujących opcji:

• Ustaw limit czasu sesji: ustawia czas w minutach przed przekroczeniem limitu czasu sesji. Wartość domyślna to 30 minut.

• Resetowanie limitu czasu sesji: resetuje limit czasu sesji do wartości domyślnej 30 minut.

• Ustaw okres ostrzegawczy przed przekroczeniem limitu czasu sesji: Ustawia czas w minutach przed przekroczeniem limitu czasu, kiedy wyświetlane jest ostrzeżenie informujące o zbliżającym się zakończeniu sesji. Wartość domyślna to 5 minut.

• Resetowanie okresu ostrzeżenia o przekroczeniu limitu czasu sesji: resetuje ostrzeżenie o przekroczeniu limitu czasu sesji do wartości domyślnej 5 minut.

  

Korzystanie z narzędzia GitHub Copilot w notesach

Użyj narzędzia GitHub Copilot, aby ułatwić pisanie kodu w notesach. Narzędzie GitHub Copilot udostępnia sugestie dotyczące kodu i autouzupełnianie na podstawie kontekstu kodu. Aby użyć narzędzia GitHub Copilot, upewnij się, że masz rozszerzenie GitHub Copilot zainstalowane w programie Visual Studio Code.

Skopiuj kod z przykładowych notesów dla Microsoft Sentinel Data Lake i zapisz go w folderze notesów, aby zapewnić kontekst dla narzędzia GitHub Copilot. Narzędzie GitHub Copilot będzie następnie mogło sugerować uzupełnianie kodu na podstawie kontekstu notesu.

Poniższy przykład przedstawia generowanie przeglądu kodu w usłudze GitHub Copilot.

Klasa dostawcy Microsoft Sentinel

Aby nawiązać połączenie z Data Lake usługi Microsoft Sentinel, użyj klasy SentinelLakeProvider. Ta klasa jest częścią modułu access_module.data_loader i udostępnia metody interakcji z usługą Data Lake. Aby użyć tej klasy, zaimportuj ją i utwórz wystąpienie klasy przy użyciu spark sesji.

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

Aby uzyskać więcej informacji na temat dostępnych metod, zobacz Dokumentacja klasy dostawcy usługi Microsoft Sentinel.

Wybierz odpowiednią pulę środowiska uruchomieniowego

Istnieją trzy pule środowiska uruchomieniowego dostępne do uruchamiania notesów Jupyter w rozszerzeniu usługi Microsoft Sentinel. Każda pula jest przeznaczona dla różnych obciążeń i wymagań dotyczących wydajności. Wybór puli środowiska uruchomieniowego wpływa na wydajność, koszt i czas wykonywania zadań platformy Spark.

Wyświetlanie komunikatów, dzienników i błędów

Dzienniki komunikatów i komunikaty o błędach są wyświetlane w trzech obszarach w programie Visual Studio Code.

1. Okienko Dane wyjściowe .

   1. W okienku Dane wyjściowe wybierz pozycję Microsoft Sentinel z listy rozwijanej.
   2. Wybierz pozycję Debuguj , aby uwzględnić szczegółowe wpisy dziennika.

   

2. Komunikaty wbudowane w notesie zawierają informacje zwrotne i informacje o wykonywaniu komórek kodu. Te komunikaty obejmują aktualizacje stanu wykonywania, wskaźniki postępu i powiadomienia o błędach związane z kodem w poprzedniej komórce

3. Powiadomienie typu toast w prawym dolnym rogu programu Visual Studio Code zapewnia alerty i aktualizacje w czasie rzeczywistym dotyczące stanu operacji w notatniku i sesji Spark. Powiadomienia te obejmują komunikaty, ostrzeżenia i alerty o błędach, takie jak pomyślne połączenie z sesją platformy Spark i ostrzeżenia o przekroczeniu limitu czasu.

   

Zadania i planowanie

Zadania można zaplanować w określonych godzinach lub odstępach czasu przy użyciu rozszerzenia Microsoft Sentinel dla programu Visual Studio Code. Zadania umożliwiają automatyzowanie zadań przetwarzania danych w celu podsumowywania, przekształcania lub analizowania danych w usłudze Data Lake usługi Microsoft Sentinel. Zadania są również używane do przetwarzania danych i zapisywania wyników w tabelach niestandardowych w warstwie data lake lub w warstwie analizy. Aby uzyskać więcej informacji na temat tworzenia zadań i zarządzania nimi, zobacz Tworzenie zadań notesu Jupyter i zarządzanie nimi.

Parametry i limity usługi dla notebooków programu VS Code

W poniższej sekcji wymieniono parametry usługi i limity dla usługi Data Lake usługi Microsoft Sentinel podczas korzystania z notesów programu VS Code.

Rozwiązywanie problemów

W poniższej tabeli wymieniono typowe błędy, które mogą wystąpić podczas pracy z notesami, ich główne przyczyny i sugerowane akcje w celu ich rozwiązania.

Treści powiązane

• Tworzenie i zarządzanie zadaniami notebooka
• Przykładowe notatniki dla jeziora danych Microsoft Sentinel
• Dokumentacja klasy dostawcy usługi Microsoft Sentinel
• Omówienie usługi Microsoft Sentinel Data Lake
• Role i uprawnienia w jeziorze danych Microsoft Sentinel.