共用方式為


Jupyter 筆記本和 Microsoft Sentinel 資料湖

Jupyter 筆記本是 Microsoft Sentinel 資料湖生態系統不可或缺的一部分,提供強大的資料分析和視覺化工具。 筆記本是由 Microsoft Sentinel Visual Studio Code 延伸模組所提供,可讓您使用 Python for Spark (PySpark) 與資料湖互動。 筆記本可讓您直接在筆記本環境中執行複雜的資料轉換、執行機器學習模型,以及建立視覺化。

具有 Jupyter 筆記本的 Microsoft Sentinel Visual Studio Code 延伸模組提供強大的環境來探索和分析湖資料,並具有下列優點:

  • 互動式資料探索:Jupyter Notebook 提供了一個用於探索和分析資料的互動式環境。 您可以在一個地方執行程式碼片段、視覺化結果並記錄您的發現。
  • 與 Python 函式庫整合:Microsoft Sentinel 擴充功能包含各種 Python 函式庫,可讓您使用現有工具和架構進行資料分析、機器學習和視覺化。
  • 強大的資料分析:透過整合 Apache Spark 運算工作階段,您可以利用分散式運算的強大功能來有效率地分析大型資料集。 這可讓您對安全資料執行複雜的轉換和彙總。
  • 低速和慢速攻擊:分析與安全事件、警報和事件相關的大規模、複雜、互連的數據,從而能夠檢測複雜的威脅和模式,例如橫向移動或可以規避傳統規則型系統的低速和慢速攻擊。
  • AI 和 ML 整合: 與 AI 和機器學習整合,增強異常檢測、威脅預測和行為分析,使安全團隊能夠構建代理以自動化調查。
  • 可擴展性:筆記本提供可擴展性,以經濟高效的方式處理大量數據,並實現深度批處理以發現趨勢、模式和異常。
  • 視覺化功能:Jupyter Notebook 支援各種視覺化庫,使您能夠建立資料的圖表、圖形和其他視覺化表示,幫助您獲得見解並有效地傳達發現。
  • 協作和共享:Jupyter 筆記本可以輕鬆與同事共享,從而可以在數據分析項目上進行協作。 您可以匯出各種格式的筆記本,包括 HTML 和 PDF,以便於共享和演示。
  • 文檔和可重複性:Jupyter 筆記本允許您在單個文件中記錄您的代碼、分析和發現,從而更輕鬆地重現結果並與他人共享您的工作。

Notebooks 的資料湖探索案例

下列案例說明如何使用 Microsoft Sentinel Lake 中的 Jupyter 筆記本來增強安全性作業:

狀況 說明
登入失敗的使用者行為 藉由分析登入嘗試失敗的模式,建立正常使用者行為的基準。 調查登入失敗前後嘗試的作業,以偵測潛在的入侵或暴力破解活動。
敏感資料路徑 識別有權存取敏感資料資產的使用者和裝置。 將存取記錄與組織內容結合,以評估風險暴露、對應存取路徑,並排定安全審查區域的優先順序。
異常威脅分析 透過識別與既定基準的偏差來分析威脅,例如來自異常位置、裝置或時間的登入。 將使用者行為與資產資料疊加,以識別高風險活動,包括潛在的內部威脅。
風險評分優先順序 將自訂風險評分模型套用至資料湖中的安全事件。 使用資產重要性和使用者角色等上下文訊號豐富事件,以量化風險、評估爆炸半徑並確定事件的優先順序以進行調查。
探索性分析與視覺化 跨多個日誌來源執行探索性資料分析,以重建攻擊時間表、確定根本原因,並建立自訂視覺化,以協助將調查結果傳達給利害關係人。

寫入資料湖和分析層

您可以使用筆記本將資料寫入湖層和分析層。 適用於 Visual Studio Code 的 Microsoft Sentinel 延伸模組提供 PySpark Python 程式庫,可將寫入資料湖和分析層的複雜度抽象化。 您可以使用 MicrosoftSentinelProvider 類別的 save_as_table() 函式將資料寫入自訂資料表,或將資料附加至湖層或分析層中的現有資料表。 如需詳細資訊,請參閱 Microsoft Sentinel 提供者類別參考

作業和排程

您可以使用適用於 Visual Studio Code 的 Microsoft Sentinel 延伸模組,將作業排程為在特定時間或間隔執行。 作業可讓您將資料處理工作自動化,以摘要、轉換或分析 Microsoft Sentinel 資料湖中的資料。 使用作業來處理資料,並將結果寫入資料湖層或分析層中的自訂資料表。 如需詳細資訊,請參閱 建立和管理 Jupyter 筆記本任務