Microsoft Sentinel データ レイクでノートブックを実行する

Jupyter Notebook は、Microsoft Sentinel データ レイク内のデータを探索、分析、視覚化するための対話型環境を提供します。 ノートブックを使用すると、コードの記述と実行、ワークフローの文書化、結果の表示をすべて 1 か所で行うことができます。 これにより、データ探索の実行、高度な分析ソリューションの構築、他のユーザーとの分析情報の共有が簡単になります。 Visual Studio Code 内で Python と Apache Spark を活用することで、ノートブックは生のセキュリティ データを実用的なインテリジェンスに変換するのに役立ちます。

この記事では、Visual Studio Code で Jupyter Notebook を使用して Data Lake データを探索および操作する方法について説明します。

[前提条件]

Microsoft Sentinel データ レイクに参加する

Microsoft Sentinel データ レイクでノートブックを使用するには、まず Data Lake にオンボードする必要があります。 Sentinel データ レイクにオンボードしていない場合は、「 Microsoft Sentinel Data Lake へのオンボード」を参照してください。 Data Lake に最近オンボードした場合、ノートブックを使用して意味のある分析を作成するには、十分な量のデータが取り込まれるまで時間がかかる場合があります。

権限

Microsoft Entra ID ロールは、データ レイク内のすべてのワークスペースに広範なアクセスを提供します。 または、Azure RBAC ロールを使用して、個々のワークスペースへのアクセス権を付与することもできます。 Microsoft Sentinel ワークスペースに対する Azure RBAC アクセス許可を持つユーザーは、Data Lake レベルのワークスペースに対してノートブックを実行できます。 詳細については、「 Microsoft Sentinel のロールとアクセス許可」を参照してください。

分析レベルで新しいカスタム テーブルを作成するには、Data Lake マネージド ID に Log Analytics ワークスペースの Log Analytics 共同作成者 ロールを割り当てる必要があります。

ロールを割り当てるには、次の手順に従います。

1. Azure portal で、ロールを割り当てる Log Analytics ワークスペースに移動します。
2. 左側のナビゲーション ペインで [アクセス制御 (IAM)] を選択します。
3. [ロールの割り当ての追加] を選択します。
4. [ロール] テーブルで、[Log Analytics 共同作成者] を選択し、[次へ] を選択します。
5. [ マネージド ID] を選択し、[ メンバーの選択] を選択します。
6. あなたのデータレイクのマネージド ID は、msg-resources-<guid>という名前のシステム割り当てマネージド ID です。 マネージド ID を選択し、[選択] をクリックします。
7. 「Review and assign」を選択します。

マネージド ID へのロールの割り当ての詳細については、 Azure portal を使用した Azure ロールの割り当てに関するページを参照してください。

Visual Studio Code と Microsoft Sentinel 拡張機能をインストールする

Visual Studio Code をまだお持ちでない場合は、Visual Studio Code for Mac、 Linux、または Windows をダウンロードしてインストール します。

Visual Studio Code (VS Code) 用の Microsoft Sentinel 拡張機能は、拡張機能マーケットプレースからインストールされます。 拡張機能をインストールするには、次の手順に従います。

1. 左側のツール バーで Extensions Marketplace を選択します。
2. Sentinel を検索します。
3. Microsoft Sentinel 拡張機能を選択し、[インストール] を選択します。
4. 拡張機能がインストールされると、Microsoft Sentinel のシールド アイコンが左側のツール バーに表示されます。

Visual Studio Code 用の GitHub Copilot 拡張機能をインストールして、ノートブックでのコード補完と提案を有効にします。

1. Extensions Marketplace で GitHub Copilot を検索してインストールします。
2. インストール後、GitHub アカウントを使用して GitHub Copilot にサインインします。

データ レイク レベル テーブルを探す

Microsoft Sentinel 拡張機能をインストールしたら、データ レイク層テーブルの探索と、データを分析するための Jupyter ノートブックの作成を開始できます。

Microsoft Sentinel 拡張機能にサインインする

1. 左側のツール バーの Microsoft Sentinel シールド アイコンを選択します。

2. 次のテキストを含むダイアログが表示されます 。拡張機能 "Microsoft Sentinel" は Microsoft を使用してサインインしたいと考えています。 [許可] を選択します。

   

3. アカウント名を選択してサインインを完了します。

   

データ レイク テーブルとジョブを表示する

サインインすると、Sentinel 拡張機能の左側のウィンドウに Lake テーブル と ジョブ の一覧が表示されます。 テーブルは、データベースとカテゴリ別にグループ化されます。 テーブルを選択すると、列の定義が表示されます。

ジョブの詳細については、「 ジョブとスケジュール」を参照してください。

新しいノートブックを作成する

1. 新しいノートブックを作成するには、次のいずれかの方法を使用します。

2. 検索ボックスに「 > 」と入力するか、 Ctrl + Shift + P キーを押して、「 Create New Jupyter Notebook」と入力します。

3. [ファイル] > [新しいファイル] を選択し、ドロップダウンから [Jupyter Notebook ] を選択します。
   

4. 新しいノートブックで、次のコードを最初のセルに貼り付けます。

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

エディターは、 MicrosoftSentinelProvider クラスとデータ レイク内のテーブル名の両方に対して IntelliSense コード補完を提供します。

1. 実行 三角形を選択して、ノートブックでコードを実行します。 結果は、コード セルの下の出力ウィンドウに表示されます。
   

2. ランタイム プールの一覧の一覧から Microsoft Sentinel を選択します。

3. [中] を選択して、中規模のランタイム プールでノートブックを実行します。 さまざまなランタイムの詳細については、「 適切な Microsoft Sentinel ランタイムの選択」を参照してください。

セッションが開始されると、ノートブック内のコードが実行され、結果がコード セルの下の出力ウィンドウに表示されます。たとえば、

Microsoft Sentinel データ レイクと対話する方法を示すサンプル ノートブックについては、 Microsoft Sentinel Data Lake のサンプル ノートブックを参照してください。

ステータス バー

ノートブックの下部にあるステータス バーには、ノートブックと Spark セッションの現在の状態に関する情報が表示されます。 ステータス バーには、次の情報が含まれます。

• 選択した Spark プールの仮想コア使用率の割合。 割合をポイントすると、使用されている仮想コアの数と、プールで使用可能な仮想コアの合計数が表示されます。 パーセンテージは、ログインしたアカウントの対話型ワークロードとジョブ ワークロード全体の現在の使用状況を表します。

• Spark セッションの接続状態 ( Connecting、 Connected、 Not Connectedなど)。

セッション タイムアウトを設定する

対話型ノートブックのセッション タイムアウトとタイムアウトの警告を設定できます。 タイムアウトを変更するには、ノートブックの下部にあるステータス バーで接続状態を選択します。 次のオプションから選択します。

• セッション タイムアウト期間の設定: セッションがタイムアウトするまでの時間を分単位で設定します。既定値は 30 分です。

• セッション タイムアウト期間のリセット: セッション タイムアウトを既定値の 30 分にリセットします。

• セッション タイムアウト警告期間の設定: セッションがタイムアウトを間もなく終了しようとしていることを示す警告が表示されるタイムアウトまでの時間を分単位で設定します。既定値は 5 分です。

• セッション タイムアウト警告期間のリセット: セッション タイムアウト警告を既定値の 5 分にリセットします。

  

ノートブックで GitHub Copilot を使用する

GitHub Copilot を使用すると、ノートブックでコードを記述できます。 GitHub Copilot では、コードのコンテキストに基づいてコードの提案とオートコンプリートが提供されます。 GitHub Copilot を使用するには、Visual Studio Code に GitHub Copilot 拡張機能 がインストールされていることを確認します。

Microsoft Sentinel データ レイクのサンプル ノートブックからコードをコピーし、ノートブック フォルダーに保存して GitHub Copilot のコンテキストを提供します。 GitHub Copilot は、ノートブックのコンテキストに基づいてコード補完を提案できるようになります。

次の例は、コード レビューを生成する GitHub Copilot を示しています。

Microsoft Sentinel プロバイダー クラス

Microsoft Sentinel データ レイクに接続するには、 SentinelLakeProvider クラスを使用します。 このクラスは、 access_module.data_loader モジュールの一部であり、データ レイクと対話するメソッドを提供します。 このクラスを使用するには、それをインポートし、 spark セッションを使用してクラスのインスタンスを作成します。

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

使用可能なメソッドの詳細については、「 Microsoft Sentinel プロバイダー クラス リファレンス」を参照してください。

適切なランタイム プールを選択する

Microsoft Sentinel 拡張機能で Jupyter ノートブックを実行するには、3 つのランタイム プールを使用できます。 各プールは、さまざまなワークロードとパフォーマンス要件に合わせて設計されています。 ランタイム プールの選択は、Spark ジョブのパフォーマンス、コスト、実行時間に影響します。

メッセージ、ログ、エラーを表示する

メッセージ ログとエラー メッセージは、Visual Studio Code の 3 つの領域に表示されます。

1. [出力] ウィンドウ。

   1. [出力] ウィンドウで、ドロップダウンから Microsoft Sentinel を選択します。
   2. 詳細なログ エントリを含めるには、[ デバッグ] を選択します。

   

2. ノートブック内のインライン メッセージは、コード セルの実行に関するフィードバックと情報を提供します。 これらのメッセージには、前のセルのコードに関連する実行状態の更新、進行状況インジケーター、エラー通知が含まれます

3. Visual Studio Code の右下隅に通知ポップアップが表示され、トースト メッセージとしても知られ、ノートブックと Spark セッション内の操作の状態に関するリアルタイムのアラートと更新が提供されます。 これらの通知には、メッセージ、警告、およびエラー アラート (Spark セッションへの正常な接続、タイムアウト警告など) が含まれます。

   

ジョブとスケジュール

Visual Studio Code 用の Microsoft Sentinel 拡張機能を使用して、特定の時間または間隔でジョブを実行するようにスケジュールできます。 ジョブを使用すると、データ処理タスクを自動化して、Microsoft Sentinel データ レイク内のデータを集計、変換、または分析できます。 ジョブは、データを処理したり、データ レイク層または分析層のカスタム テーブルに結果を書き込んだりするためにも使用されます。 ジョブの作成と管理の詳細については、「 Jupyter Notebook ジョブの作成と管理」を参照してください。

VS Code Notebook のサービス パラメーターと制限

次のセクションでは、VS Code Notebooks を使用する場合の Microsoft Sentinel データ レイクのサービス パラメーターと制限の一覧を示します。

トラブルシューティング

次の表に、ノートブックを操作するときに発生する可能性がある一般的なエラー、その根本原因、およびそれらを解決するための推奨されるアクションを示します。

関連コンテンツ

• ノートブック ジョブを作成して管理する
• Microsoft Sentinel データ レイクのサンプル ノートブック
• Microsoft Sentinel プロバイダークラスのリファレンス
• Microsoft Sentinel Data Lake の概要
• Microsoft Sentinel Data Lake のロールとアクセス許可。