Azure Data Explorer の Event Grid データ接続を作成する

1. 作成したクラスターで、 データベース>TestDatabase を選択します。

   

2. [ データ インジェスト>データ接続の追加を選択します。

   

3. [ 基本] で、接続の種類 として Blob Storage を選択し、フォームに次の情報を入力します。

   

   設定	推奨値	フィールドの説明
   データ接続名	テストグリッド接続	Azure Data Explorer で作成する接続の名前。
   ストレージ アカウントのサブスクリプション	サブスクリプション ID	ストレージ アカウントが存在するサブスクリプション ID。
   ストレージ アカウント	gridteststorage1	作成済みのストレージ アカウントの名前。
   イベントの種類	BLOB が作成されたか、BLOB の名前が変更されました	インジェストをトリガーするイベントの種類。 名前が変更された BLOB は、ADLSv2 ストレージでのみサポートされます。 BLOB の名前を変更するには、Azure portal で BLOB に移動し、BLOB を右クリックして [ 名前の変更] を選択します。 サポートされる種類は、Microsoft.Storage.BlobCreated または Microsoft.Storage.BlobRenamed。
   リソースの作成	自動	Azure Data Explorer で Event Grid サブスクリプション、Event Hubs の名前空間、Event Hubs を自動作成するかどうかを定義します。 リソースを手動で作成するには、「Event Grid インジェスト用のリソースを手動で作成する」を参照してください。

4. 特定の件名を追跡する場合は、[ フィルター設定] を選択します。 次のように、通知用のフィルターを設定します。

   • プレフィックス フィールドは、件名の リテラル プレフィックスです。 適用されるパターンは startswith であるため、複数のコンテナー、フォルダー、または BLOB にまたがることができます。 ワイルドカードは使用できません。
     • BLOB コンテナーに対してフィルターを定義するには、フィールドを のように設定する "/blobServices/default/containers/[container prefix]"。
     • BLOB プレフィックス (または Azure Data Lake Gen2 のフォルダー) に対してフィルターを定義するには、フィールドを のように設定する "/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]"。
   • サフィックス フィールドは、BLOB の リテラル サフィックスです。 ワイルドカードは使用できません。
   • 大文字と小文字の区別フィールドは、プレフィックスとサフィックスのフィルターで大文字と小文字が区別されるかどうかを示します。
   • イベントのフィルター処理の詳細については、「 Blob Storage イベント」を参照してください。

   

5. 「次へ: 取り込みのプロパティ」を選択します。

6. フォームに次の情報を入力します。 テーブル名とマッピング名では大文字と小文字が区別されます。

   

   取り込み属性

   設定	推奨値	フィールドの説明
   他のデータベースへのデータのルーティングを許可する (マルチ データベース データ接続)	許可しないでください	このオプションは、データ接続に関連付けられている既定のターゲット データベースをオーバーライドする場合にオンにします。 データベース ルーティングの詳細については、「イベント ルーティング 」を参照してください。
   テーブル名	TestTable	TestDatabase で作成したテーブル。
   データ形式	JSON	サポートされている形式は、Avro、CSV、JSON、MULTILINE JSON、ORC、PARQUET、PSV、SCSV、SOHSV、TSV、TXT、TSVE、APACHEAVRO、RAW、および W3CLOG です。 サポートされている圧縮オプションは、Zip と Gzip です。
   地図作成	TestMapping	TestDatabase で作成したマッピング。受信データを TestTable の列名とデータ型にマップします。 指定しない場合は、テーブルのスキーマから派生した ID データ マッピング が使用されます。
   詳細設定	データにヘッダーがある	ヘッダーを無視します。 *SV 型ファイルでサポートされています。

   注意

   すべての既定のルーティング設定を指定する必要はありません。 部分的な設定も受け入れられます。

7. [次へ] を選択します。確認と作成

8. *レビュー + 作成 の下に。

9. 自動的に作成されたリソースを確認し、[ 作成] を選択します。

   

10. デプロイが完了するまでお待ちください。 デプロイに失敗した場合は、失敗したステージの横にある [操作の詳細 ] を選択して、失敗した理由の詳細情報を取得します。 [ 再デプロイ ] を選択して、リソースをもう一度デプロイします。 デプロイの前にパラメーターを変更できます。

    

1. Azure portal でストレージ アカウントに移動します。 左側のメニューで、[イベント] を選択します。

2. メイン ウィンドウで、[ Azure Data Explorer ] タブを選択します。

   

[ データ接続 ] ウィンドウが開き、[ 基本 ] タブが選択されています。

1. [ 基本] で、フォームに次の情報を入力します。

   

   設定	推奨値	フィールドの説明
   データ接続名	テストグリッド接続	Azure Data Explorer で作成する接続の名前。
   ストレージ アカウント	gridteststorage1	このウィザードへのアクセスに使用したストレージ アカウント。 自動で入力されます。
   イベントの種類	BLOB が作成されたか、BLOB の名前が変更されました	インジェストをトリガーするイベントの種類。 名前が変更された BLOB は、ADLSv2 ストレージでのみサポートされます。 BLOB の名前を変更するには、Azure portal で BLOB に移動し、BLOB を右クリックして [ 名前の変更] を選択します。 サポートされる種類は、Microsoft.Storage.BlobCreated または Microsoft.Storage.BlobRenamed。
   リソースの作成	自動	Azure Data Explorer で Event Grid サブスクリプション、Event Hubs の名前空間、Event Hubs を自動作成するかどうかを定義します。 リソースを手動で作成するには、「Event Grid インジェスト用のリソースを手動で作成する」を参照してください。

2. [次へ] 取り込みのプロパティ> を選択します。

3. [取り込みプロパティ]の下に。

4. フォームに次の情報を入力します。 テーブル名とマッピング名では大文字と小文字が区別されます。

   

   設定	推奨値	フィールドの説明
   サブスクリプション		あなたの Azure Data Explorer サブスクリプション。
   クラスター名	TestCluster	データの取り込み先となるクラスターの名前。
   データベース名	TestDatabase	TestCluster で作成したターゲット データベース。
   他のデータベースへのデータのルーティングを許可する (マルチ データベース データ接続)	許可しないでください	このオプションは、データ接続に関連付けられている既定のターゲット データベースをオーバーライドする場合にオンにします。 データベース ルーティングの詳細については、「イベント ルーティング 」を参照してください。
   テーブル名	TestTable	TestDatabase で作成したターゲット テーブル。
   データ形式	JSON	サポートされている形式は、Avro、CSV、JSON、MULTILINE JSON、ORC、PARQUET、PSV、SCSV、SOHSV、TSV、TXT、TSVE、APACHEAVRO、RAW、および W3CLOG です。 サポートされている圧縮オプションは、Zip と Gzip です。
   地図作成	TestMapping	TestDatabase で作成したマッピング。受信データを TestTable の列名とデータ型にマップします。 指定しない場合は、テーブルのスキーマから派生した ID データ マッピング が使用されます。
   詳細設定	データにヘッダーがある	ヘッダーを無視します。 *SV 型ファイルでサポートされています。

   注意

   すべての データ ルーティング設定を指定する必要はありません。 部分的な設定も受け入れられます。

5. [次へ] を選択します。確認と作成

6. 確認と作成 の下にあります。

7. 自動的に作成されたリソースを確認し、[ 作成] を選択します。

   

8. デプロイが完了するまでお待ちください。 デプロイに失敗した場合は、失敗したステージの横にある [操作の詳細 ] を選択して、失敗した理由の詳細情報を取得します。 [ 再デプロイ ] を選択して、リソースをもう一度デプロイします。 デプロイの前にパラメーターを変更できます。

   

1. Microsoft.Azure.Management.Kusto NuGet パッケージをインストールします。

2. 認証に使用する Azure AD アプリケーション プリンシパルを作成します。 ディレクトリ (テナント) ID、アプリケーション ID、クライアント シークレットが必要です。

3. 次のコードを実行します。

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var eventGridConnectionName = "myeventgridconnect";
   //The event hub and storage account that are created as part of the Prerequisites
   var eventHubResourceId = "/subscriptions/<storageAccountSubscriptionId>/resourceGroups/<storageAccountResourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountName>";
   var storageAccountResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var blobStorageEventType = "Microsoft.Storage.BlobCreated";
   var databaseRouting = "Multi";
   var eventGridConnectionData = new EventGridDataConnection(
       storageAccountResourceId, eventHubResourceId, consumerGroup,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, blobStorageEventType: blobStorageEventType, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(
       resourceGroupName, clusterName, databaseName, eventGridConnectionName, eventGridConnectionData
   );
   

   設定	推奨値	フィールドの説明
   テナントID	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	テナントのID。 ディレクトリ ID とも呼ばれます。
   サブスクリプションID	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	リソースの作成に使用するサブスクリプション ID。
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ご利用のテナント内のリソースにアクセスできるアプリケーションのクライアント ID。
   クライアントシークレット	PlaceholderClientSecret	ご利用のテナント内のリソースにアクセスできるアプリケーションのクライアント シークレット。
   リソースグループネーム	testrg	ご利用のクラスターを含むリソース グループの名前。
   クラスタ名	mykustocluster	ご利用のクラスターの名前。
   データベース名	mykustodatabase	ご利用のクラスター内のターゲット データベースの名前。
   eventGridConnectionName	myeventgridconnect	データ接続の任意の名前。
   テーブル名	StormEvents	ターゲット データベース内のターゲット テーブルの名前。
   マッピングルール名	StormEvents_CSV_Mapping	ターゲット テーブルに関連付けられている列マッピングの名前。
   データ形式	csv	メッセージのデータ形式。
   eventHubリソースID	リソース ID	Event Grid がイベントを送信するように構成されているイベント ハブのリソース ID。
   storageAccountResourceId（ストレージアカウントリソースID）	リソース ID	インジェスト用のデータを保持しているストレージ アカウントのリソース ID。
   消費者グループ	$Default	ご利用のイベント ハブのコンシューマー グループ。
   場所	米国中部	データ接続リソースの場所。
   ブロブストレージイベントタイプ	Microsoft.Storage.BlobCreated	インジェストをトリガーするイベントの種類。 サポートされているイベントは、Microsoft.Storage.BlobCreated または Microsoft.Storage.BlobRenamed です。 BLOB の名前変更は、ADLSv2 ストレージに対してのみサポートされています。
   データベースルーティング	複数 または 単一	接続のデータベース ルーティング。 値を Single に設定すると、 databaseName 設定で指定されたクラスター内の単一データベースにデータ接続がルーティングされます。 値を Multi に設定した場合は、 データベースインジェスト プロパティを使用して既定のターゲット データベースをオーバーライドできます。 詳細については、「 イベントルーティング」を参照してください。

1. 必要なライブラリをインストールします。

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. 認証に使用する Azure AD アプリケーション プリンシパルを作成します。 ディレクトリ (テナント) ID、アプリケーション ID、クライアント シークレットが必要です。

3. 次のコードを実行します。

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import EventGridDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The event hub and storage account that are created as part of the Prerequisites
   event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.EventHub/namespaces/xxxxxx/eventhubs/xxxxxx"
   storage_account_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Storage/storageAccounts/xxxxxx"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   blob_storage_event_type = "Microsoft.Storage.BlobCreated"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.begin_create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=EventGridDataConnection(storage_account_resource_id=storage_account_resource_id, event_hub_resource_id=event_hub_resource_id, 
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing,
                                                                                   blob_storage_event_type=blob_storage_event_type))
   # The creation of the connection is async. Validation errors are only visible if you wait for the results.
   poller.wait()
   print(poller.result())
   

   設定	推奨値	フィールドの説明
   テナントID	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	テナントのID。 ディレクトリ ID とも呼ばれます。
   サブスクリプションID	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	リソースの作成に使用するサブスクリプション ID。
   クライアントID	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ご利用のテナント内のリソースにアクセスできるアプリケーションのクライアント ID。
   クライアントシークレット	xxxxxxxxxxxxxx	ご利用のテナント内のリソースにアクセスできるアプリケーションのクライアント シークレット。
   リソースグループ名	testrg	ご利用のクラスターを含むリソース グループの名前。
   クラスタ名 (cluster_name)	mykustocluster	ご利用のクラスターの名前。
   データベース名	mykustodatabase	ご利用のクラスター内のターゲット データベースの名前。
   データ接続名	myeventhubconnect	データ接続の任意の名前。
   テーブル名	StormEvents	ターゲット データベース内のターゲット テーブルの名前。
   マッピング_ルール_ネーム (mapping_rule_name)	ストームイベント_CSV_マッピング	ターゲット テーブルに関連付けられている列マッピングの名前。
   データベースルーティング	複数 または 単一	接続のデータベース ルーティング。 値を Single に設定すると、 databaseName 設定で指定されたクラスター内の単一データベースにデータ接続がルーティングされます。 値を Multi に設定した場合は、 データベースインジェスト プロパティを使用して既定のターゲット データベースをオーバーライドできます。 詳細については、「 イベントルーティング」を参照してください。
   データ形式	csv	メッセージのデータ形式。
   event_hub_resource_id	リソース ID	Event Grid がイベントを送信するように構成されているイベント ハブのリソース ID。
   ストレージアカウントリソースID	リソース ID	インジェスト用のデータを保持しているストレージ アカウントのリソース ID。
   消費者グループ	$Default	ご利用のイベント ハブのコンシューマー グループ。
   場所	米国中部	データ接続リソースの場所。
   Blob ストレージ イベント タイプ	Microsoft.Storage.BlobCreated	インジェストをトリガーするイベントの種類。 サポートされているイベントは、Microsoft.Storage.BlobCreated または Microsoft.Storage.BlobRenamed です。 BLOB の名前変更は、ADLSv2 ストレージに対してのみサポートされています。

次の例は、Event Grid データ接続を追加するための Azure Resource Manager テンプレートを示しています。 フォームを使用して 、Azure portal でテンプレートを編集してデプロイ できます。

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Azure portal から Event Grid 接続を削除するには、次の操作を行います。

1. クラスターに移動します。 左側のメニューから [データベース] を選択 します。 対象となるテーブルを含むデータベースを選択します。
2. 左側のメニューから、[ データ接続] を選択します。 次に、関連する Event Grid データ接続の横にあるチェック ボックスをオンにします。
3. 上部のメニュー バーから [削除] を選択 します。

Event Grid 接続を削除するには、次のコマンドを実行します。

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Event Grid 接続を削除するには、次のコマンドを実行します。

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)