Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins
Azure IoT Hub
ソリューションのアイデア
この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトはこのガイダンスを使用すると、このアーキテクチャの一般的な実装の主要コンポーネントを視覚化しやすくなります。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。
このソリューションのアイデアでは、モノのインターネット (IoT) デバイスとセンサーから高速に流れる大量のストリーミング データに対して Azure Data Explorer が凖リアルタイムの分析を提供する方法について説明します。 この分析ワークフローは、運用ワークロードと分析ワークロードを Azure Cosmos DB および Azure Data Explorer と統合する全体的な IoT ソリューションの一部です。
Jupyter は、各社の商標です。 このマークを使用することは、保証を意味するものではありません。 Apache® および Apache Kafka® は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。
アーキテクチャ
このアーキテクチャの Visio ファイル をダウンロードします。
データフロー
Azure Event Hubs、Azure IoT Hub、Kafka は、ログ、ビジネス イベント、ユーザー アクティビティなど、高速に流れるさまざまなストリーミング データを取り込みます。
Azure Functions または Azure Stream Analytics では、ほぼリアルタイムでデータが処理されます。
Azure Cosmos DB では、ストリーミングされたメッセージが JSON 形式で保存され、リアルタイムの運用アプリケーションが提供されます。
Azure Data Explorer では、 Azure Event Hubs、 Azure IoT Hub または Kafka 用のコネクタを使用して、分析用のデータを取り込み、低待機時間と高スループットを実現します。
または、 Event Grid データ接続を使用して、 Azure Blob Storage または Azure Data Lake Storage アカウントから Azure Data Explorer に BLOB を取り込むことができます。
また、圧縮され、パーティション分割された Apache Parquet 形式でAzure Storage に継続的にデータをエクスポートし、Azure Data Explorerを使用してデータに対してシームレスにクエリを実行できます。 詳細については、「 連続データ エクスポートの概要」を参照してください。
運用と分析の両方のユース ケースに対応するため、データは Azure Data Explorer と Azure Cosmos DB に並行してルーティングすることも、Azure Cosmos DB から Azure Data Explorer にルーティングすることもできます。
Azure Cosmos DB トランザクションは、変更フィードを介して Azure Functions をトリガーできます。 Functions は、Azure Data Explorerへのインジェストのために Event Hubs にデータをストリーミングします。
または
Azure Functions はその API を介して Azure Digital Twins を呼び出します。これにより、データが Event Hubs にストリーミングされ、Azure Data Explorer に取り込まれます。
次のインターフェイスでは、Azure Data Explorer に保存されているデータから分析情報が取得されます。
- Azure Digital Twins と Azure Data Explorer API からのデータをブレンドするカスタム分析アプリ
- Azure Data Explorer ダッシュボード、 Power BI または Grafanaを使用する、ほぼリアルタイムの分析ダッシュボード
- Azure Logic Apps 用の Azure Data Explorer コネクタからのアラートと通知
- Azure Data Explorer Web UI、 Kusto.Explorer および Jupyter Notebook
Azure Data Explorer は Azure Databricks および Azure Machine Learning と統合され、機械学習 (ML) サービスが提供されます。 他のツールやサービスを使用して ML モデルを構築し、それらを Azure Data Explorer にエクスポートしてデータをスコア付けできます。
コンポーネント
このソリューションのアイデアでは、次の Azure コンポーネントを使用します。
Azure Data Explorer
異常検出と予測 は、 Azure Data Explorer の組み込みの分析機能です。 外れ値を検出し、将来の値を予測して、プロアクティブな監視と意思決定をサポートします。 このアーキテクチャでは、IoT テレメトリの異常なパターンを特定し、時間の経過と同時に予想される動作を予測します。
ルート分析の異常診断 は、異常の根本原因を特定するのに役立つ Kusto クエリ言語 (KQL) 機能です。 これは、貢献するディメンションとメトリックを分析して、トラブルシューティングを効率化します。 このアーキテクチャでは、デバイス データで検出された異常の原因を分離します。
Azure Data Explorer は、フル マネージドの高パフォーマンス分析サービスです。 アプリケーション、Web サイト、IoT デバイスからの大量のストリーミング データをほぼリアルタイムで処理します。 このアーキテクチャでは、IoT データを取り込み、クエリを実行し、視覚化するための中心的な分析エンジンとして機能します。
Azure Data Explorer ダッシュボード は、Web UI 内の視覚化機能です。 これにより、ユーザーは Kusto クエリを対話型ダッシュボードにエクスポートして、リアルタイムのデータ探索を行うことができます。 このアーキテクチャでは、IoT データ ストリームからの分析情報と異常検出結果が表示されます。
Azure Data Explorer Web UI は、Azure Data Explorer クラスターを操作するためのブラウザー ベースのインターフェイスです。 KQL コマンドとクエリの作成、実行、共有がサポートされています。 このアーキテクチャでは、アナリストが IoT テレメトリのクエリと探索を行うワークスペースを提供します。
時系列分析 は、Azure Data Explorer の組み込み機能です。 これにより、ユーザーは時間ベースのデータの一時的なパターン、傾向、季節性を調べることができます。 このアーキテクチャでは、IoT センサーの読み取り値における長期的な傾向と循環的な動作が明らかになります。
その他の Azure コンポーネント
Azure Cosmos DB は、あらゆる規模に対応するオープン API を備え、最新のアプリ開発に対応する、フル マネージドの高速 NoSQL データベース サービスです。 このアーキテクチャでは、スケーラブルで待ち時間の短いアクセスのために、IoT デバイスからの運用データを格納します。
Azure Digital Twins は、物理環境をデジタル表現としてモデル化するためのプラットフォームです。 このアーキテクチャでは、空間分析とコンテキスト分析をサポートするために、IoT に接続された資産のデジタル モデルを維持します。
Azure IoT Hub により IoT デバイスと Azure クラウド間の双方向通信が可能になります。 このアーキテクチャでは、デバイス テレメトリとコマンドアンドコントロール操作の中央メッセージング ハブとして機能します。
Event Hubs は、フル マネージドのリアルタイム データ インジェスト サービスです。 このアーキテクチャでは、IoT デバイスからテレメトリを取り込み、分析パイプラインにストリーム配信します。
HDInsight 上の Kafka は、Azure で Apache Kafka を実行するためのエンタープライズ レベルのコスト効率の高いサービスです。 このアーキテクチャでは、IoT データを取り込んで配布するための代替ストリーミング バックボーンを提供します。
シナリオの詳細
このソリューションでは、Azure Data Explorer を使用して、さまざまな IoT デバイスから高速に流れる大量のストリーミング データに対するほぼリアルタイムの IoT テレメトリ分析を取得します。
考えられるユース ケース
- 車両部品の予測メンテナンスのためのフリート管理。 このソリューションは、自動車および輸送業界に最適です。
- エネルギーと環境の最適化のための設備管理。
- リアルタイムの道路状況と気象データを組み合わせて、より安全な自動運転を実現します。
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパル作成者:
- Shlomo Sagir | シニア コンテンツ開発者