解決方案構想
本文說明解決方案概念。 您的雲端架構師可以使用本指南,協助視覺化此架構的一般實作的主要元件。 以本文為起點,設計符合您工作負載具體要求的完善解決方案。
此解決方案概念描述 Azure 數據總管如何提供近乎即時的分析,以便從物聯網(IoT) 裝置和感測器快速流動、大量串流數據。 此分析工作流程是整體IoT解決方案的一部分,可將作業和分析工作負載與 Azure Cosmos DB 和 Azure 資料總管整合。
Jupyter 是其各自公司的商標。 使用此標記時不會隱含任何背書。 Apache® 和 Apache Kafkak® 是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。
架構
下載此架構的 Visio 檔案。
資料流程
Azure Event Hubs、Azure IoT Hub 或 Kafka 會匯入大量快速流動的串流資料,如日誌、商業事件及使用者活動。
Azure Functions 或 Azure 串流分析會近乎即時地處理數據。
Azure Cosmos DB 會以 JSON 格式儲存串流訊息,以提供即時作業應用程式。
Azure 數據總管會擷取用於分析的數據,其連接器用於 Azure 事件中樞、Azure IoT 中樞 或 Kafka,以取得低延遲和高輸送量。
或者,您可以使用事件方格數據連線,將 blob 從 Azure Blob 儲存體 或 Azure Data Lake Storage 帳戶擷取至 Azure 數據總管。
您也可以使用壓縮、分割的 Apache Parquet 格式持續將數據匯出至 Azure 儲存體,並使用 Azure 數據總管順暢地查詢數據。 欲了解更多資訊,請參閱 持續資料匯出概述。
為了同時提供操作和分析使用案例,數據可以平行路由至 Azure 數據總管和 Azure Cosmos DB,或從 Azure Cosmos DB 路由至 Azure 數據總管。
Azure Cosmos DB 交易可以透過變更摘要觸發 Azure Functions。 函式會將數據串流至事件中樞,以擷取至 Azure 數據總管。
-或-
Azure Functions 可以透過其 API 叫用 Azure Digital Twins,然後將數據串流至事件中樞以擷取至 Azure 數據總管。
下列介面會從儲存在 Azure 數據總管中的數據取得見解:
- 從 Azure Digital Twins 和 Azure 數據總管 API 混合數據的自定義分析應用程式
- 使用 Azure 數據總管儀錶板、 Power BI 或 Grafana 的近乎即時分析儀錶板
- 適用於 Azure Logic Apps 的 Azure 數據總管連接器的 警示和通知
- Azure 數據總管 Web UI、 Kusto.Explorer 和 Jupyter Notebook
Azure 數據總管會與 Azure Databricks 和 Azure 機器學習 整合,以提供機器學習服務(ML) 服務。 您也可以使用其他工具和服務來建置 ML 模型,並將其匯出至 Azure 數據總管來評分數據。
元件
此解決方案概念使用下列 Azure 元件。
Azure Data Explorer
異常偵測和預測 是 Azure 資料總管中的內建分析功能。 它檢測異常值並預測未來值,以支持主動監控和決策。 在此架構中,它會識別 IoT 遙測中的異常模式,並預測一段時間內的預期行為。
根分析的異常診斷 是 Kusto 查詢語言 (KQL) 功能,可協助識別異常的根本原因。 它分析貢獻維度和指標以簡化故障排除。 在此架構中,它隔離了裝置資料中偵測到的異常來源。
Azure 資料總管 是完全受控的高效能分析服務。 它近乎即時地處理來自應用程式、網站和物聯網裝置的大量串流資料。 在此架構中,它可作為中央分析引擎,用於擷取、查詢和視覺化 IoT 資料。
Azure 資料總管儀表板 是 Web UI 內的視覺效果功能。 它們允許使用者將 Kusto 查詢匯出到互動式儀表板中,以進行即時資料探索。 在此架構中,它們會顯示來自 IoT 資料串流和異常偵測結果的深入解析。
Azure 資料總管 Web UI 是瀏覽器型介面,可用來使用 Azure 資料總管叢集。 它支援撰寫、執行和共用 KQL 命令和查詢。 在此架構中,它提供工作區供分析師查詢和探索 IoT 遙測。
時間序列分析 是 Azure 資料總管中的內建功能。 它使用戶能夠探索基於時間的數據中的時間模式、趨勢和季節性。 在此架構中,它揭示了物聯網感測器讀數的長期趨勢和週期行為。
其他 Azure 元件
Azure Cosmos DB 是完全受控、快速的 NoSQL 資料庫服務,適用於新式應用程式開發,並針對任何規模開放 API。 在此架構中,它儲存來自物聯網設備的操作數據,以實現可擴展的低延遲存取。
Azure Digital Twins 是將實體環境建模為數位表示法的平台。 在此架構中,它維護物聯網連接資產的數字模型,以支持空間分析和上下文洞察。
Azure IoT 中樞 可在IoT裝置與 Azure 雲端之間進行雙向通訊。 在此架構中,它可作為裝置遙測和命令與控制作業的中央傳訊中心。
事件中樞 是完全受控的即時資料擷取服務。 在此架構中,它會從 IoT 裝置擷取遙測資料,並將其串流至分析管線。
HDInsight 上的 Kafka 是在 Azure 上執行 Apache Kafka 的企業級符合成本效益的服務。 在此架構中,它提供替代串流骨幹來擷取和散發 IoT 資料。
案例詳細資料
此解決方案利用 Azure Data Explorer,對來自各種物聯網裝置的高速、大量串流資料,進行近乎即時的物聯網遙測分析。
潛在使用案例
- 車隊管理,用於車輛零件的預測性維護。 此解決方案適用於汽車和運輸業。
- 設施管理,用於能源和環境優化。
- 將即時路況與天氣數據相結合,實現更安全的自動駕駛。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者:
- Shlomo Sagir |資深內容開發人員