IoT-Analysen mit Azure Data Explorer und Azure IoT Hub

In dieser Lösungsidee wird beschrieben, wie Azure Data Explorer nahezu echtzeitbasierte Analysen für schnelles, schnelles Streaming von Daten aus Internet of Things(IoT)-Geräten und Sensoren bereitstellt. Dieser Analyseworkflow ist Teil einer gesamten IoT-Lösung, die operative und analytische Workloads mit Azure Cosmos DB und Azure Data Explorer integriert.

Jupyter ist eine Marke des entsprechenden Unternehmens. Die Verwendung dieser Marke impliziert keine Empfehlung. Apache® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.

Aufbau

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

1. Azure Event Hubs, Azure IoT Hub oder Kafka nehmen eine vielzahl von schnell fließenden Streamingdaten wie Protokollen, Geschäftsereignissen und Benutzeraktivitäten auf.

2. Azure Functions oder Azure Stream Analytics verarbeiten die Daten in Echtzeit.

3. Azure Cosmos DB speichert streamte Nachrichten im JSON-Format, um eine Echtzeitbetriebsanwendung zu dienen.

4. Azure Data Explorer nimmt Daten für Analysen auf und verwendet seine Konnektoren für Azure Event Hubs, Azure IoT Hub oder Kafka für niedrige Latenz und hohen Durchsatz.

   Alternativ können Sie Blobs aus Ihrem Azure Blob Storage- oder Azure Data Lake Storage-Konto in Azure Data Explorer mithilfe einer Ereignisrasterdatenverbindung erfassen.

   Sie können auch Daten kontinuierlich in Azure Storage in komprimiertem, partitioniertem Apache-Parkettformat exportieren und die Daten nahtlos mit Azure Data Explorer abfragen. Weitere Informationen finden Sie unter Übersicht über den fortlaufenden Datenexport.

5. Um sowohl die operativen als auch die analytischen Anwendungsfälle zu bedienen, können die Daten entweder parallel zu Azure Data Explorer und Azure Cosmos DB oder von Azure Cosmos DB zu Azure Data Explorer geleitet werden.

   • Azure Cosmos DB-Transaktionen können Azure Functions über den Änderungsfeed auslösen. Funktionen streamen Daten in Event Hubs für die Aufnahme in Azure Data Explorer.

     Oder

   • Azure Functions können Azure Digital Twins über die API aufrufen, die dann Daten zu Event Hubs für die Aufnahme in Azure Data Explorer streamen.

6. Die folgenden Schnittstellen erhalten Einblicke aus Daten, die in Azure Data Explorer gespeichert sind:

   • Benutzerdefinierte Analyse-Apps, die Daten aus Azure Digital Twins und Azure Data Explorer APIs kombinieren
   • Analyse-Dashboards in Quasi-Echtzeit, die Azure Data Explorer Dashboards Power BI oder Grafana verwenden
   • Alarme und Benachrichtigungen vom Azure Data Explorer Connector für Azure Logic Apps
   • Die Azure Data Explorer Web-Benutzeroberfläche, Kusto.Explorer und Jupyter Notebooks

7. Azure Data Explorer lässt sich in Azure Databricks und Azure Machine Learning integriert, um ML-Dienste (Maschinelles Lernen) bereitzustellen. Sie können ML-Modelle auch mit anderen Tools und Diensten erstellen und sie in den Azure Data Explorer exportieren, um Daten zu bewerten.

Komponenten

Diese Lösungsidee verwendet die folgenden Azure-Komponenten.

Azure-Daten-Explorer

• Anomalieerkennung und Prognose ist ein integriertes Analysefeature im Azure-Daten-Explorer. Er erkennt Ausreißer und prognostiziert zukünftige Werte, um proaktive Überwachung und Entscheidungsfindung zu unterstützen. In dieser Architektur werden ungewöhnliche Muster in IoT-Telemetrie und erwarteten Verhaltensweisen im Laufe der Zeit identifiziert.

• Anomaliediagnose für die Stammanalyse ist eine Kusto Query Language (KQL)-Funktion, die hilft, die Ursachen von Anomalien zu identifizieren. Es analysiert die beitragenden Dimensionen und Metriken, um die Problembehandlung zu optimieren. In dieser Architektur isoliert sie die Quelle von Anomalien, die in Gerätedaten erkannt wurden.

• Azure Data Explorer ist ein vollständig verwalteter, leistungsstarker Analysedienst. Es verarbeitet große Mengen von Streamingdaten von Anwendungen, Websites und IoT-Geräten in nahezu Echtzeit. In dieser Architektur dient sie als zentrales Analysemodul zum Aufnehmen, Abfragen und Visualisieren von IoT-Daten.

• Azure Data Explorer-Dashboards sind ein Visualisierungsfeature in der Web-UI. Sie ermöglichen Es Benutzern, Kusto-Abfragen in interaktive Dashboards für die Echtzeit-Datensuche zu exportieren. In dieser Architektur zeigen sie Erkenntnisse aus IoT-Datenströmen und Anomalieerkennungsergebnissen an.

• Azure Data Explorer Web UI ist eine browserbasierte Schnittstelle für die Arbeit mit Azure Data Explorer-Clustern. Es unterstützt das Schreiben, Ausführen und Freigeben von KQL-Befehlen und Abfragen. In dieser Architektur bietet sie einen Arbeitsbereich, in dem Analysten IoT-Telemetrie abfragen und untersuchen können.

• Zeitreihenanalyse ist eine integrierte Funktion im Azure Data Explorer. Sie ermöglicht es Benutzern, zeitliche Muster, Trends und Saisonalität in zeitbasierten Daten zu untersuchen. In dieser Architektur werden langfristige Trends und zyklisches Verhalten in IoT-Sensorwerten offenbart.

Weitere Azure-Komponenten

• Azure Cosmos DB: Vollständig verwalteter NoSQL-Datenbankdienst für die moderne App-Entwicklung mit offenen APIs für jede Größe In dieser Architektur speichert sie Betriebsdaten von IoT-Geräten für skalierbaren Zugriff mit geringer Latenz.

• Azure Digital Twins ist eine Plattform zum Modellieren physischer Umgebungen als digitale Darstellungen. In dieser Architektur verwaltet es digitale Modelle von ioT-verbundenen Ressourcen, um räumliche Analysen und kontextbezogene Erkenntnisse zu unterstützen.

• Azure IoT Hub ermöglicht die bidirektionale Kommunikation zwischen IoT-Geräten und der Azure-Cloud. In dieser Architektur dient sie als zentraler Messaging-Hub für Gerätetelemetrie- und Befehls- und Steuerungsvorgänge.

• Event Hubs ist ein vollständig verwalteter Echtzeitdatenaufnahmedienst. In dieser Architektur erfasst sie Telemetrie von IoT-Geräten und streamt sie in die Analysepipeline.

• Kafka auf HDInsight ist ein kostengünstiger Dienst auf Unternehmensniveau für die Ausführung von Apache Kafka auf Azure. In dieser Architektur bietet es ein alternatives Streaming-Backbone zum Aufnehmen und Verteilen von IoT-Daten.

Szenariodetails

Diese Lösung verwendet Azure Data Explorer, um Nahezu-Echtzeit-IoT-Telemetrieanalysen auf schnell fließenden, volumenstarken Streamingdaten aus einer vielzahl von IoT-Geräten zu erhalten.

Mögliche Anwendungsfälle

• Flottenmanagement für die prädiktive Wartung von Fahrzeugteilen. Diese Lösung eignet sich ideal für die Automobil- und Transportbranche.
• Anlagenverwaltung, für Energie- und Umweltoptimierung.
• Kombinieren von Echtzeit-Straßenbedingungen mit Wetterdaten für sichereres autonomes Fahren.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

• Shlomo Sagir | Senior Content Developer

Nächste Schritte

• Was ist der Azure-Daten-Explorer?
• Visualisieren von Daten mit Azure Data Explorer-Dashboards

Zugehörige Ressource

• Design der Analysearchitektur