Analytique IoT avec Azure Data Explorer et Azure IoT Hub

Cette idée de solution décrit comment Azure Data Explorer fournit des analyses en quasi temps réel pour un large volume de données de diffusion en continu rapides à partir d’appareils et de capteurs IoT (Internet of Things). Ce flux de travail d’analytique fait partie d’une solution IoT globale qui intègre des charges de travail opérationnelles et analytiques avec Azure Cosmos DB et Azure Data Explorer.

Jupyter est une marque appartenant à la société à laquelle elle est associée. L’utilisation de cette marque n’implique aucune approbation de sa part. Apache® et Apache Kafka® sont des marques déposées ou des marques commerciales de l’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Téléchargez un fichier Visio de cette architecture.

Flux de données

1. Azure Event Hubs, Azure IoT Hub ou Kafka ingestent un large éventail de données en continu à grande vitesse, telles que les journaux, les événements métiers et les activités des utilisateurs.

2. Azure Functions ou Azure Stream Analytics traitent les données en quasi temps réel.

3. Azure Cosmos DB stocke les messages diffusés en continu au format JSON pour servir une application opérationnelle en temps réel.

4. Azure Data Explorer ingère des données pour l’analytique, en utilisant ses connecteurs pour Azure Event Hubs, Azure IoT Hub ou Kafka pour une faible latence et un débit élevé.

   Vous pouvez également ingérer des objets blob à partir de votre compte de Stockage Blob Azure ou Azure Data Lake Storage dans Azure Data Explorer à l’aide d’une connexion de données Event Grid.

   Vous pouvez également exporter en continu des données vers stockage Azure au format Apache Parquet compressé, partitionné et interroger en toute transparence les données avec Azure Data Explorer. Pour plus d’informations, consultez vue d’ensemble de l’exportation de données continue.

5. Pour servir à la fois à des cas d’usage opérationnels et analytiques, les données peuvent être acheminées vers Azure Data Explorer et Azure Cosmos DB en parallèle, ou bien d’Azure Cosmos DB vers Azure Data Explorer.

   • Les transactions Azure Cosmos DB peuvent déclencher des Azure Functions via un flux de modification. Functions diffusera des données vers Event Hubs pour l’ingestion dans Azure Data Explorer.

     -ou-

   • Azure Functions peut appeler Azure Digital Twins via son API, qui transmet ensuite des données à Event Hubs pour l’ingestion dans Azure Data Explorer.

6. Les interfaces suivantes obtiennent des insights à partir de données stockées dans Azure Data Explorer :

   • Applications d’analyse personnalisées qui combinent des données à partir d’Azure Digital Twins et d’API Azure Data Explorer
   • Tableaux de bord d’analyse en quasi-temps réel utilisant des tableaux de bord d’Azure Data Explorer, de Power BI ou de Grafana.
   • Alertes et notifications à partir du connecteur Azure Data Explorer pour Azure Logic Apps.
   • L’interface utilisateur web Azure Data Explorer, Kusto.Explorer et notebooks Jupyter

7. Azure Data Explorer s’intègre à Azure Databricks et Azure Machine Learning pour fournir des services Machine Learning (ML). Vous pouvez créer des modèles à l’aide d’autres outils et services et exporter des modèles ML vers Azure Data Explorer pour le scoring des données.

Composants

Cette idée de solution utilise les composants Azure suivants.

Explorateur de données Azure

• La détection et la prévision des anomalies sont une fonctionnalité d’analytique intégrée dans Azure Data Explorer. Il détecte les valeurs hors norme et prédit les valeurs futures pour prendre en charge la surveillance proactive et la prise de décision. Dans cette architecture, elle identifie des modèles inhabituels dans les données de télémétrie IoT et les prévisions du comportement attendu au fil du temps.

• Le diagnostic d’anomalie pour l’analyse racine est une fonctionnalité KQL (Kusto Query Language) qui permet d’identifier les causes racines des anomalies. Il analyse les dimensions et les métriques qui contribuent à simplifier la résolution des problèmes. Dans cette architecture, elle isole la source des anomalies détectées dans les données de l’appareil.

• Azure Data Explorer est un service d’analytique haute performance entièrement managé. Il traite de grands volumes de données de streaming à partir d’applications, de sites web et d’appareils IoT en quasi-temps réel. Dans cette architecture, elle sert de moteur d’analytique central pour l’ingestion, l’interrogation et la visualisation des données IoT.

• Les tableaux de bord Azure Data Explorer sont une fonctionnalité de visualisation au sein de l’interface utilisateur web. Ils permettent aux utilisateurs d’exporter des requêtes Kusto dans des tableaux de bord interactifs pour l’exploration des données en temps réel. Dans cette architecture, ils affichent des insights à partir de flux de données IoT et des résultats de détection d’anomalies.

• L’interface utilisateur web d’Azure Data Explorer est une interface basée sur un navigateur permettant d’utiliser des clusters Azure Data Explorer. Il prend en charge l’écriture, l’exécution et le partage de commandes et de requêtes KQL. Dans cette architecture, il fournit un espace de travail permettant aux analystes d’interroger et d’explorer les données de télémétrie IoT.

• L’analyse de série chronologique est une fonctionnalité intégrée dans Azure Data Explorer. Il permet aux utilisateurs d’explorer les modèles temporels, les tendances et la saisonnalité dans les données temporelles. Dans cette architecture, elle révèle les tendances à long terme et le comportement cyclique dans les lectures de capteur IoT.

Autres composants Azure

• Azure Cosmos DB est un service de base de données NoSQL rapide complètement managé pour le développement d’applications modernes avec des API ouvertes à toutes les échelles. Dans cette architecture, elle stocke les données opérationnelles à partir d’appareils IoT pour un accès évolutif et à faible latence.

• Azure Digital Twins est une plateforme permettant de modéliser des environnements physiques en tant que représentations numériques. Dans cette architecture, elle gère les modèles numériques des ressources connectées à IoT pour prendre en charge l’analyse spatiale et les insights contextuels.

• Azure IoT Hub active la communication bidirectionnelle entre les appareils IoT et lr cloud Azure. Dans cette architecture, elle sert de hub de messagerie central pour les opérations de télémétrie et de commande et de contrôle des appareils.

• Event Hubs est un service d’ingestion de données en temps réel entièrement managé. Dans cette architecture, elle ingère les données de télémétrie à partir d’appareils IoT et les diffuse dans le pipeline d’analytique.

• Kafka sur HDInsight est un service économique de qualité entreprise pour l’exécution d’Apache Kafka sur Azure. Dans cette architecture, elle fournit une autre colonne principale de diffusion en continu pour l’ingestion et la distribution de données IoT.

Détails du scénario

Cette solution utilise Azure Data Explorer pour obtenir des analyses de télémétrie d'objets connectés quasi en temps réel sur des données de streaming à haut débit et en grande quantité à partir d’un large éventail d’appareils IoT.

Cas d’usage potentiels

• Gestion du parc, pour la maintenance prédictive des pièces de véhicule. Cette solution est idéale pour les secteurs de l’automobile et des transports.
• Gestion des installations, pour l’optimisation de l’énergie et de l’environnement.
• Combinaison de conditions routières en temps réel avec des données météorologiques pour une conduite autonome plus sûre.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Shlomo Sagir | Développeur de contenu senior

Étapes suivantes

• Qu’est-ce que l’Explorateur de données Azure ?
• Visualiser des données avec des tableaux de bord Azure Data Explorer

Ressource associée

• Conception de l’architecture d’analyse