Compartir a través de

Análisis de IoT con Azure Data Explorer y Azure IoT Hub

Azure Cosmos DB
Explorador de datos de Azure
Azure Digital Twins
Azure IoT Hub

Ideas de solución

En este artículo se describe una idea de solución. El arquitecto de la nube puede usar esta guía para ayudar a visualizar los componentes principales de una implementación típica de esta arquitectura. Use este artículo como punto de partida para diseñar una solución bien diseñada que se adapte a los requisitos específicos de la carga de trabajo.

En esta idea de solución se describe cómo Azure Data Explorer proporciona análisis casi en tiempo real para flujos de datos de streaming rápidos y de gran volumen procedentes de dispositivos y sensores de Internet de las cosas (IoT). Este flujo de trabajo de análisis forma parte de una solución de IoT general que integra cargas de trabajo operativas y analíticas con Azure Cosmos DB y Azure Data Explorer.

Jupyter es una marca comercial de su empresa respectiva. El uso de esta marca no implica ninguna aprobación. Apache® y Apache Kafka® son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos u otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Arquitectura

Diagrama que muestra el análisis de telemetría de IoT con Azure Data Explorer.

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

  1. Azure Event Hubs, Azure IoT Hub o Kafka ingieren una amplia gama de datos de streaming de flujo rápido, como registros, eventos empresariales y actividades de usuario.

  2. Azure Functions o Azure Stream Analytics procesan los datos casi en tiempo real.

  3. Azure Cosmos DB almacena los mensajes transmitidos en formato JSON para servir a una aplicación operativa en tiempo real.

  4. Azure Data Explorer ingiere datos de análisis, usando sus conectores de Azure Event Hubs, Azure IoT Hub o Kafka para reducir la latencia y aumentar el rendimiento.

    Como alternativa, puede ingerir blobs de su cuenta de Azure Blob Storage o Azure Data Lake Storage en Azure Data Explorer mediante una conexión de datos de Event Grid.

    También puede exportar datos continuamente a Azure Storage en formato de Apache Parquet comprimido y con particiones, y consultar íntegramente los datos con Azure Data Explorer. Para más información, consulte Introducción a la exportación continua de datos.

  5. Para que sirvan a los casos de uso analítico y operativo, los datos se pueden enrutar a Azure Data Explorer y Azure Cosmos DB en paralelo, o de Azure Cosmos DB a Azure Data Explorer.

    • Las transacciones de Azure Cosmos DB pueden desencadenar Azure Functions a través de la fuente de cambios. Functions transmitirá datos a Event Hubs para la ingesta en Azure Data Explorer.

      O bien

    • Azure Functions puede invocar Azure Digital Twins mediante su API, que luego transmite datos a Event Hubs para la ingesta en Azure Data Explorer.

  6. Las interfaces siguientes extraen información de los datos almacenados en Azure Data Explorer:

  7. Azure Data Explorer se integra con Azure Databricks y Azure Machine Learning para proporcionar servicios de aprendizaje automático (ML). También puede crear modelos con otras herramientas y servicios y exportarlos a Azure Data Explorer para puntuar los datos.

Componentes

Esta idea de solución usa los siguientes componentes de Azure.

Explorador de datos de Azure

  • La detección y previsión de anomalías es una característica de análisis integrada en Azure Data Explorer. Detecta valores atípicos y predice valores futuros para admitir la supervisión proactiva y la toma de decisiones. En esta arquitectura, identifica patrones inusuales en la telemetría de IoT y prevé el comportamiento esperado a lo largo del tiempo.

  • El diagnóstico de anomalías para el análisis raíz es una funcionalidad del lenguaje de consulta kusto (KQL) que ayuda a identificar las causas principales de anomalías. Analiza las dimensiones y métricas que contribuyen para simplificar la solución de problemas. En esta arquitectura, aísla el origen de anomalías detectadas en los datos del dispositivo.

  • Azure Data Explorer es un servicio de análisis de alto rendimiento totalmente administrado. Procesa grandes volúmenes de datos de streaming de aplicaciones, sitios web y dispositivos IoT casi en tiempo real. En esta arquitectura, actúa como motor de análisis central para ingerir, consultar y visualizar datos de IoT.

  • Los paneles de Azure Data Explorer son una característica de visualización dentro de la interfaz de usuario web. Permiten a los usuarios exportar consultas de Kusto a paneles interactivos para la exploración de datos en tiempo real. En esta arquitectura, muestran información de flujos de datos de IoT y resultados de detección de anomalías.

  • La interfaz de usuario web de Azure Data Explorer es una interfaz basada en explorador para trabajar con clústeres de Azure Data Explorer. Admite la escritura, ejecución y uso compartido de comandos y consultas de KQL. En esta arquitectura, proporciona un área de trabajo para que los analistas consulten y exploren la telemetría de IoT.

  • El análisis de series temporales es una funcionalidad integrada en Azure Data Explorer. Permite a los usuarios explorar patrones temporales, tendencias y estacionalidad en datos basados en tiempo. En esta arquitectura, revela tendencias a largo plazo y comportamiento cíclico en las lecturas del sensor de IoT.

Otros componentes de Azure

  • Azure Cosmos DB es un servicio de base de datos NoSQL rápido y totalmente administrado para el desarrollo de aplicaciones modernas con API abiertas para cualquier escala. En esta arquitectura, almacena datos operativos de dispositivos IoT para el acceso escalable y de baja latencia.

  • Azure Digital Twins es una plataforma para modelar entornos físicos como representaciones digitales. En esta arquitectura, mantiene modelos digitales de recursos conectados a IoT para admitir el análisis espacial y la información contextual.

  • Azure IoT Hub permite la comunicación bidireccional entre los dispositivos IoT y la nube de Azure. En esta arquitectura, actúa como el centro de mensajería central para las operaciones de telemetría y comandos y control del dispositivo.

  • Event Hubs es un servicio de ingesta de datos en tiempo real totalmente administrado. En esta arquitectura, ingiere telemetría de dispositivos IoT y la transmite a la canalización de análisis.

  • Kafka en HDInsight es un servicio rentable y de nivel empresarial para ejecutar Apache Kafka en Azure. En esta arquitectura, proporciona una red troncal de streaming alternativa para ingerir y distribuir datos de IoT.

Detalles del escenario

Esta solución usa Azure Data Explorer para obtener análisis de telemetría de IoT casi en tiempo real en datos de streaming de flujo rápido y de gran volumen desde una amplia gama de dispositivos IoT.

Posibles casos de uso

  • Gestión de flotas, para el mantenimiento predictivo de piezas de vehículo. Esta solución es idónea para los sectores de automoción y transporte.
  • Gestión de instalaciones, para la optimización de la energía y el entorno.
  • Combinación de condiciones de carretera en tiempo real con datos meteorológicos para una conducción autónoma más segura.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

Pasos siguientes