Análise de IoT com o Azure Data Explorer e o Hub IoT do Azure

Esta ideia de solução descreve como o Azure Data Explorer fornece análises quase em tempo real para dados de streaming de fluxo rápido e alto volume de dispositivos e sensores de Internet das Coisas (IoT). Esse fluxo de trabalho de análise faz parte de uma solução geral de IoT que integra cargas de trabalho operacionais e analíticas com o Azure Cosmos DB e o Azure Data Explorer.

Jupyter é uma marca comercial de sua respetiva empresa. O uso desta marca não implica qualquer endosso. Apache® e Apache Kafka® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Arquitetura

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de dados

1. Azure Event Hubs, Azure IoT Hub ou Kafka ingerem uma vasta gama de dados em fluxo rápido, como logs, eventos empresariais e atividades de utilizadores.

2. O Azure Functions ou o Azure Stream Analytics processam os dados quase em tempo real.

3. O Azure Cosmos DB armazena mensagens transmitidas no formato JSON para servir um aplicativo operacional em tempo real.

4. O Azure Data Explorer ingere dados para análise, usando seus conectores para Hubs de Eventos do Azure, Hub IoT do Azure ou Kafka para baixa latência e alta taxa de transferência.

   Como alternativa, você pode ingerir blobs de sua conta do Armazenamento de Blobs do Azure ou do Armazenamento do Azure Data Lake no Azure Data Explorer usando uma conexão de dados da Grade de Eventos.

   Também pode exportar continuamente dados para o Armazenamento do Azure no formato Apache Parquet comprimido e particionado e consultar diretamente os dados com o Azure Data Explorer. Para mais informações, consulte Visão geral da exportação contínua de dados.

5. Para atender aos casos de uso operacionais e analíticos, os dados podem ser roteados para o Azure Data Explorer e o Azure Cosmos DB em paralelo ou do Azure Cosmos DB para o Azure Data Explorer.

   • As transações do Azure Cosmos DB podem acionar o Azure Functions por meio do feed de alterações. As funções transmitirão dados para Hubs de Eventos para ingestão no Azure Data Explorer.

     -ou-

   • O Azure Functions pode invocar os Gêmeos Digitais do Azure por meio de sua API, que transmite dados para Hubs de Eventos para ingestão no Azure Data Explorer.

6. As interfaces a seguir obtêm insights de dados armazenados no Azure Data Explorer:

   • Aplicativos de análise personalizados que mesclam dados de Gêmeos Digitais do Azure e APIs do Azure Data Explorer
   • Painéis de análise quase em tempo real que usam painéis do Azure Data Explorer, Power BI ou Grafana
   • Alertas e notificações do conector do Azure Data Explorer para Aplicativos Lógicos do Azure
   • Os blocos de anotações da Web do Azure Data Explorer, Kusto.Explorer e Jupyter

7. O Azure Data Explorer integra-se com o Azure Databricks e o Azure Machine Learning para fornecer serviços de aprendizagem automática (ML). Você também pode criar modelos de ML usando outras ferramentas e serviços e exportá-los para o Azure Data Explorer para pontuar dados.

Componentes

Esta ideia de solução usa os seguintes componentes do Azure.

Azure Data Explorer

• A deteção e previsão de anomalias é uma funcionalidade de análise incorporada no Azure Data Explorer. Deteta valores anómalos e prevê valores futuros para apoiar a monitorização proativa e a tomada de decisões. Nessa arquitetura, ele identifica padrões incomuns na telemetria IoT e prevê o comportamento esperado ao longo do tempo.

• O diagnóstico de anomalias para análise de raiz é um recurso de Kusto Query Language (KQL) que ajuda a identificar as causas raiz das anomalias. Ele analisa dimensões e métricas de contribuição para agilizar a solução de problemas. Nessa arquitetura, ele isola a fonte de anomalias detetadas nos dados do dispositivo.

• O Azure Data Explorer é um serviço de análise de alto desempenho totalmente gerenciado. Ele processa grandes volumes de dados de streaming de aplicativos, sites e dispositivos IoT quase em tempo real. Nessa arquitetura, ele serve como o mecanismo de análise central para ingerir, consultar e visualizar dados de IoT.

• Os painéis do Azure Data Explorer são um recurso de visualização na interface do usuário da Web. Eles permitem que os usuários exportem consultas Kusto para painéis interativos para exploração de dados em tempo real. Nessa arquitetura, eles exibem insights de fluxos de dados de IoT e resultados de deteção de anomalias.

• A interface do usuário da Web do Azure Data Explorer é uma interface baseada em navegador para trabalhar com clusters do Azure Data Explorer. Ele suporta escrever, executar e compartilhar comandos e consultas KQL. Nessa arquitetura, ele fornece um espaço de trabalho para os analistas consultarem e explorarem a telemetria IoT.

• A análise de séries temporais é um recurso interno no Azure Data Explorer. Ele permite que os usuários explorem padrões temporais, tendências e sazonalidade em dados baseados no tempo. Nesta arquitetura, revela tendências de longo prazo e comportamento cíclico nas leituras de sensores IoT.

Outros componentes do Azure

• O Azure Cosmos DB é um serviço de banco de dados NoSQL rápido e totalmente gerenciado para desenvolvimento de aplicativos modernos com APIs abertas para qualquer escala. Nessa arquitetura, ele armazena dados operacionais de dispositivos IoT para acesso escalável e de baixa latência.

• O Azure Digital Twins é uma plataforma para modelar ambientes físicos como representações digitais. Nessa arquitetura, ele mantém modelos digitais de ativos conectados à IoT para dar suporte à análise espacial e insights contextuais.

• O Hub IoT do Azure permite a comunicação bidirecional entre dispositivos IoT e a nuvem do Azure. Nessa arquitetura, ele serve como o hub de mensagens central para telemetria de dispositivo e operações de comando e controle.

• Os Hubs de Eventos são um serviço de ingestão de dados em tempo real totalmente gerenciado. Nessa arquitetura, ele ingere a telemetria de dispositivos IoT e a transmite para o pipeline de análise.

• O Kafka no HDInsight é um serviço econômico de nível empresarial para executar o Apache Kafka no Azure. Nessa arquitetura, ele fornece um backbone de streaming alternativo para ingerir e distribuir dados de IoT.

Detalhes do cenário

Esta solução utiliza o Azure Data Explorer para obter análises de telemetria IoT quase em tempo real sobre dados de fluxo rápido e grande volume de dados de uma vasta gama de dispositivos IoT.

Potenciais casos de utilização

• Gestão de frotas, para manutenção preditiva de peças de veículos. Esta solução é ideal para a indústria automóvel e de transportes.
• Gestão de instalações, para otimização energética e ambiental.
• Combinando condições de estrada em tempo real com dados meteorológicos para uma condução autónoma mais segura.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

• Shlomo Sagir - Brasil | Desenvolvedor de Conteúdo Sênior

Próximos passos

• O que é o Azure Data Explorer?
• Visualizar dados com dashboards do Azure Data Explorer

Recurso relacionado

• Design de arquitetura do Google Analytics