Analiza IoT za pomocą usług Azure Data Explorer i Azure IoT Hub

W tym rozwiązaniu opisano sposób, w jaki usługa Azure Data Explorer zapewnia niemal analizę w czasie rzeczywistym na potrzeby szybkiego przepływu, dużych ilości danych przesyłanych strumieniowo z urządzeń i czujników internetu rzeczy (IoT). Ten przepływ pracy analizy jest częścią ogólnego rozwiązania IoT, które integruje obciążenia operacyjne i analityczne z usługami Azure Cosmos DB i Azure Data Explorer.

Jupyter jest znakiem towarowym swojej firmy. Użycie tego znaku oznacza nie jest dorozumiane. Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.

Architektura

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

1. Usługa Azure Event Hubs, usługa Azure IoT Hub lub platforma Kafka pozyskają szeroką gamę szybko przepływujących danych przesyłanych strumieniowo, takich jak dzienniki, zdarzenia biznesowe i działania użytkowników.

2. Usługa Azure Functions lub Azure Stream Analytics przetwarzają dane niemal w czasie rzeczywistym.

3. Usługa Azure Cosmos DB przechowuje strumieniowo komunikaty w formacie JSON w celu obsługi aplikacji operacyjnej w czasie rzeczywistym.

4. Usługa Azure Data Explorer pozyskuje dane na potrzeby analizy przy użyciu łączników usługi Azure Event Hubs, usługi Azure IoT Hub lub platformy Kafka w celu uzyskania małych opóźnień i wysokiej przepływności.

   Alternatywnie można pozyskiwać obiekty blob z konta usługi Azure Blob Storage lub Azure Data Lake Storage do usługi Azure Data Explorer przy użyciu połączenia danych usługi Event Grid.

   Możesz również stale eksportować dane do usługi Azure Storage w skompresowanym, podzielonym na partycje formacie Apache Parquet i bezproblemowo wykonywać zapytania o dane za pomocą usługi Azure Data Explorer. Aby uzyskać więcej informacji, zobacz Ciągłe eksportowanie danych — omówienie.

5. Aby obsłużyć zarówno przypadki użycia operacyjnego, jak i analitycznego, dane mogą być kierowane do usług Azure Data Explorer i Azure Cosmos DB równolegle lub z usługi Azure Cosmos DB do usługi Azure Data Explorer.

   • Transakcje usługi Azure Cosmos DB mogą wyzwalać usługę Azure Functions za pośrednictwem zestawienia zmian. Funkcje będą przesyłać strumieniowo dane do usługi Event Hubs w celu pozyskiwania danych do usługi Azure Data Explorer.

     — lub —

   • Usługa Azure Functions może wywoływać usługę Azure Digital Twins za pośrednictwem interfejsu API, który następnie przesyła strumieniowo dane do usługi Event Hubs w celu pozyskiwania danych do usługi Azure Data Explorer.

6. Następujące interfejsy uzyskują szczegółowe informacje z danych przechowywanych w usłudze Azure Data Explorer:

   • Aplikacje analizy niestandardowej, które łączą dane z usług Azure Digital Twins i interfejsów API usługi Azure Data Explorer
   • Pulpity nawigacyjne analizy niemal w czasie rzeczywistym korzystające z pulpitów nawigacyjnych usługi Azure Data Explorer, usługi Power BI lub narzędzia Grafana
   • Alerty i powiadomienia z łącznika usługi Azure Data Explorer dla usługi Azure Logic Apps
   • Interfejs użytkownika sieci Web usługi Azure Data Explorer, aplikacja Kusto.Explorer i notesy Jupyter

7. Usługa Azure Data Explorer integruje się z usługami Azure Databricks i Azure Machine Learning , aby zapewnić usługi uczenia maszynowego (ML). Możesz również tworzyć modele uczenia maszynowego przy użyciu innych narzędzi i usług oraz eksportować je do usługi Azure Data Explorer w celu oceniania danych.

Składniki

Ten pomysł rozwiązania używa następujących składników platformy Azure.

Azure Data Explorer

• Wykrywanie anomalii i prognozowanie to wbudowana funkcja analizy w usłudze Azure Data Explorer. Wykrywa wartości odstające i przewiduje przyszłe wartości w celu wspierania proaktywnego monitorowania i podejmowania decyzji. W tej architekturze identyfikuje nietypowe wzorce w telemetrii IoT i prognozuje oczekiwane zachowanie w czasie.

• Diagnostyka anomalii na potrzeby analizy głównej to funkcja języka KQL (Kusto Query Language), która pomaga zidentyfikować główne przyczyny anomalii. Analizuje współtworzenia wymiarów i metryk, aby usprawnić rozwiązywanie problemów. W tej architekturze izoluje źródło anomalii wykrytych w danych urządzenia.

• Azure Data Explorer to w pełni zarządzana usługa analizy o wysokiej wydajności. Przetwarza duże ilości danych przesyłanych strumieniowo z aplikacji, witryn internetowych i urządzeń IoT niemal w czasie rzeczywistym. W tej architekturze służy jako centralny aparat analityczny do pozyskiwania, wykonywania zapytań i wizualizowania danych IoT.

• Pulpity nawigacyjne usługi Azure Data Explorer to funkcja wizualizacji w internetowym interfejsie użytkownika. Umożliwiają one użytkownikom eksportowanie zapytań Kusto do interaktywnych pulpitów nawigacyjnych na potrzeby eksploracji danych w czasie rzeczywistym. W tej architekturze wyświetlają szczegółowe informacje ze strumieni danych IoT i wyniki wykrywania anomalii.

• Internetowy interfejs użytkownika usługi Azure Data Explorer to interfejs oparty na przeglądarce do pracy z klastrami usługi Azure Data Explorer. Obsługuje pisanie, uruchamianie i udostępnianie poleceń i zapytań KQL. W tej architekturze udostępnia ona obszar roboczy dla analityków do wykonywania zapytań i eksplorowania danych telemetrycznych IoT.

• Analiza szeregów czasowych to wbudowana funkcja w usłudze Azure Data Explorer. Umożliwia użytkownikom eksplorowanie wzorców czasowych, trendów i sezonowości w danych opartych na czasie. W tej architekturze ujawnia długoterminowe trendy i cykliczne zachowanie w odczytach czujników IoT.

Inne składniki platformy Azure

• Azure Cosmos DB to w pełni zarządzana, szybka usługa bazy danych NoSQL na potrzeby nowoczesnego tworzenia aplikacji z otwartymi interfejsami API na dowolną skalę. W tej architekturze przechowuje dane operacyjne z urządzeń IoT w celu uzyskania skalowalnego, małego opóźnienia dostępu.

• Azure Digital Twins to platforma do modelowania środowisk fizycznych jako reprezentacji cyfrowych. W tej architekturze obsługuje modele cyfrowe zasobów połączonych z IoT w celu obsługi analizy przestrzennej i kontekstowych szczegółowych informacji.

• Usługa Azure IoT Hub umożliwia dwukierunkową komunikację między urządzeniami IoT i chmurą platformy Azure. W tej architekturze pełni rolę centralnego centrum obsługi komunikatów na potrzeby telemetrii urządzenia i operacji sterowania i poleceń.

• Event Hubs to w pełni zarządzana usługa pozyskiwania danych w czasie rzeczywistym. W tej architekturze pozyskuje dane telemetryczne z urządzeń IoT i przesyła je strumieniowo do potoku analizy.

• Platforma Kafka w usłudze HDInsight to ekonomiczna usługa klasy korporacyjnej do uruchamiania platformy Apache Kafka na platformie Azure. W tej architekturze zapewnia alternatywną sieć szkieletową przesyłania strumieniowego do pozyskiwania i dystrybucji danych IoT.

Szczegóły scenariusza

To rozwiązanie korzysta z usługi Azure Data Explorer do uzyskiwania analizy danych telemetrycznych IoT niemal w czasie rzeczywistym na szybko przepływających, dużych ilościach danych przesyłanych strumieniowo z szerokiej gamy urządzeń IoT.

Potencjalne przypadki użycia

• Zarządzanie flotą w celu konserwacji predykcyjnej części pojazdów. To rozwiązanie jest idealne dla przemysłu motoryzacyjnego i transportowego.
• Zarządzanie obiektami na potrzeby optymalizacji energii i środowiska.
• Połączenie warunków drogowych w czasie rzeczywistym z danymi pogodowymi dotyczącymi bezpieczniejszej jazdy autonomicznej.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

• Shlomo Sagir | Starszy deweloper zawartości

Następne kroki

• Co to jest usługa Azure Data Explorer?
• Wizualizowanie danych przy użyciu pulpitów nawigacyjnych usługi Azure Data Explorer

Powiązany zasób

• Projekt architektury analizy