Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins
Azure IoT Hub
솔루션 아이디어
이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.
이 솔루션 아이디어는 Azure Data Explorer가 IoT(사물 인터넷) 디바이스 및 센서에서 빠르게 흐르는 대용량 스트리밍 데이터에 대해 실시간에 가까운 분석을 제공하는 방법을 설명합니다. 이 분석 워크플로는 운영 및 분석 워크로드를 Azure Cosmos DB 및 Azure Data Explorer와 통합하는 전체 IoT 솔루션의 일부입니다.
Jupyter는 해당 회사의 상표입니다. 이 상표의 사용은 어떠한 보증도 의미하지 않습니다. Apache® 및 Apache Kafka®는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
Azure Event Hubs, Azure IoT Hub 또는 Kafka는 로그, 비즈니스 이벤트 및 사용자 활동과 같은 광범위한 빠르게 흐르는 스트리밍 데이터를 수집합니다.
Azure Functions 또는 Azure Stream Analytics는 거의 실시간으로 데이터를 처리합니다.
Azure Cosmos DB는 실시간 운영 애플리케이션을 제공하기 위해 스트리밍된 메시지를 JSON 형식으로 저장합니다.
Azure Data Explorer는 짧은 대기 시간과 높은 처리량을 위해 Azure Event Hubs, Azure IoT Hub 또는 Kafka용 커넥터를 사용하여 분석을 위한 데이터를 수집합니다.
또는 Event Grid 데이터 연결을 사용하여 Azure Blob Storage 또는 Azure Data Lake Storage 계정에서 Azure Data Explorer로 Blob을 수집할 수 있습니다.
압축되고 분할된 Apache Parquet 형식으로 데이터를 Azure Storage로 지속적으로 내보내고 Azure Data Explorer를 사용하여 데이터를 원활하게 쿼리할 수도 있습니다. 자세한 내용은 연속 데이터 내보내기 개요를 참조하세요.
운영 및 분석 사용 사례를 모두 제공하기 위해 데이터는 Azure Data Explorer 및 Azure Cosmos DB로 병렬로 라우팅하거나 Azure Cosmos DB에서 Azure Data Explorer로 라우팅할 수 있습니다.
Azure Cosmos DB 트랜잭션은 변경 피드를 통해 Azure Functions를 트리거할 수 있습니다. Functions는 Azure Data Explorer로 수집하기 위해 데이터를 Event Hubs로 스트리밍합니다.
또는
Azure Functions는 API를 통해 Azure Digital Twins를 호출한 다음, Azure Data Explorer로 데이터를 수집하기 위해 Event Hubs로 데이터를 스트리밍할 수 있습니다.
다음 인터페이스는 Azure Data Explorer에 저장된 데이터로부터 인사이트를 얻습니다.
- Azure Digital Twins 및 Azure Data Explorer API의 데이터를 혼합하는 사용자 지정 분석 앱
- Azure Data Explorer 대시보드, Power BI 또는 Grafana를 사용하여 실시간에 가까운 분석 대시보드
- Azure Logic Apps용 Azure Data Explorer 커넥터의 경고 및 알림
- Azure Data Explorer 웹 UI인 Kusto.Explorer 및 Jupyter Notebook
Azure Data Explorer는 Azure Databricks 및 Azure Machine Learning과 통합되어 ML(기계 학습) 서비스를 제공합니다. 다른 도구와 서비스를 사용하여 ML 모델을 빌드하고 ML 모델을 Azure Data Explorer로 내보내 점수를 매길 수 있습니다.
구성 요소
이 솔루션 아이디어는 다음 Azure 구성 요소를 사용합니다.
Azure Data Explorer(아주르 데이터 탐색기)
변칙 검색 및 예측 은 Azure Data Explorer의 기본 제공 분석 기능입니다. 이상값을 감지하고 향후 값을 예측하여 사전 모니터링 및 의사 결정을 지원합니다. 이 아키텍처에서는 IoT 원격 분석의 비정상적인 패턴을 식별하고 시간이 지남에 따라 예상되는 동작을 예측합니다.
루트 분석을 위한 변칙 진단 은 변칙의 근본 원인을 식별하는 데 도움이 되는 KQL(Kusto Query Language) 기능입니다. 기여 차원 및 메트릭을 분석하여 문제 해결을 간소화합니다. 이 아키텍처에서는 디바이스 데이터에서 검색된 변칙의 원본을 격리합니다.
Azure Data Explorer 는 완전 관리형 고성능 분석 서비스입니다. 애플리케이션, 웹 사이트 및 IoT 디바이스에서 대량의 스트리밍 데이터를 거의 실시간으로 처리합니다. 이 아키텍처에서는 IoT 데이터를 수집, 쿼리 및 시각화하기 위한 중앙 분석 엔진 역할을 합니다.
Azure Data Explorer 대시보드는 웹 UI 내의 시각화 기능입니다. 이를 통해 사용자는 실시간 데이터 탐색을 위해 Kusto 쿼리를 대화형 대시보드로 내보낼 수 있습니다. 이 아키텍처에서는 IoT 데이터 스트림의 인사이트와 변칙 검색 결과를 표시합니다.
Azure Data Explorer 웹 UI는 Azure Data Explorer 클러스터를 사용하기 위한 브라우저 기반 인터페이스입니다. KQL 명령 및 쿼리 작성, 실행 및 공유를 지원합니다. 이 아키텍처에서는 분석가가 IoT 원격 분석을 쿼리하고 탐색할 수 있는 작업 영역을 제공합니다.
시계열 분석은 Azure Data Explorer의 기본 제공 기능입니다. 이를 통해 사용자는 시간 기반 데이터의 임시 패턴, 추세 및 계절성을 탐색할 수 있습니다. 이 아키텍처에서는 IoT 센서 판독값에서 장기적인 추세와 주기적 동작을 보여줍니다.
기타 Azure 구성 요소
Azure Cosmos DB는 어떤 규모에서나 개방형 API를 사용하여 최신 앱을 개발할 수 있게 도와 주는 완전 관리형의 빠른 NoSQL 데이터베이스 서비스입니다. 이 아키텍처에서는 확장 가능하고 짧은 대기 시간 액세스를 위해 IoT 디바이스의 운영 데이터를 저장합니다.
Azure Digital Twins 는 물리적 환경을 디지털 표현으로 모델링하기 위한 플랫폼입니다. 이 아키텍처에서는 공간 분석 및 컨텍스트 인사이트를 지원하기 위해 IoT 연결 자산의 디지털 모델을 유지 관리합니다.
Azure IoT Hub는 IoT 디바이스와 Azure 클라우드 간의 양방향 통신을 지원합니다. 이 아키텍처에서는 디바이스 원격 분석 및 명령 및 제어 작업의 중앙 메시징 허브 역할을 합니다.
Event Hubs 는 완전 관리형 실시간 데이터 수집 서비스입니다. 이 아키텍처에서는 IoT 디바이스에서 원격 분석을 수집하고 분석 파이프라인으로 스트리밍합니다.
HDInsight의 Kafka 는 Azure에서 Apache Kafka를 실행하기 위한 엔터프라이즈급 비용 효율적인 서비스입니다. 이 아키텍처에서는 IoT 데이터를 수집하고 배포하기 위한 대체 스트리밍 백본을 제공합니다.
시나리오 정보
이 솔루션은 Azure Data Explorer를 사용하여 광범위한 IoT 디바이스에서 빠르게 흐르는 대용량 스트리밍 데이터에 대한 거의 실시간 IoT 원격 분석 분석을 가져옵니다.
잠재적인 사용 사례
- 차량 부품의 예측 유지 관리를 위한 차량 관리. 이 솔루션은 자동차 및 운송 업계에 이상적입니다.
- 에너지 및 환경 최적화를 위한 시설 관리
- 더 안전한 자율 주행을 위해 실시간 도로 조건과 날씨 데이터를 결합합니다.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
보안 주체 작성자:
- Shlomo Sagir | 선임 콘텐츠 개발자