Microsoft Fabric 이벤트 스트림 기능을 사용하여 스트리밍 이벤트 데이터, 수집 상태 및 수집 성능을 모니터링할 수 있습니다. 이 문서에서는 메트릭을 사용하여 이벤트 스트림 상태를 모니터링하고 로그, 오류 및 데이터 인사이트를 확인하는 방법을 설명합니다.
Eventstream에는 데이터 인사이트 및 런타임 로그라는 두 가지 유형의 모니터링 환경이 있습니다. 선택한 원본 또는 대상에 따라 하나 또는 두 뷰를 모두 사용할 수 있습니다.
필수 조건
- Eventstream 항목이 있는 뷰어 이상의 권한이 있는 작업 영역에 액세스합니다.
- 이벤트 스트림에 Azure 이벤트 허브 소스 혹은 레이크하우스 대상을 추가해 주세요.
데이터 인사이트
기본 편집기의 아래쪽 창에 데이터 인사이트 탭이 나타납니다. 탭에는 이벤트 스트림, 소스 및 대상의 상태 및 성능을 모니터링하시기 위해 사용하실 수 있는 메트릭을 제공해 드립니다. 소스와 대상에 따라서 다른 메트릭을 가지고 있습니다.
주 편집기 캔버스에서 노드를 선택하면 해당 특정 노드에 대한 메트릭이 데이터 인사이트 탭에 표시됩니다.
Eventstream 노드에 대한 데이터 인사이트
데이터 인사이트 탭의 이벤트 스트림 노드를 위한 메트릭이 다음과 같이 표시됩니다:
| 메트릭 | 단위 | 설명 |
|---|---|---|
| IncomingMessages | Count | 지정된 기간 동안 이벤트 스트림으로 전송된 이벤트 또는 메시지 수입니다. |
| OutgoingMessages | Count | 지정된 기간 동안 이벤트 스트림에서 보낸 이벤트 또는 메시지 수입니다. |
| IncomingBytes | 바이트 | 이벤트 스트림에 대해 지정하신 기간 동안에 수신된 바이트입니다. |
| OutgoingBytes | 바이트 | 이벤트 허브에서 지정하신 기간 동안에 발신한 바이트입니다. |
이벤트 스트림에 대해 데이터 인사이트를 보시기 위해서는:
주 편집기 캔버스에서 eventstream 노드를 선택합니다.
아래쪽 창에서 데이터 인사이트 탭을 선택합니다.
데이터가 Eventstream 내에 있으면 메트릭 차트가 나타납니다.
탭의 오른쪽에서 표시할 메트릭 옆에 있는 확인란을 선택합니다.
Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse, 파생 스트림 및 패브릭 활성화기 노드에 대한 데이터 인사이트
다음 메트릭은 Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse(수집 모드 이전의 이벤트 처리), 파생 스트림 및 패브릭 활성화기 노드에 대한 데이터 인사이트 탭에서 사용할 수 있습니다.
| 메트릭 | 단위 | 설명 |
|---|---|---|
| 입력 이벤트 | Count | Eventstream 엔진이 이벤트 스트림(레이크하우스, Eventhouse, 파생 스트림, 또는 패브릭 액티베이터 대상) 또는 이벤트 소스(Azure Event Hubs 또는 Azure IoT Hub 소스)에서 가져오는 이벤트 데이터 항목의 수입니다. |
| 입력 이벤트의 바이트 | 바이트 | 이벤트 스트림 엔진이 이벤트 스트림(레이크하우스, 이벤트하우스, 파생 스트림 또는 패브릭 활성기 대상) 또는 이벤트 소스(Azure Event Hubs 또는 Azure IoT Hub 소스)에서 가져오는 이벤트 데이터의 양입니다. |
| 출력 이벤트 | Count | 이벤트 스트림 엔진이 레이크하우스나 이벤트하우스(레이크하우스, 이벤트하우스, 파생 스트림, 또는 패브릭 액티베이터 대상)로 또는 이벤트 소스(Azure Event Hubs나 Azure IoT Hub 소스)로부터 보내는 이벤트 데이터 항목 수입니다. |
| 백로그된 입력 이벤트 | Count | 이벤트 스트림 엔진에 백로그된 입력 이벤트의 수입니다. |
| 런타임 오류 | Count | 이벤트 처리와 관련되는 총 오류 수입니다. |
| 데이터 변환의 오류 | Count | 예상되는 출력 스키마로 변환할 수 없는 출력 이벤트의 수입니다. |
| 역직렬화 오류 | Count | 이벤트 스트림 엔진 내부에서 역직렬화 하실 수 없는 입력 이벤트의 수입니다. |
| 워터마크의 지연 | 둘째 | 이 소스 혹은 대상을 위한 모든 출력에 대한 모든 파티션에서 발생하는 최대 워터마크 지연입니다. 가장 큰 워터마크를 뺀 벽시계 시간으로 계산됩니다. |
Azure 이벤트 허브, Azure IoT Hub, lakehouse, eventhouse(수집 모드 이전의 이벤트 처리 ), 파생 스트림 또는 패브릭 활성화자에 대한 데이터 인사이트를 보려면 다음을 수행합니다.
주 편집기 캔버스에서 Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse, 파생 스트림 또는 패브릭 활성화기 노드를 선택합니다.
아래쪽 창에서 데이터 인사이트 탭을 선택합니다.
데이터가 이벤트 허브, IoT Hub, lakehouse, eventhouse, 파생 스트림 또는 패브릭 활성화기 내에 있는 경우 메트릭 차트가 나타납니다.
탭의 오른쪽에서 표시할 메트릭 옆에 있는 확인란을 선택합니다.
스트리밍 커넥터 원본 노드에 대한 데이터 인사이트
스트리밍 커넥터 원본 노드에는 다음 원본이 포함됩니다.
- Amazon Kinesis 데이터 스트림
- Amazon MSK Kafka
- Apache Kafka
- Azure Cosmos DB CDC
- Azure Data Explorer(아주르 데이터 탐색기)
- Azure Service Bus
- Azure SQL 데이터베이스 변경 데이터 캡처(CDC)
- Azure SQL 관리형 인스턴스 CDC
- Confluent Cloud Kafka
- Google Cloud Pub/Sub (구글 클라우드 게시/구독 서비스)
- HTTP
- MongoDB CDC
- MQTT
- MySQL 데이터베이스 CDC
- PostgreSQL 데이터베이스 CDC
- 실시간 날씨
- Solace PubSub+
- VM(가상 머신) 데이터베이스(DB)의 SQL Server
다음 메트릭은 스트리밍 커넥터 원본 노드에 대한 데이터 인사이트 탭에서 사용할 수 있습니다.
| 메트릭 | 단위 | 설명 |
|---|---|---|
| 소스 발신 이벤트 | Count | 변환에서 전송되고(있는 경우) 작업자의 명명된 원본 커넥터에 속하는 작업의 eventstream에 기록된 레코드 수입니다(작업이 마지막으로 다시 시작된 이후). |
| 들어오는 이벤트 원본 | Count | 변환이 적용되기 전에 작업자의 명명된 원본 커넥터에 속하는 작업에서 생성되거나 폴링된 레코드 수입니다(작업이 마지막으로 다시 시작된 이후). |
| 커넥터 오류 기록됨 | Count | 이러한 커넥터 작업에 대해 기록된 오류 수입니다. |
| 커넥터 처리 오류 | Count | 이러한 커넥터 작업의 레코드 처리 오류 수입니다. |
| 커넥터 처리 실패 | Count | 재시도 실패를 포함하여 이러한 커넥터 작업의 레코드 처리 실패 수입니다. |
| 커넥터 이벤트 건너뜀 | Count | 이러한 커넥터 작업 내의 오류로 인해 건너뛴 레코드 수입니다. |
스트리밍 커넥터 원본에 대한 데이터 인사이트를 보려면 다음을 수행합니다.
외부 원본 사용을 선택한 다음 스트리밍 커넥터 원본을 선택합니다.
스트리밍 커넥터 원본을 구성하고 게시합니다.
라이브 보기의 아래쪽 창에서 데이터 인사이트 탭을 선택합니다.
데이터가 스트리밍 커넥터 원본 내에 있으면 메트릭 차트가 나타납니다.
탭의 오른쪽에서 표시할 메트릭 옆에 있는 확인란을 선택합니다.
런타임 로그
런타임 로그 탭을 사용하여 이벤트 스트림 엔진에서 발생하는 자세한 로그를 확인합니다. 런타임 로그는 경고, 오류 및 정보의 심각도 수준이 세가지 있습니다.
Azure 이벤트 허브, Azure IoT Hub, 스트리밍 커넥터 소스, 레이크하우스, 이벤트하우스(데이터 수집 이전 이벤트 처리 모드) 또는 Fabric 활성화자에 대한 런타임 로그를 보려면 다음을 수행합니다.
주 편집기 캔버스에서 노드를 선택합니다.
아래쪽 창에서 런타임 로그 탭을 선택합니다.
데이터가 Azure 이벤트 허브, Azure IoT Hub, 스트리밍 커넥터 원본, lakehouse, eventhouse 또는 Fabric 활성화기 내에 있는 경우 로그가 나타납니다.
키워드로 필터 옵션을 사용하여 로그를 검색하거나 심각도 또는 형식을 변경하여 목록을 필터링합니다.
최신 로그를 보기 위해서는 새로 고침을 선택해 주세요.
