이 섹션에서는 Lakeflow Spark 선언적 파이프라인에 대한 모니터링 및 관찰 기능에 대해 설명합니다.
| 주제 | Description |
|---|---|
| UI를 사용하여 모니터링 | 파이프라인 업데이트의 진행률 및 상태를 관찰하고 성공 또는 실패에 대해 경고합니다. Apache Kafka 및 자동 로더와 같은 스트리밍 원본에 대한 메트릭을 봅니다. |
| 이벤트 로그 | 파이프라인 이벤트 로그를 사용하여 데이터 계보, 데이터 품질 메트릭 및 리소스 사용량과 같은 파이프라인 업데이트에 대한 자세한 정보를 추출합니다. 또한 이벤트 로그에 대한 스키마를 참조하세요. |
| 쿼리 기록 | 쿼리 기록을 확인하여 쿼리 성능을 검사하고 진단합니다. |
| 사용자 지정 모니터링 | 이벤트 후크를 사용하여 특정 이벤트가 발생할 때 수행할 사용자 지정 작업을 정의합니다. |
또한 특정 시나리오에 대한 문제 해결 항목도 있습니다.
| 주제 | Description |
|---|---|
| 스트리밍 검사점 오류로부터 파이프라인 복구 | 잘못되었거나 손상된 스트리밍 검사점이 있는 파이프라인을 복구합니다. |
| 파이프라인에서 높은 초기화 시간 수정 | 파이프라인 간에 흐름을 분할하고 부하 분산하여 파이프라인에 대한 높은 초기화 시간을 수정합니다. |