本部分介绍 Lakeflow Spark 声明性管道的监视和可观测性功能。
| 主题 | Description |
|---|---|
| 使用 UI 进行监视 | 观察管道更新的进度和状态，并针对成功或失败发出警报。 查看流处理源（如 Apache Kafka 和自动加载器）的指标。 |
| 事件日志 | 使用管道事件日志提取有关管道更新的详细信息，例如数据世系、数据质量指标和资源使用情况。 此外，请参阅 事件日志的架构。 |
| 查询历史记录 | 通过查看查询历史记录来检查和诊断查询性能。 |
| 自定义监视 | 定义在特定事件发生时使用事件钩子执行的自定义操作。 |
此外，还针对特定方案提供了故障排除主题。
| 主题 | Description |
|---|---|
| 恢复因流式处理检查点故障而失败的管道 | 恢复具有无效或损坏的流式处理检查点的管道。 |
| 解决数据处理管道中的高初始化时间问题 | 通过跨管道拆分和负载均衡流来修复管道的高初始化时间。 |