このセクションでは、Lakeflow Spark ディクラレーティブパイプラインの監視機能と可観測性について説明します。
| トピック | Description |
|---|---|
| UI を使用して監視する | パイプラインの更新の進行状況と状態を確認し、成功または失敗に関するアラートを生成します。 Apache Kafka や自動ローダーなどのストリーミング ソースのメトリックを表示します。 |
| イベント ログ | パイプライン イベント ログを使用して、データ系列、データ品質メトリック、リソース使用状況などのパイプラインの更新に関する詳細情報を抽出します。 さらに、 イベント ログのスキーマを参照してください。 |
| クエリ履歴 | クエリ履歴を見て、クエリのパフォーマンスを検査して診断します。 |
| カスタム監視 | イベント フックを使用して、特定のイベントが発生したときに実行するカスタム アクションを定義します。 |
さらに、特定のシナリオに関するトラブルシューティングトピックもあります。
| トピック | Description |
|---|---|
| ストリーミング チェックポイントエラーからパイプラインを復旧する | 無効または破損したストリーミング チェックポイントがあるパイプラインを復旧します。 |
| パイプラインの初期化時間の長さの改善 | パイプライン間でフローを分割して負荷分散することで、パイプラインの初期化時間が長くなる問題を修正します。 |