次の方法で共有

Zerobus 取り込みシステム テーブルリファレンス

この記事は、ワークスペース内の Zerobus 取り込みアクティビティを追跡する、 zerobus システム テーブルのリファレンスです。 これらのテーブルには、同じリージョン内のすべてのワークスペースのアカウント レコードが含まれます。 別のリージョンのレコードを表示するには、そのリージョンにデプロイされているワークスペースのテーブルを表示する必要があります。

Requirements

  • これらのシステム テーブルにアクセスするには、ユーザーは次のいずれかを行う必要があります。

使用可能なゼロバス取り込みテーブル

すべての Zerobus 取り込み関連システム テーブルは、 system.lakeflow スキーマに含まれています。 これには、次の表が含まれます。

表 Description ストリーミングをサポート 無料の保持期間 グローバルデータまたは地域データを含む
Zerobus_stream (ベータ) Zerobus 取り込みを使用して作成されたすべてのストリームを追跡します イエス 365 日 リージョン
Zerobus_ingest (ベータ) Zerobus 取り込みを使用してデルタ テーブルに取り込まれたすべてのデータを追跡します イエス 365 日 リージョン

Zerobusストリームテーブルスキーマのリファレンス

zerobus_stream テーブルには、Zerobus Ingest の使用によって発生するストリーム イベントに関連するすべてのデータが格納されます。 これには、ストリームの作成時、ストリームの有効期間中にエラーが発生したとき、ストリームが閉じられたときに発生するイベントが含まれます。

テーブル パス: system.lakeflow.zerobus_stream

列名 データの種類 Description Example
account_id 文字列 ストリームを担当するアカウントの ID 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id 文字列 ストリームを担当するワークスペースの ID 1234567890123456
stream_id 文字列 ストリームの ID ccr4bf53-127a-4487-camr-cab42c2db9b2
event_time timestamp イベントが発生した日時のタイムスタンプ 2025-12-19T18:20:26.994+00:00
producer_id 文字列 ストリームの作成を担当するプロデューサーの ID この列は現在サポートされていません。
opened_time timestamp ストリームが開かれた日時のタイムスタンプ 2025-12-19T18:20:27.209+00:00
closed_time timestamp ストリームが閉じられた日時のタイムスタンプ 2025-12-19T18:20:26.994+00:00
table_id 文字列 取り込まれるテーブルの ID 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name 文字列 取り込まれるテーブルの完全修飾名 example_table
protocol 文字列 データの取り込みに使用されるプロトコル。 設定可能な値は GRPC および HTTP です。 GRPC
data_format 文字列 ストリームで使用されるデータの形式。 設定可能な値は PROTOBUF および JSON です。 PROTOBUF
errors アレイ ストリームの有効期間中に発生したエラーの配列 エラーリファレンスを参照してください

ストリーム テーブルのクエリ例

次のクエリは、指定されたテーブルに対して現在開かれているストリームの数を返します。

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

次のクエリは、エラーが発生したすべてのストリームの ID を返します。

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Zerobus 取り込みテーブルスキーマリファレンス

zerobus_ingest テーブルには、Zerobus Ingest を使用して取り込まれたレコードに関連するすべてのデータが格納されます。 このデータは、レコード レベルで細かく表示されません。 データは、デルタ テーブルに書き込まれたバッチによって集計され、 commit_versionを使用して識別されます。

テーブル パス: system.lakeflow.zerobus_ingest

列名 データの種類 Description Example
account_id 文字列 特定のワークスペースを所有するアカウントの ID 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id 文字列 ストリームが作成されるワークスペースの ID 1234567890123456
stream_id 文字列 インジェストを実行したストリームの ID ccr4bf53-127a-4487-camr-cab42c2db9b2
commit_version bigint Delta へのコミットの一意のバージョン番号 15104
table_id 文字列 書き込み先のテーブルの ID 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name 文字列 人間が判読できる形式の完全修飾テーブル名 example_table
commit_time timestamp コミットのタイムスタンプ 2025-12-19T18:20:27.209+00:00
committed_bytes bigint 取り込まれたデータのサイズ (バイト単位) 3532498
committed_records bigint コミットされたレコードの数 3445
tags アレイ 使用元やその他のメタデータの追跡に使用できる Zerobus 取り込みによって提供されるカスタム タグ ["DIRECT_WRITE"]
errors アレイ インジェスト中に発生したエラーの配列 エラーリファレンスを参照してください

インジェスト テーブルのクエリ例

次のクエリは、指定した時間範囲のすべてのテーブルの平均挿入率を取得します。

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

次のクエリは、指定した時間範囲でテーブルに取り込まれたデータとレコードの合計量を取得します。

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

エラーリファレンス

ストリーム テーブルと取り込みテーブルの両方に errors 列が含まれています。これには、ストリームまたは取り込み中に発生したエラーの配列が含まれ、各要素は個別のエラーを表します。 これらの配列要素は、次のフィールドを持つオブジェクトとして記録されます。

フィールド名 データの種類 Description
error_code bigint エラー コード
error_message 文字列 完全なエラー メッセージ
timestamp timestamp エラーが発生した日時のタイムスタンプ

一般的な結合パターン

次のクエリは、ストリームと取り込みテーブルを結合して、1 つのワークスペースから書き込まれたすべてのテーブルを返す方法を示しています。

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id
  • Last updated on