共用方式為

Zerobus Ingest 系統表參考

本文是系統 zerobus 表格的參考資料，這些資料表會追蹤你工作區中的 Zerobus Ingest 活動。 這些資料表包含你同一區域內所有工作區的帳戶紀錄。 若要查看來自另一個區域的記錄，您必須從部署於該區域的工作區檢視數據表。

需求

  • 若要存取這些系統數據表，用戶必須：

可用的 Zerobus 匯入資料表

所有與 Zerobus Ingest 相關的系統資料表都存在於該 system.lakeflow 架構中。 其中包括以下表格：

Table Description 支援串流 免費保留期間 包含全域或區域資料
Zerobus_stream （測試版） 追蹤所有使用 Zerobus Ingest 建立的串流 Yes 365 天 區域性
Zerobus_ingest （測試版） 使用 Zerobus Ingest 追蹤所有資料匯入 Delta 表格 Yes 365 天 區域性

Zerobus 串流資料表結構參考

該 zerobus_stream 資料表儲存所有與 Zerobus Ingest 使用所產生的串流事件相關的資料。 這包括在串流建立時發生的事件、串流生命週期中發生錯誤，以及串流關閉時發生的事件。

表格路徑： system.lakeflow.zerobus_stream

欄位名稱 數據類型 Description Example
account_id 字串 負責串流的帳號 ID 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id 字串 負責串流的工作區 ID 1234567890123456
stream_id 字串 串流的識別碼 ccr4bf53-127a-4487-camr-cab42c2db9b2
event_time 時間戳記 事件發生的時間戳記 2025-12-19T18:20:26.994+00:00
producer_id 字串 負責串流創建的製作者 ID 本欄位目前不受支援。
opened_time 時間戳記 直播開播時間戳記 2025-12-19T18:20:27.209+00:00
closed_time 時間戳記 串流結束的時間戳記 2025-12-19T18:20:26.994+00:00
table_id 字串 正在被匯入的資料表的 ID 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name 字串 被匯入資料表的完全限定名稱 example_table
protocol 字串 用來匯入資料的協定。 可能的值是 GRPC 和 HTTP。 GRPC
data_format 字串 串流中使用的資料格式。 可能的值是 PROTOBUF 和 JSON。 PROTOBUF
errors 陣列 串流生命週期中發生的錯誤陣列 參見 錯誤參考

串流資料表的範例查詢

以下查詢會回傳指定資料表目前已開啟的串流數量：

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

以下查詢會回傳所有發生錯誤的串流的 ID：

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Zerobus 匯入資料表架構參考

該 zerobus_ingest 資料表儲存所有使用 Zerobus Ingest 匯入紀錄的相關資料。 這些數據並非達到資料層次的細緻度。 資料依批次寫入 Delta 表彙總，可使用 commit_version 進行識別。

表格路徑： system.lakeflow.zerobus_ingest

欄位名稱 數據類型 Description Example
account_id 字串 擁有該工作區的帳號 ID 23e22ba4-87b9-4cc2-9770-d10b894bxx
workspace_id 字串 建立串流所在的工作區 ID 1234567890123456
stream_id 字串 執行擷取的串流識別碼 ccr4bf53-127a-4487-camr-cab42c2db9b2
commit_version Bigint Delta 的提交唯一版本號 15104
table_id 字串 被寫入資料表的識別碼 0c5ca387-5v3c-4308-90ad-b91dedb22e32
table_name 字串 完整限定的表格名稱，且以人類可讀格式呈現 example_table
commit_time 時間戳記 提交的時間戳記 2025-12-19T18:20:27.209+00:00
committed_bytes Bigint 所接收資料的大小（位元組） 3532498
committed_records Bigint 已提交紀錄數量 3445
tags 陣列 Zerobus Ingest 提供的自訂標籤，可用於追蹤使用來源及其他元資料 ["DIRECT_WRITE"]
errors 陣列 在攝取過程中發生的一系列錯誤 參見 錯誤參考

資料擷取表的範例查詢

以下查詢取得每個資料表在指定時間範圍內的平均插入速率：

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

以下查詢會取得在指定時間範圍內，資料表中被匯入的資料和記錄總量：

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

錯誤參考

串流與輸入資料表皆包含一 errors 欄，該欄位包含串流或輸入過程中發生的錯誤陣列，每個元素代表獨立的錯誤。 這些陣列元素會以以下欄位的物件形式記錄：

欄位名稱 數據類型 Description
error_code Bigint 錯誤碼
error_message 字串 完整錯誤訊息
timestamp 時間戳記 錯誤發生的時間戳記

常見聯結模式

以下查詢說明如何加入串流並匯入資料表，回傳從單一工作區寫入的所有資料表。

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id
  • Last updated on