譜系系統數據表參考

此頁面包含兩個譜系系統資料表的參考資料。 這些系統數據表是以 Unity 目錄 的數據譜系功能為基礎，讓您以程式設計方式查詢譜系數據，以推動決策和報表。 若要存取資料表，必須在您的 system 目錄中啟用這些架構。 欲了解更多資訊，請參閱 啟用系統資料表。

表格血統表

表格血緣系統表包含每個在 Unity Catalog 表格或路徑上進行的讀取或寫入事件的記錄。 這包括但不限於作業執行、筆記本運行，以及透過讀取或寫入事件更新的儀表板。

資料表路徑：此系統資料表位於 system.access.table_lineage。

數據表譜系架構

資料表譜系系統的表格使用以下模式。

欄位溯源表

欄位血緣表不包含沒有來源的事件。 例如，如果您使用明確值插入資料欄，則不會擷取它。 當您讀取某個欄位時，無論您是否寫入輸出，它都會被擷取。

資料表路徑：此系統資料表位於 system.access.column_lineage。

欄位譜系架構

欄位譜系系統資料表會使用下列架構：

讀取譜系系統數據表

• 若要判斷事件是讀取還是寫入，可檢視來源類型和目標類型。
  • 唯讀：來源類型並非 Null，但目標類型為 Null。
  • 僅寫入：目標類型不為 Null，但來源類型為 Null。
  • 讀取和寫入：來源類型和目標類型都不是 null。

實體元數據參考

結構 entity_metadata 具有下列架構：

job_info:
  job_id: "string"
  job_run_id: "string"
dashboard_id: "string"
legacy_dashboard_id: "string"
notebook_id: "string"
sql_query_id: "string"
dlt_pipeline_info:
  dlt_pipeline_id: "string"
  dlt_update_id: "string"

Azure Databricks 會記錄來自 Lakeflow Spark 宣告式管線、筆記本、作業、Databricks SQL 查詢和儀錶板的譜系事件。 不支援來自其他實體的事件。

視事件類型而定，可以填入多個值。 例如，執行筆記本工作的作業會同時填入 job_info 和 notebook_id。

如果 中的所有 entity_metadata 值都是 null，表示事件中未涉及任何 Azure Databricks 實體。 例如，可能是 JDBC 查詢的結果，或使用者按下 Azure Databricks UI 中的 [範例資料] 索引標籤。

譜系系統數據表範例

作為系統數據表中記錄數據譜系的範例，以下是一個查詢範例，接下來是該查詢所建立的譜系記錄：

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

system.access.table_lineage 中的記錄看起來會像這樣：

system.access.column_lineage 中的記錄看起來會像這樣：

使用表格譜系表格分析表格受歡迎程度

表格譜系系統表格可用來估計表格的受歡迎程度。 例如，下列程式碼片段會擷取過去 7 天內最常查詢的前 100 個資料表：

SELECT
  source_table_full_name,
  COUNT(distinct event_id) AS num_of_queries
FROM
  system.access.table_lineage t
WHERE
  t.event_date > CURRENT_DATE() - INTERVAL 7 DAYS
  AND t.source_table_full_name IS NOT NULL
GROUP BY source_table_full_name
ORDER BY num_of_queries DESC
LIMIT 100;

您可以聯結查詢 歷程記錄系統資料表 ，以取得在 SQL 倉儲或無伺服器計算上執行之查詢的其他詳細資料，包括從快取提供的查詢 （請注意，譜系系統資料表不會發出快取查詢結果的專案）。 例如，下列程式碼片段會擷取過去 7 天內查詢執行時間超過一小時的資料表：

SELECT
  t.source_table_full_name,
  COUNT(distinct event_id) AS num_of_queries_over_hour
FROM
  system.query.history h
INNER JOIN system.access.table_lineage t
  ON t.statement_id = h.cache_origin_statement_id
WHERE
  h.total_duration_ms > 3600000
  AND t.event_date > CURRENT_DATE() - INTERVAL 7 DAYS
  AND t.source_table_full_name IS NOT NULL
GROUP BY t.source_table_full_name
ORDER BY num_of_queries_over_hour DESC;

針對外部數據表查詢進行疑難解答

當您使用外部數據表的雲端記憶體路徑來參考外部數據表時，相關聯的歷程記錄只會包含路徑名稱，而不是數據表名稱。 例如，此查詢的歷程記錄會包含路徑名稱，而不是資料表名稱：

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

如果您嘗試查詢路徑所參考之外部數據表的歷程記錄，則必須使用 source_path 或 而非 target_path 或 source_table_full_nametarget_table_full_name來篩選查詢。 例如，下列查詢會提取外部數據表的所有歷程記錄：

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

根據外部數據表名稱擷取歷程記錄

如果您不想手動擷取雲端記憶體路徑以尋找譜系，您可以使用下列函式來使用資料表名稱取得歷程數據。 您也可以在函式中將 system.access.table_lineage 取代為 system.access.column_lineage，如果您想查詢資料行譜系。

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

然後使用下列命令來呼叫 函式，並顯示外部資料表的譜系記錄：

display(getLineageForTable("table_name"))