查詢記錄系統數據表參考

本文包含查詢記錄系統數據表的相關信息，包括數據表架構的大綱。

資料表路徑：此系統資料表位於 system.query.history。

使用查詢記錄數據表

查詢歷程記錄資料表包含使用 SQL 倉儲或無伺服器計算來執行查詢的記錄，這些記錄適用於 筆記本 和 作業。 此資料表包含您存取資料表之相同區域中所有工作區的全帳戶記錄。

根據預設，只有系統管理員可以存取系統數據表。 如果您想要與使用者或群組共用數據表的數據，Databricks 建議為每個使用者或群組建立動態檢視。 請參閱建立動態檢視。

查詢記錄系統數據表架構

查詢歷程記錄資料表會使用下列架構：

檢視記錄的查詢概要

若要根據查詢歷史表中的某個記錄導航至查詢設定檔，請執行下列動作：

1. 辨識感興趣的記錄，然後複製記錄的 statement_id。
2. 參考記錄的 workspace_id ，以確保您已登入與記錄相同的工作區。
3. 按一下圖示。在工作區側邊欄中查詢歷程記錄。
4. 在［陳述式 ID］欄位中，將記錄中的 貼上。
5. 按一下查詢的名稱。 查詢計量的概觀隨即出現。
6. 按一下查看查詢設定檔。

瞭解 query_source 欄

query_source 欄包含一組涉及語句執行之 Azure Databricks 實體的唯一識別碼。

如果數據 query_source 行包含多個標識碼，表示語句執行是由多個實體觸發。 例如，作業結果可能會觸發呼叫 SQL 查詢的警示。 在此範例中，這三個識別碼都會填入query_source內。 此數據行的值不會依執行順序排序。

可能的查詢來源如下：

• alert_id：從警示觸發的語句
• sql_query_id：從這個 SQL 編輯器 會話內執行的語句
• dashboard_id：從儀錶板執行的語句
• legacy_dashboard_id：從舊版儀錶板執行的語句
• genie_space_id：從 Genie 空間執行的語句
• notebook_id：從筆記本執行的語句
• job_info.job_id：在作業內執行的語句
• job_info.job_run_id：從作業執行執行的語句
• job_info.job_task_run_id：在作業工作執行內執行的語句

有效的查詢來源組合

下列範例示範如何 query_source 根據查詢的執行方式填入數據行：

• 作業執行期間執行的查詢包括填入 job_info 的結構體：

  {
alert_id: null,
sql_query_id: null,
dashboard_id: null,
notebook_id: null,
job_info: {
job_id: 64361233243479,
job_run_id: null,
job_task_run_id: 110378410199121
},
legacy_dashboard_id: null,
genie_space_id: null
}

• 來自舊版儀表板的查詢包括 sql_query_id 和 legacy_dashboard_id：

  {
alert_id: null,
sql_query_id: 7336ab80-1a3d-46d4-9c79-e27c45ce9a15,
dashboard_id: null,
notebook_id: null,
job_info: null,
legacy_dashboard_id: 1a735c96-4e9c-4370-8cd7-5814295d534c,
genie_space_id: null
}

• 警示查詢包括 sql_query_id 與 ： alert_id

  {
alert_id: e906c0c6-2bcc-473a-a5d7-f18b2aee6e34,
sql_query_id: 7336ab80-1a3d-46d4-9c79-e27c45ce9a15,
dashboard_id: null,
notebook_id: null,
job_info: null,
legacy_dashboard_id: null,
genie_space_id: null
}

• 來自儀錶板的查詢包括 dashboard_id，但沒有 job_info：

  {
alert_id: null,
sql_query_id: null,
dashboard_id: 887406461287882,
notebook_id: null,
job_info: null,
legacy_dashboard_id: null,
genie_space_id: null
}

從中繼存放區具體化查詢歷程記錄

下列程式代碼可用來建立每小時、每日或每周執行的作業，以具體化中繼存放區的查詢歷程記錄。 根據需要調整 HISTORY_TABLE_PATH 和 LOOKUP_PERIOD_DAYS 變數。

from delta.tables import *
from pyspark.sql.functions import *
from pyspark.sql.types import *

HISTORY_TABLE_PATH = "jacek.default.history"
# Adjust the lookup period according to your job schedule
LOOKUP_PERIOD_DAYS = 1

def table_exists(table_name):
    try:
        spark.sql(f"describe table {table_name}")
        return True
    except Exception:
        return False

def save_as_table(table_path, df, schema, pk_columns):
    deltaTable = (
        DeltaTable.createIfNotExists(spark)
        .tableName(table_path)
        .addColumns(schema)
        .execute()
    )

    merge_statement = " AND ".join([f"logs.{col}=newLogs.{col}" for col in pk_columns])

    result = (
        deltaTable.alias("logs")
        .merge(
            df.alias("newLogs"),
            f"{merge_statement}",
        )
        .whenNotMatchedInsertAll()
        .whenMatchedUpdateAll()
        .execute()
    )
    result.show()

def main():
    df = spark.read.table("system.query.history")
    if table_exists(HISTORY_TABLE_PATH):
        df = df.filter(f"update_time >= CURRENT_DATE() - INTERVAL {LOOKUP_PERIOD_DAYS} days")
    else:
        print(f"Table {HISTORY_TABLE_PATH} does not exist. Proceeding to copy the whole source table.")

    save_as_table(
        HISTORY_TABLE_PATH,
        df,
        df.schema,
        ["workspace_id", "statement_id"]
    )

main()

分析資料表熱門程度，包括快取查詢

系統資料表血緣不會提供來自結果快取的查詢結果紀錄。 因此，您必須將查詢歷程表與表格譜系系統表格結合，才能在分析中併入快取的查詢。

例如，下列查詢會擷取過去 7 天內查詢執行時間超過一小時的資料表：

SELECT
    t.source_table_full_name,
    COUNT(*) AS num_of_queries_over_hour
FROM
    system.query.history h
    INNER JOIN system.access.table_lineage t
        ON t.statement_id = h.cache_origin_statement_id
WHERE
    h.total_duration_ms > 3600000
    AND t.event_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    AND t.source_table_full_name IS NOT NULL
GROUP BY t.source_table_full_name
ORDER BY 2 DESC;