工作任務系統表參考

本文是系統數據表的 lakeflow 參考，可記錄您帳戶中的作業活動。 這些數據表包含您帳戶中部署於相同雲端區域之所有工作區的記錄。 若要查看來自另一個區域的記錄，您必須從部署於該區域的工作區檢視數據表。

Requirements

• 若要存取這些系統數據表，用戶必須：
  • 同時為中繼存放區管理員和帳戶管理員，或
  • 具有系統架構的 USE 和 SELECT 許可權。 請參閱 授與系統資料表的存取權。

可用的作業數據表

所有作業相關的系統數據表都存在於架構中 system.lakeflow 。 目前，架構會裝載四個數據表：

詳細的架構參考

下列各節提供每個作業相關系統數據表的架構參考。

作業數據表架構

jobs 數據表是緩時變維度數據表 （SCD2）。 當數據列變更時，會發出新的數據列，以邏輯方式取代前一個數據列。

表格路徑： system.lakeflow.jobs

範例查詢

-- Get the most recent version of a job
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.jobs QUALIFY rn=1

作業工作數據表架構

工作任務表是緩慢變化維度表（SCD2）。 當數據列變更時，會發出新的數據列，以邏輯方式取代前一個數據列。

表格路徑： system.lakeflow.job_tasks

範例查詢

-- Get the most recent version of a job task
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.job_tasks QUALIFY rn=1

作業執行時程表數據表架構

作業執行時間軸數據表在產生時是不可變且完成的。

表格路徑： system.lakeflow.job_run_timeline

範例查詢

-- This query gets the daily job count for a workspace for the last 7 days:
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY ALL

-- This query returns the daily job count for a workspace for the last 7 days, distributed by the outcome of the job run.
SELECT
  workspace_id,
  COUNT(DISTINCT run_id) as job_count,
  result_state,
  to_date(period_start_time) as date
FROM system.lakeflow.job_run_timeline
WHERE
  period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
  AND result_state IS NOT NULL
GROUP BY ALL

-- This query returns the average time of job runs, measured in seconds. The records are organized by job. A top 90 and a 95 percentile column show the average lengths of the job's longest runs.
with job_run_duration as (
    SELECT
        workspace_id,
        job_id,
        run_id,
        CAST(SUM(period_end_time - period_start_time) AS LONG) as duration
    FROM
        system.lakeflow.job_run_timeline
    WHERE
      period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    GROUP BY ALL
)
SELECT
    t1.workspace_id,
    t1.job_id,
    COUNT(DISTINCT t1.run_id) as runs,
    MEAN(t1.duration) as mean_seconds,
    AVG(t1.duration) as avg_seconds,
    PERCENTILE(t1.duration, 0.9) as p90_seconds,
    PERCENTILE(t1.duration, 0.95) as p95_seconds
FROM
    job_run_duration t1
GROUP BY ALL
ORDER BY mean_seconds DESC
LIMIT 100

-- This query provides a historical runtime for a specific job based on the `run_name` parameter. For the query to work, you must set the `run_name`.
SELECT
  workspace_id,
  run_id,
  SUM(period_end_time - period_start_time) as run_time
FROM system.lakeflow.job_run_timeline
WHERE
  run_type="SUBMIT_RUN"
  AND run_name = :run_name
  AND period_start_time > CURRENT_TIMESTAMP() - INTERVAL 60 DAYS
GROUP BY ALL

-- This query collects a list of retried job runs with the number of retries for each run.
with repaired_runs as (
    SELECT
    workspace_id, job_id, run_id, COUNT(*) - 1 as retries_count
    FROM system.lakeflow.job_run_timeline
    WHERE result_state IS NOT NULL
    GROUP BY ALL
    HAVING retries_count > 0
    )
SELECT
    *
FROM repaired_runs
ORDER BY retries_count DESC
    LIMIT 10;

作業工作執行時程表數據表架構

作業工作執行時程表數據表在產生時是不可變且完成的。

表格路徑： system.lakeflow.job_task_run_timeline

管線數據表架構

管線表格是緩慢變更的維度表格 （SCD2）。 當數據列變更時，會發出新的數據列，以邏輯方式取代前一個數據列。

表格路徑： system.lakeflow.pipelines

範例查詢

-- Get the most recent version of a pipeline
SELECT
  *,
  ROW_NUMBER() OVER(PARTITION BY workspace_id, pipeline_id ORDER BY change_time DESC) as rn
FROM
  system.lakeflow.pipelines QUALIFY rn=1

-- Enrich billing logs with pipeline metadata
with latest_pipelines AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, pipeline_id ORDER BY change_time DESC) as rn
  FROM
    system.lakeflow.pipelines QUALIFY rn=1
)
SELECT
  usage.*,
  pipelines.*
FROM system.billing.usage
LEFT JOIN latest_pipelines
  ON (usage.workspace_id = pipelines.workspace_id
    AND usage.usage_metadata.dlt_pipeline_id = pipelines.pipeline_id)
WHERE
  usage.usage_metadata.dlt_pipeline_id IS NOT NULL

管線更新時程架構資料表

工作流程更新時間表資料表在生成時即固定且完整。

表格路徑： system.lakeflow.pipeline_update_timeline

範例查詢

-- This query gets the daily pipeline update count for a workspace for the last 7 days:
SELECT
    workspace_id,
    COUNT(DISTINCT update_id) as update_count,
    to_date(period_start_time) as date
FROM system.lakeflow.pipeline_update_timeline
WHERE
    period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY ALL

-- This query returns the daily pipeline update count for a workspace for the last 7 days, distributed by the outcome of the pipeline update.
SELECT
    workspace_id,
    COUNT(DISTINCT update_id) as update_count,
    result_state,
    to_date(period_start_time) as date
FROM system.lakeflow.pipeline_update_timeline
WHERE
    period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
  AND result_state IS NOT NULL
GROUP BY ALL

-- This query returns the average time of pipeline updates, measured in seconds. The records are organized by pipeline. A top 90 and a 95 percentile column show the average lengths of the pipeline's longest updates.
with pipeline_update_duration as (
    SELECT
      workspace_id,
      pipeline_id,
      update_id,
      CAST(SUM(period_end_time - period_start_time) AS LONG) as duration
    FROM
        system.lakeflow.pipeline_update_timeline
    WHERE
        period_start_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
    GROUP BY ALL
)
SELECT
    t1.workspace_id,
    t1.pipeline_id,
    COUNT(DISTINCT t1.update_id) as update_count,
    MEAN(t1.duration) as mean_seconds,
    AVG(t1.duration) as avg_seconds,
    PERCENTILE(t1.duration, 0.9) as p90_seconds,
    PERCENTILE(t1.duration, 0.95) as p95_seconds
FROM
    pipeline_update_duration t1
GROUP BY ALL
ORDER BY mean_seconds DESC
    LIMIT 100

常見聯結模式

下列各節提供範例查詢，展示作業系統表中常見的連結模式。

合併作業和作業執行時間軸資料表

豐富作業運行資訊，加入作業名稱

with jobs as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
    FROM system.lakeflow.jobs QUALIFY rn=1
)
SELECT
    job_run_timeline.*
    jobs.name
FROM system.lakeflow.job_run_timeline
    LEFT JOIN jobs USING (workspace_id, job_id)

合併工作運行時間表和使用情況表

使用作業運行元數據豐富每個計費日誌

以下查詢會使用來自經典與無伺服器工作的執行中繼資料，來豐富帳單日誌：

with aggregated_job_runs AS (
  SELECT
    j.workspace_id,
    COALESCE(t.job_id, j.job_id) as origin_job_id,
    COALESCE(t.job_run_id, j.run_id) AS origin_job_run_id,
    j.job_id as billing_job_id,
    j.run_id as billing_run_id,
    CASE WHEN j.root_task_run_id IS NOT NULL THEN true ELSE false END AS is_workflow_run
  FROM
    system.lakeflow.job_run_timeline j
  LEFT JOIN
    system.lakeflow.job_task_run_timeline t
  ON
    j.workspace_id = t.workspace_id
    AND j.root_task_run_id = t.run_id
  WHERE j.period_start_time >= CURRENT_DATE() - INTERVAL 7 DAYS
  GROUP BY ALL
),
billing_logs_enriched AS (
  SELECT
      t2.origin_job_id,
      t2.origin_job_run_id,
      t1.*
  FROM system.billing.usage t1
      INNER JOIN aggregated_job_runs t2
          ON t1.workspace_id = t2.workspace_id
              AND t1.usage_metadata.job_id = t2.billing_job_id
              AND t1.usage_metadata.job_run_id = t2.billing_run_id
  WHERE
      billing_origin_product="JOBS" AND usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
)
SELECT
  workspace_id,
  origin_job_id AS job_id,
  origin_job_run_id AS run_id,
  sku_name,
  SUM(usage_quantity) as total_usage_quantity,
  SUM(CASE WHEN usage_metadata.job_run_id != origin_job_run_id THEN usage_quantity ELSE 0 END) AS workflow_run_usage_quantity,
  COUNT(DISTINCT usage_metadata.job_run_id) - 1 AS workflow_runs
FROM billing_logs_enriched
GROUP BY ALL

計算每個作業執行的成本

此查詢會與 billing.usage 系統數據表聯結，以計算每個作業執行的成本。

with jobs_usage AS (
  SELECT
    *,
    usage_metadata.job_id,
    usage_metadata.job_run_id as run_id,
    identity_metadata.run_as as run_as
  FROM system.billing.usage
  WHERE billing_origin_product="JOBS"
),
jobs_usage_with_usd AS (
  SELECT
    jobs_usage.*,
    usage_quantity * pricing.default as usage_usd
  FROM jobs_usage
    LEFT JOIN system.billing.list_prices pricing ON
      jobs_usage.sku_name = pricing.sku_name
      AND pricing.price_start_time <= jobs_usage.usage_start_time
      AND (pricing.price_end_time >= jobs_usage.usage_start_time OR pricing.price_end_time IS NULL)
      AND pricing.currency_code="USD"
),
jobs_usage_aggregated AS (
  SELECT
    workspace_id,
    job_id,
    run_id,
    FIRST(run_as, TRUE) as run_as,
    sku_name,
    SUM(usage_usd) as usage_usd,
    SUM(usage_quantity) as usage_quantity
  FROM jobs_usage_with_usd
  GROUP BY ALL
)
SELECT
  t1.*,
  MIN(period_start_time) as run_start_time,
  MAX(period_end_time) as run_end_time,
  FIRST(result_state, TRUE) as result_state
FROM jobs_usage_aggregated t1
  LEFT JOIN system.lakeflow.job_run_timeline t2 USING (workspace_id, job_id, run_id)
GROUP BY ALL
ORDER BY usage_usd DESC
LIMIT 100

取得SUBMIT_RUN作業的使用記錄

SELECT
  *
FROM system.billing.usage
WHERE
  EXISTS (
      SELECT 1
      FROM system.lakeflow.job_run_timeline
      WHERE
        job_run_timeline.job_id = usage_metadata.job_id
        AND run_name = :run_name
        AND workspace_id = :workspace_id
  )

聯結作業工作執行時程表和叢集數據表

使用叢集元數據執行擴充作業工作

with clusters as (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
    FROM system.compute.clusters QUALIFY rn=1
),
exploded_task_runs AS (
  SELECT
    *,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE array_size(compute_ids) > 0
)
SELECT
  *
FROM exploded_task_runs t1
  LEFT JOIN clusters t2
    USING (workspace_id, cluster_id)

尋找在所有用途計算上執行的作業

此查詢會與 compute.clusters 系統數據表聯結，以傳回在通用計算資源上執行的最近作業，而不是在任務計算資源上執行的作業。

with clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  WHERE cluster_source="UI" OR cluster_source="API"
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 30 DAY
  GROUP BY ALL
),
all_purpose_cluster_jobs AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN clusters t2 USING (workspace_id, cluster_id)
)
SELECT * FROM all_purpose_cluster_jobs LIMIT 10;

尋找過去 30 天內未執行的作業

此查詢會 lakeflow.jobs 聯結 和 lakeflow.job_run_timeline 系統資料表，以傳回過去 30 天內未執行的作業。

with latest_jobs AS (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
    FROM system.lakeflow.jobs QUALIFY rn=1
),
latest_not_deleted_jobs AS (
    SELECT
        workspace_id,
        job_id,
        name,
        change_time,
        tags
    FROM latest_jobs WHERE delete_time IS NULL
),
last_seen_job_timestamp AS (
    SELECT
        workspace_id,
        job_id,
        MAX(period_start_time) as last_executed_at
    FROM system.lakeflow.job_run_timeline
    WHERE
        run_type="JOB_RUN"
    GROUP BY ALL
)
SELECT
    t1.workspace_id,
    t1.job_id,
    t1.name,
    t1.change_time as last_modified_at,
    t2.last_executed_at,
    t1.tags
FROM latest_not_deleted_jobs t1
    LEFT JOIN last_seen_job_timestamp t2
        USING (workspace_id, job_id)
WHERE
    (t2.last_executed_at <= CURRENT_DATE() - INTERVAL 30 DAYS) OR (t2.last_executed_at IS NULL)
ORDER BY last_executed_at ASC

作業監視儀錶板

下列儀錶板會使用系統數據表來協助您開始監視作業和作業健康情況。 其中包含常見的使用案例，例如作業效能追蹤、失敗監視和資源使用率。

如需下載儀錶板的資訊，請參閱 監視作業成本 & 效能與系統資料表

Troubleshooting

作業未記錄在 lakeflow.jobs 數據表中

如果系統資料表中看不到工作：

• 過去 365 天內未修改工作
  • 修改架構中出現的任何作業欄位，以發出新的記錄。
• 職位是在不同的地區創建的
• 最近的職位建立（資料表延遲）

找不到在 job_run_timeline 表格中出現的工作

並非所有作業執行都會在任何地方顯示。 雖然 JOB_RUN 項目出現在所有作業相關數據表中，WORKFLOW_RUN（筆記本工作流程執行）只會記錄在 job_run_timeline 中，而 SUBMIT_RUN（一次性提交的執行）只會記錄在這兩個時間軸數據表中。 這些運行結果不會填入到其他作業系統資料表，例如 jobs 或 job_tasks。

請參閱下面的 執行型別 表格，以取得每種執行型別可見和存取位置的詳細明細。

無法在 billing.usage 表格中看到作業執行

在 system.billing.usage中，只會針對在作業計算或無伺服器計算上執行的作業填入 usage_metadata.job_id。

此外，WORKFLOW_RUN 作業在 usage_metadata.job_id中沒有自己的 usage_metadata.job_run_id 或 system.billing.usage 屬性。 相反地，其計算使用量會歸屬於觸發它們的父筆記本。 這意味著當筆記本啟動工作流程運行時，所有計算成本都會顯示在父筆記本的使用量之下，而不會作為一個獨立的工作流程項目顯示。

如需詳細資訊，請參閱 使用量元數據參考。

計算在全用途計算上執行之作業的成本

針對在目的計算上執行之作業的精確成本計算，無法達到 100% 精確度。 當作業在互動式（所有用途）計算上執行時，筆記本、SQL 查詢或其他作業等多個工作負載通常會在同一個計算資源上同時執行。 因為叢集資源是共用的，因此計算成本和個別作業執行之間沒有直接的 1：1 對應。

為了精確地追蹤任務成本，Databricks 建議在專用運算或無伺服器運算上執行任務，其中 usage_metadata.job_id 和 usage_metadata.job_run_id 能夠精確地進行成本歸屬。

如果您必須使用通用計算，您可以：

• 根據 system.billing.usage 監視 usage_metadata.cluster_id 的整體叢集使用量和成本。
• 分別追蹤作業執行時間的指標。
• 請考慮任何成本估計值都會因為共享資源而近似。

如需成本屬性的詳細資訊，請參閱 使用量元數據參考。

參考值

以下部分包含與工作有關的表格中特定欄位的參考資料。

時間軸數據表中的切片邏輯

period_start_time和period_end_time表中的job_run_timeline和job_task_run_timeline欄記錄作業執行或工作執行的有效運行時間。

：：：警告 重要變更

自 2026 年 1 月 19 日起，新增至時間線資料表的新列將會使用 時鐘小時對齊的切片邏輯。 現有的排位將保持不變。

切片會根據運行開始時間，每小時建立一次。 例如，一個工作從下午4:47開始，會產生下午4:47-5:47、下午5:47-6:47的切片，依此類推。

切片會對齊時鐘的邊界。 例如，若一個工作從下午 4:47 開始，會建立 4:47-5:00、5:00-6:00、6:00-7:00 的切片，依此類推。 詳情請參見 時鐘-小時對齊切片邏輯 。

:::

每個數據列最多會記錄一個小時的運行時間。 超過 1 小時的執行會記錄在多個數據列上。 此分片確保能夠對長時間執行的作業進行每小時粒度的監控。

短期執行的工作

針對短於 1 小時的執行，會發出單一數據列，並將 period_start_time 設定為回合的開始時間，並 period_end_time 設定為回合的結束時間。

例如，作業從下午 12：13 UTC 開始，並以下午 12：45 UTC 結束，以單一數據列表示：

長時間執行的工作

超過 1 小時的執行期間，會發出多個相同run_id的數據列，每個數據列分別代表最多一小時的執行時間。

• 第一行從運行的實際開始時間開始，並在第一小時的運行結束時結束。
• 中間資料列（如果有的話）跨越整小時視窗，對齊上一個切片 period_end_time。
• 最後一行會從上一個切片的開頭開始，並在執行的實際結束時間結束。

例如，從下午 4：47 UTC 到下午 8：28 UTC 執行的作業會分割成多個數據列。 每個數據列都代表一小時的活動，但最後一個數據列可能較短：

時鐘-小時對齊切片邏輯

自 2026 年 1 月 19 日起，時間軸表採用時鐘小時對齊的切片方式。 所有時間片都與標準時鐘邊界對齊。

對於執行時間少於一小時且在同一鐘點內開始和結束的工作，將生成一行記錄：

對於跨越時鐘時區邊界的工作執行，會發出多列切片，並對齊於時鐘時段：

• 第一排從實際起跑時間開始，到下一個時鐘邊界結束。
• 中間排（如有）跨越整個時鐘小時。 例如：下午2：00-3：00和3：00-4：00。
• 最後一排從時鐘點邊界開始，直到跑道的實際結束時間結束。

例如，從上午 1:25 到 3:40（UTC）的作業運行會被分割成三列：

觸發類型值

在 job_run_timeline 資料表中，欄位 trigger_type 的可能值為：

• CONTINUOUS
• CRON
• FILE_ARRIVAL
• ONETIME
• ONETIME_RETRY

執行類型值

在 job_run_timeline 資料表中，欄位 run_type 的可能值為：

結果狀態值

在 job_task_run_timeline 和 job_run_timeline 資料表中，資料行的可能值為 result_state ：

終止碼值

在 job_task_run_timeline 和 job_run_timeline 資料表中，資料行的可能值為 termination_code ：

管線類型值

在 pipelines 資料表中，欄位 pipeline_type 的可能值為：

管道參考結果

在 pipeline_update_timeline 資料表中，欄位 result_state 的可能值為：

• COMPLETED
• FAILED
• CANCELED

管線設定參考

在 pipelines 資料表中，欄位 settings 的可能值為：

管線更新類型值

在 pipeline_update_timeline 資料表中，欄位 update_type 的可能值為：

• API_CALL
• RETRY_ON_FAILURE
• SERVICE_UPGRADE
• SCHEMA_CHANGE
• JOB_TASK
• USER_ACTION
• DBSQL_REQUEST
• SETTINGS_CHANGE
• SCHEMA_EXPLORATION
• INFRASTRUCTURE_MAINTENANCE
• START_RESOURCES

管線觸發類型值

在 pipeline_update_timeline 資料表中，欄位 trigger_type 的可能值為：

管線觸發類型詳細資料

在pipeline_update_timeline 表格中，trigger_type.job_task 結構的可能值為：