计费使用情况系统表引用

本文概述了可计费使用情况系统表,包括架构和示例查询。 使用系统表时,帐户的计费使用情况数据将集中并路由到所有区域,以便你可以从工作区所在的区域查看帐户的全局使用情况。

有关使用此表监视成本和示例查询的信息,请参阅 使用系统表监视成本。

表路径:此系统表位于 system.billing.usage.

可计费使用情况表架构

可计费使用情况系统表使用以下架构:

列名 数据类型 Description Example
record_id 字符串 此使用情况记录的唯一 ID 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id 字符串 生成此报告的帐户的 ID 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id 字符串 此使用情况与工作区的 ID 相关联 1234567890123456
sku_name 字符串 SKU 的名称 STANDARD_ALL_PURPOSE_COMPUTE
cloud 字符串 与此使用关联的云服务。 可能值为 AWSAZUREGCP AWSAZUREGCP
usage_start_time 时间戳 与此使用情况记录相关的开始时间。 时区信息记录在值的末尾,其中 +00:00 表示 UTC 时区。 2023-01-09 10:00:00.000+00:00
usage_end_time 时间戳 与此使用情况记录相关的结束时间。 时区信息记录在值的末尾,其中 +00:00 表示 UTC 时区。 2023-01-09 11:00:00.000+00:00
usage_date date 使用情况记录的日期,此字段可用于按日期更快地聚合 2023-01-01
custom_tags 映射 与使用情况记录关联的自定义标记 { “env”: “production” }
usage_unit 字符串 此使用情况的度量单位 DBU
usage_quantity 十进制 此记录使用的单位数 259.2958
usage_metadata 结构 系统提供的有关使用情况的元数据,包括计算资源和作业的 ID(如果适用)。 请参阅 使用情况元数据 请参阅 使用情况元数据
identity_metadata 结构 系统提供的有关使用情况中涉及的标识的元数据。 请参阅 标识元数据 请参阅 标识元数据
record_type 字符串 该记录是否为原始记录、收回记录或重述记录。 除非记录与更正相关,否则值为 ORIGINAL。 请参阅 记录类型 ORIGINAL
ingestion_date date 记录引入到表中的 usage 日期 2024-01-01
billing_origin_product 字符串 引发使用的产品。 某些产品可以按不同的 SKU 计费。 有关可能的值,请参阅 Product JOBS
product_features 结构 有关使用的特定产品功能的详细信息。 请参阅 产品功能 请参阅 产品功能
usage_type 字符串 出于计费目的归因于产品或工作负载的使用类型。 可能的值为COMPUTE_TIME、、STORAGE_SPACENETWORK_BYTENETWORK_HOURAPI_OPERATIONTOKEN、或GPU_TIMEANSWER STORAGE_SPACE

使用情况元数据参考

usage_metadata 中的值都是字符串,它们告知您有关使用记录中涉及的工作区对象和资源的信息。

根据所使用的计算类型和功能,在任何给定的使用记录中仅填充这些值的子集。 表中的第三列显示哪些使用类型导致填充每个值。

Value Description 填充(否则为null
cluster_id 与使用情况记录关联的群集的 ID 非无服务器计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和旧模型服务
job_id 与使用情况记录关联的作业的 ID 无服务器作业和作业在作业计算上运行(不会填充在全用途计算上运行的作业)
warehouse_id 与使用记录关联的 SQL 仓库的 ID 在 SQL 仓库上运行的工作负荷
instance_pool_id 与使用情况记录关联的实例池的 ID 池中的非无服务器化计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和传统模型服务
node_type 计算资源的实例类型 非无服务器计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和所有 SQL 仓库
job_run_id 与使用记录关联的作业运行 ID 无服务器作业和作业在作业计算上运行(不会填充在全用途计算上运行的作业)
notebook_id 与使用情况关联的笔记本的 ID 无服务器笔记本
dlt_pipeline_id 与使用情况记录关联的管道的 ID Lakeflow Spark 声明性管道和使用 Lakeflow Spark 声明性管道的功能,例如具体化视图、联机表、矢量搜索索引和 Lakeflow Connect
endpoint_name 与使用情况记录关联的模型服务终结点或矢量搜索终结点的名称 模型服务和矢量搜索
endpoint_id 与使用情况记录关联的模型服务终结点或矢量搜索终结点的 ID 模型服务和矢量搜索
dlt_update_id 与使用情况记录关联的管道更新的 ID Lakeflow Spark 声明性管道和使用 Lakeflow Spark 声明性管道的功能,例如具体化视图、联机表、矢量搜索索引和 Lakeflow Connect
dlt_maintenance_id 与使用情况记录关联的管道维护任务的 ID Lakeflow Spark 声明性管道和使用 Lakeflow Spark 声明性管道的功能,例如具体化视图、联机表、矢量搜索索引和 Lakeflow Connect
metastore_id 此值未在 Azure Databricks 中填充 始终为 null
run_name 与使用记录关联的基础模型微调运行的唯一面向用户的名称 基础模型微调
job_name 用户给定的名称,用于标识与使用情况记录关联的作业 作业在无服务器的计算环境中运行
notebook_path 与使用情况关联的笔记本的工作区存储路径 笔记本在无服务器计算上运行
central_clean_room_id 与使用情况记录关联的中央清理室的 ID 清洁室
source_region 与使用情况关联的工作区区域。 仅返回与无服务器网络相关的使用情况的值。 无服务器网络
destination_region 要访问的资源的区域。 仅返回与无服务器网络相关的使用情况的值。 无服务器网络
app_id 与使用情况记录关联的应用的 ID Databricks 应用
app_name 使用记录关联的应用程序的用户给定名称 Databricks 应用
private_endpoint_name 使用无服务器计算部署的适用专用终结点的名称 无服务器网络
budget_policy_id 工作负载附加的无服务器预算策略 ID 无服务器计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和模型服务终结点
storage_api_type 对默认存储执行的操作类型。 可能的值为 TIER_1 (PUT、COPY、POST LIST)和 TIER_2 (其他操作) 默认存储
ai_runtime_workload_id 与使用情况记录关联的无服务器 GPU 工作负荷的 ID 无服务器 GPU 工作负载
uc_table_catalog 与使用情况记录关联的 Unity 目录目录名称 实例化视图
uc_table_schema 与使用记录关联的 Unity 目录架构名称 实例化视图
uc_table_name 与使用情况记录关联的 Unity 目录表名称 实例化视图
database_instance_id 与使用情况记录关联的数据库实例的 ID Lakebase 数据库实例
sharing_materialization_id 与使用记录关联的共享具体化 ID 使用Delta Sharing进行视图共享、物化视图和流表
usage_policy_id 与使用情况记录关联的使用策略的 ID 使用策略
agent_bricks_id 与使用记录关联的代理模块负载的ID Agent Bricks工作负载
base_environment_id 与使用相关联的 基本环境 的 ID 用于构建或刷新工作区的无服务器基础环境。 在 billing_origin_productBASE_ENVIRONMENTS 时填充。

标识元数据参考

identity_metadata 列提供有关使用中涉及的标识的详细信息。

  • run_as 字段记录下谁运行了工作负荷。 仅针对下表中列出的特定工作负荷类型填充此值。
  • owned_by 字段仅适用于 SQL 仓库使用情况,并记录拥有负责使用情况的 SQL 仓库的用户或服务主体。
  • created_by 字段适用于 Databricks 应用和代理砖头,并记录创建应用或代理的用户的电子邮件。

run_as标识

identity_metadata.run_as 中记录的标识取决于与使用情况关联的产品。 请参考下表了解 identity_metadata.run_as 行为:

工作负荷类型 run_as 的标识
作业计算 run_as 设置中定义的用户或服务主体。 默认情况下,作业以作业所有者的身份运行,但管理员可以将其更改为其他用户或服务主体。
作业的无服务器计算 run_as 设置中定义的用户或服务主体。 默认情况下,作业以作业所有者的身份运行,但管理员可以将其更改为其他用户或服务主体。
适用于笔记本的无服务器计算 运行笔记本命令的用户(具体而言,是创建笔记本会话的用户)。 对于共享笔记本,这包括共享同一笔记本会话的其他用户的使用情况。
Lakeflow Spark 声明性管道 其权限用于运行管道的用户或服务主体。 可以通过转移管道的所有权来进行更改。
基础模型微调 启动微调训练运行的用户或服务主体。
预测优化 运行预测性优化操作的 Databricks 拥有的服务主体。
数据质量监控 创建配置文件的用户。

记录类型参考

billing.usage 表支持更正。 当使用情况记录的任何字段不正确且必须修复时,会发生更正。

发生更正时,Azure Databricks 会将两条新记录添加到表。 收回记录否定了原始不正确的记录,然后重述记录则包括更正的信息。 更正记录是使用 record_type 字段进行标识的:

  • RETRACTION:用于否定原始不正确的使用情况。 所有字段都与 ORIGINAL 记录相同,但 usage_quantity 除外,它是一个负值,用于取消原始使用数量。 例如,如果原始记录的使用数量为259.4356,则收回记录的使用数量为-259.4356
  • RESTATEMENT:包含正确字段和使用数量的记录。

例如,以下查询返回与 job_id 相关的正确每小时使用量,即使已进行更正。 通过聚合使用数量,收回记录将否定原始记录,并且只返回重述的值。

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Note

对于不应写入原始使用情况记录的更正,更正只能添加收回记录,而不添加重述记录。

计费源产品参考

某些 Databricks 产品在同一共享 SKU 下计费。 例如,数据质量监视、预测优化和无服务器工作流都在同一无服务器作业 SKU 下计费。

为了帮助区分使用情况,billing_origin_productproduct_features 列提供了有关与使用情况关联的特定产品与功能的更深入见解。

billing_origin_product 列会显示与使用记录关联的 Databricks 产品。 这些值包括:

Value Description
JOBS Lakeflow 作业 工作负荷关联的成本
DLT Lakeflow Spark Declarative Pipelines 工作负载相关的成本
SQL Databricks SQL 相关的成本,包括 SQL 仓库上运行的工作负载和具体化视图
ALL_PURPOSE 经典通用计算相关的成本
MODEL_SERVING 马赛克 AI 模型服务相关的成本
INTERACTIVE 无服务器交互式工作负载关联的成本
DEFAULT_STORAGE 默认存储关联的成本
VECTOR_SEARCH 矢量搜索关联的成本
LAKEHOUSE_MONITORING 与数据质量监视相关的成本
PREDICTIVE_OPTIMIZATION 预测优化相关的成本
ONLINE_TABLES 在线数据库关联的费用(旧版)
FOUNDATION_MODEL_TRAINING 基础模型微调相关的成本
AGENT_EVALUATION 代理评估相关的成本
FINE_GRAINED_ACCESS_CONTROL 专用计算上精细访问控制的无服务器使用
BASE_ENVIRONMENTS 与生成或刷新工作区的无服务器基本环境关联的使用情况
DATA_CLASSIFICATION 数据分类 作相关的成本
DATA_QUALITY_MONITORING 数据质量监视相关的成本,包括异常情况检测和数据分析
AI_GATEWAY AI 网关 使用情况相关的成本
AI_RUNTIME 与无服务器 GPU 工作负载关联的成本
NETWORKING 通过专用终结点将无服务器计算连接到您的资源产生的相关成本。 对于NETWORKING用法,workspace_idnullusage_unithournetworking.connectivity_typePRIVATE_IP
APPS 与生成和运行 Databricks 应用相关的成本
DATABASE Lakebase 数据库实例关联的成本
AI_FUNCTIONS AI Functions 使用情况相关的成本。 此产品仅记录 AI_PARSE_DOCUMENT 函数的使用情况。
AGENT_BRICKS Agent Bricks 工作负荷相关的成本
CLEAN_ROOM 清理室 工作负荷相关的成本
LAKEFLOW_CONNECT Lakeflow Connect 托管连接器关联的成本

产品功能参考

product_features 列是一个对象,其中包含有关所使用特定产品功能的信息,并且该列包括以下键/值对:

领域 Description
jobs_tier 值包括 LIGHTCLASSICnull
sql_tier 值包括 CLASSICPROnull
dlt_tier 值包括 COREPROADVANCEDnull
is_serverless 值包括 truefalse,或者 null(当您可以选择无服务器计算和经典计算时,值为 truefalse;否则为 null
is_photon 值包括truefalsenull
serving_type 值包括MODEL、、GPU_MODELFOUNDATION_MODELFEATUREnull
offering_type 值包括 BATCH_INFERENCEnull
performance_target 指示无服务器作业或管道 的性能模式 。 值包括 PERFORMANCE_OPTIMIZEDSTANDARDnull。 非无服务器工作负荷具有一个 null 值。
ai_runtime.compute_type 表明无服务器 GPU 工作负荷的计算类型或 null
model_serving.offering_type 指示模型服务的产品/服务类型或 null
ai_gateway.feature_type 指示 AI 网关工作负载的功能类型或 null
serverless_gpu.workload_type 指示无服务器 GPU 计算的工作负荷类型或 null
ai_functions.ai_function 指示 AI 函数类型或 null
networking.connectivity_type 值包括 PUBLIC_IPPRIVATE_IP
agent_bricks.problem_type 表明 Agent Bricks 工作负载的问题类型。 值包括 AGENT_BRICKS_KNOWLEDGE_ASSISTANTnull
agent_bricks.workload_type 表示 Agent Bricks 的工作负荷类型。 值包括 AGENT_BRICKS_REAL_TIME_INFERENCEnull