本文概述了可计费使用情况系统表,包括架构和示例查询。 使用系统表时,帐户的计费使用情况数据将集中并路由到所有区域,以便你可以从工作区所在的区域查看帐户的全局使用情况。
有关使用此表监视成本和示例查询的信息,请参阅 使用系统表监视成本。
表路径:此系统表位于 system.billing.usage.
可计费使用情况表架构
可计费使用情况系统表使用以下架构:
| 列名 | 数据类型 | Description | Example |
|---|---|---|---|
record_id |
字符串 | 此使用情况记录的唯一 ID | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
字符串 | 生成此报告的帐户的 ID | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
字符串 | 此使用情况与工作区的 ID 相关联 | 1234567890123456 |
sku_name |
字符串 | SKU 的名称 | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
字符串 | 与此使用关联的云服务。 可能值为 AWS、AZURE 和 GCP。 |
AWS、AZURE 或 GCP |
usage_start_time |
时间戳 | 与此使用情况记录相关的开始时间。 时区信息记录在值的末尾,其中 +00:00 表示 UTC 时区。 |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
时间戳 | 与此使用情况记录相关的结束时间。 时区信息记录在值的末尾,其中 +00:00 表示 UTC 时区。 |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | 使用情况记录的日期,此字段可用于按日期更快地聚合 | 2023-01-01 |
custom_tags |
映射 | 与使用情况记录关联的自定义标记 | { “env”: “production” } |
usage_unit |
字符串 | 此使用情况的度量单位 | DBU |
usage_quantity |
十进制 | 此记录使用的单位数 | 259.2958 |
usage_metadata |
结构 | 系统提供的有关使用情况的元数据,包括计算资源和作业的 ID(如果适用)。 请参阅 使用情况元数据。 | 请参阅 使用情况元数据 |
identity_metadata |
结构 | 系统提供的有关使用情况中涉及的标识的元数据。 请参阅 标识元数据。 | 请参阅 标识元数据 |
record_type |
字符串 | 该记录是否为原始记录、收回记录或重述记录。 除非记录与更正相关,否则值为 ORIGINAL。 请参阅 记录类型。 |
ORIGINAL |
ingestion_date |
date | 记录引入到表中的 usage 日期 |
2024-01-01 |
billing_origin_product |
字符串 | 引发使用的产品。 某些产品可以按不同的 SKU 计费。 有关可能的值,请参阅 Product。 | JOBS |
product_features |
结构 | 有关使用的特定产品功能的详细信息。 请参阅 产品功能。 | 请参阅 产品功能 |
usage_type |
字符串 | 出于计费目的归因于产品或工作负载的使用类型。 可能的值为COMPUTE_TIME、、STORAGE_SPACENETWORK_BYTE、NETWORK_HOURAPI_OPERATION、TOKEN、或GPU_TIMEANSWER。 |
STORAGE_SPACE |
使用情况元数据参考
usage_metadata 中的值都是字符串,它们告知您有关使用记录中涉及的工作区对象和资源的信息。
根据所使用的计算类型和功能,在任何给定的使用记录中仅填充这些值的子集。 表中的第三列显示哪些使用类型导致填充每个值。
| Value | Description | 填充(否则为null) |
|---|---|---|
cluster_id |
与使用情况记录关联的群集的 ID | 非无服务器计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和旧模型服务 |
job_id |
与使用情况记录关联的作业的 ID | 无服务器作业和作业在作业计算上运行(不会填充在全用途计算上运行的作业) |
warehouse_id |
与使用记录关联的 SQL 仓库的 ID | 在 SQL 仓库上运行的工作负荷 |
instance_pool_id |
与使用情况记录关联的实例池的 ID | 池中的非无服务器化计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和传统模型服务 |
node_type |
计算资源的实例类型 | 非无服务器计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和所有 SQL 仓库 |
job_run_id |
与使用记录关联的作业运行 ID | 无服务器作业和作业在作业计算上运行(不会填充在全用途计算上运行的作业) |
notebook_id |
与使用情况关联的笔记本的 ID | 无服务器笔记本 |
dlt_pipeline_id |
与使用情况记录关联的管道的 ID | Lakeflow Spark 声明性管道和使用 Lakeflow Spark 声明性管道的功能,例如具体化视图、联机表、矢量搜索索引和 Lakeflow Connect |
endpoint_name |
与使用情况记录关联的模型服务终结点或矢量搜索终结点的名称 | 模型服务和矢量搜索 |
endpoint_id |
与使用情况记录关联的模型服务终结点或矢量搜索终结点的 ID | 模型服务和矢量搜索 |
dlt_update_id |
与使用情况记录关联的管道更新的 ID | Lakeflow Spark 声明性管道和使用 Lakeflow Spark 声明性管道的功能,例如具体化视图、联机表、矢量搜索索引和 Lakeflow Connect |
dlt_maintenance_id |
与使用情况记录关联的管道维护任务的 ID | Lakeflow Spark 声明性管道和使用 Lakeflow Spark 声明性管道的功能,例如具体化视图、联机表、矢量搜索索引和 Lakeflow Connect |
metastore_id |
此值未在 Azure Databricks 中填充 | 始终为 null |
run_name |
与使用记录关联的基础模型微调运行的唯一面向用户的名称 | 基础模型微调 |
job_name |
用户给定的名称,用于标识与使用情况记录关联的作业 | 作业在无服务器的计算环境中运行 |
notebook_path |
与使用情况关联的笔记本的工作区存储路径 | 笔记本在无服务器计算上运行 |
central_clean_room_id |
与使用情况记录关联的中央清理室的 ID | 清洁室 |
source_region |
与使用情况关联的工作区区域。 仅返回与无服务器网络相关的使用情况的值。 | 无服务器网络 |
destination_region |
要访问的资源的区域。 仅返回与无服务器网络相关的使用情况的值。 | 无服务器网络 |
app_id |
与使用情况记录关联的应用的 ID | Databricks 应用 |
app_name |
使用记录关联的应用程序的用户给定名称 | Databricks 应用 |
private_endpoint_name |
使用无服务器计算部署的适用专用终结点的名称 | 无服务器网络 |
budget_policy_id |
工作负载附加的无服务器预算策略 ID | 无服务器计算使用情况,包括笔记本、作业、Lakeflow Spark 声明性管道和模型服务终结点 |
storage_api_type |
对默认存储执行的操作类型。 可能的值为 TIER_1 (PUT、COPY、POST LIST)和 TIER_2 (其他操作) |
默认存储 |
ai_runtime_workload_id |
与使用情况记录关联的无服务器 GPU 工作负荷的 ID | 无服务器 GPU 工作负载 |
uc_table_catalog |
与使用情况记录关联的 Unity 目录目录名称 | 实例化视图 |
uc_table_schema |
与使用记录关联的 Unity 目录架构名称 | 实例化视图 |
uc_table_name |
与使用情况记录关联的 Unity 目录表名称 | 实例化视图 |
database_instance_id |
与使用情况记录关联的数据库实例的 ID | Lakebase 数据库实例 |
sharing_materialization_id |
与使用记录关联的共享具体化 ID | 使用Delta Sharing进行视图共享、物化视图和流表 |
usage_policy_id |
与使用情况记录关联的使用策略的 ID | 使用策略 |
agent_bricks_id |
与使用记录关联的代理模块负载的ID | Agent Bricks工作负载 |
base_environment_id |
与使用相关联的 基本环境 的 ID | 用于构建或刷新工作区的无服务器基础环境。 在 billing_origin_product 为 BASE_ENVIRONMENTS 时填充。 |
标识元数据参考
该 identity_metadata 列提供有关使用中涉及的标识的详细信息。
-
run_as字段记录下谁运行了工作负荷。 仅针对下表中列出的特定工作负荷类型填充此值。 - 该
owned_by字段仅适用于 SQL 仓库使用情况,并记录拥有负责使用情况的 SQL 仓库的用户或服务主体。
- 该
created_by字段适用于 Databricks 应用和代理砖头,并记录创建应用或代理的用户的电子邮件。
run_as标识
identity_metadata.run_as 中记录的标识取决于与使用情况关联的产品。 请参考下表了解 identity_metadata.run_as 行为:
| 工作负荷类型 |
run_as 的标识 |
|---|---|
| 作业计算 | 在 run_as 设置中定义的用户或服务主体。 默认情况下,作业以作业所有者的身份运行,但管理员可以将其更改为其他用户或服务主体。 |
| 作业的无服务器计算 | 在 run_as 设置中定义的用户或服务主体。 默认情况下,作业以作业所有者的身份运行,但管理员可以将其更改为其他用户或服务主体。 |
| 适用于笔记本的无服务器计算 | 运行笔记本命令的用户(具体而言,是创建笔记本会话的用户)。 对于共享笔记本,这包括共享同一笔记本会话的其他用户的使用情况。 |
| Lakeflow Spark 声明性管道 | 其权限用于运行管道的用户或服务主体。 可以通过转移管道的所有权来进行更改。 |
| 基础模型微调 | 启动微调训练运行的用户或服务主体。 |
| 预测优化 | 运行预测性优化操作的 Databricks 拥有的服务主体。 |
| 数据质量监控 | 创建配置文件的用户。 |
记录类型参考
billing.usage 表支持更正。 当使用情况记录的任何字段不正确且必须修复时,会发生更正。
发生更正时,Azure Databricks 会将两条新记录添加到表。 收回记录否定了原始不正确的记录,然后重述记录则包括更正的信息。 更正记录是使用 record_type 字段进行标识的:
-
RETRACTION:用于否定原始不正确的使用情况。 所有字段都与ORIGINAL记录相同,但usage_quantity除外,它是一个负值,用于取消原始使用数量。 例如,如果原始记录的使用数量为259.4356,则收回记录的使用数量为-259.4356。 -
RESTATEMENT:包含正确字段和使用数量的记录。
例如,以下查询返回与 job_id 相关的正确每小时使用量,即使已进行更正。 通过聚合使用数量,收回记录将否定原始记录,并且只返回重述的值。
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Note
对于不应写入原始使用情况记录的更正,更正只能添加收回记录,而不添加重述记录。
计费源产品参考
某些 Databricks 产品在同一共享 SKU 下计费。 例如,数据质量监视、预测优化和无服务器工作流都在同一无服务器作业 SKU 下计费。
为了帮助区分使用情况,billing_origin_product 和 product_features 列提供了有关与使用情况关联的特定产品与功能的更深入见解。
该 billing_origin_product 列会显示与使用记录关联的 Databricks 产品。 这些值包括:
| Value | Description |
|---|---|
JOBS |
与 Lakeflow 作业 工作负荷关联的成本 |
DLT |
与 Lakeflow Spark Declarative Pipelines 工作负载相关的成本 |
SQL |
与 Databricks SQL 相关的成本,包括 SQL 仓库上运行的工作负载和具体化视图 |
ALL_PURPOSE |
与经典通用计算相关的成本 |
MODEL_SERVING |
与马赛克 AI 模型服务相关的成本 |
INTERACTIVE |
与无服务器交互式工作负载关联的成本 |
DEFAULT_STORAGE |
与默认存储关联的成本 |
VECTOR_SEARCH |
与矢量搜索关联的成本 |
LAKEHOUSE_MONITORING |
与数据质量监视相关的成本 |
PREDICTIVE_OPTIMIZATION |
与预测优化相关的成本 |
ONLINE_TABLES |
与在线数据库关联的费用(旧版) |
FOUNDATION_MODEL_TRAINING |
与基础模型微调相关的成本 |
AGENT_EVALUATION |
与代理评估相关的成本 |
FINE_GRAINED_ACCESS_CONTROL |
专用计算上精细访问控制的无服务器使用 |
BASE_ENVIRONMENTS |
与生成或刷新工作区的无服务器基本环境关联的使用情况 |
DATA_CLASSIFICATION |
与 数据分类 作相关的成本 |
DATA_QUALITY_MONITORING |
与 数据质量监视相关的成本,包括异常情况检测和数据分析 |
AI_GATEWAY |
与 AI 网关 使用情况相关的成本 |
AI_RUNTIME |
与无服务器 GPU 工作负载关联的成本 |
NETWORKING |
通过专用终结点将无服务器计算连接到您的资源产生的相关成本。 对于NETWORKING用法,workspace_id是null,usage_unit是hour,networking.connectivity_type是PRIVATE_IP。 |
APPS |
与生成和运行 Databricks 应用相关的成本 |
DATABASE |
与 Lakebase 数据库实例关联的成本 |
AI_FUNCTIONS |
与 AI Functions 使用情况相关的成本。 此产品仅记录 AI_PARSE_DOCUMENT 函数的使用情况。 |
AGENT_BRICKS |
与 Agent Bricks 工作负荷相关的成本 |
CLEAN_ROOM |
与 清理室 工作负荷相关的成本 |
LAKEFLOW_CONNECT |
与 Lakeflow Connect 托管连接器关联的成本 |
产品功能参考
该 product_features 列是一个对象,其中包含有关所使用特定产品功能的信息,并且该列包括以下键/值对:
| 领域 | Description |
|---|---|
jobs_tier |
值包括 LIGHT、 CLASSIC或 null |
sql_tier |
值包括 CLASSIC、 PRO或 null |
dlt_tier |
值包括 CORE、 PRO、 ADVANCED或 null |
is_serverless |
值包括 true 或 false,或者 null(当您可以选择无服务器计算和经典计算时,值为 true 或 false;否则为 null) |
is_photon |
值包括true、false或null |
serving_type |
值包括MODEL、、GPU_MODELFOUNDATION_MODEL、FEATURE或null |
offering_type |
值包括 BATCH_INFERENCE 或 null |
performance_target |
指示无服务器作业或管道 的性能模式 。 值包括 PERFORMANCE_OPTIMIZED、 STANDARD或 null。 非无服务器工作负荷具有一个 null 值。 |
ai_runtime.compute_type |
表明无服务器 GPU 工作负荷的计算类型或 null |
model_serving.offering_type |
指示模型服务的产品/服务类型或 null |
ai_gateway.feature_type |
指示 AI 网关工作负载的功能类型或 null |
serverless_gpu.workload_type |
指示无服务器 GPU 计算的工作负荷类型或 null |
ai_functions.ai_function |
指示 AI 函数类型或 null |
networking.connectivity_type |
值包括 PUBLIC_IP 和 PRIVATE_IP |
agent_bricks.problem_type |
表明 Agent Bricks 工作负载的问题类型。 值包括 AGENT_BRICKS_KNOWLEDGE_ASSISTANT 或 null |
agent_bricks.workload_type |
表示 Agent Bricks 的工作负荷类型。 值包括 AGENT_BRICKS_REAL_TIME_INFERENCE 或 null |