quality-monitors 命令组

Note

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。

Databricks CLI 的使用须遵守 Databricks 许可Databricks 隐私声明,包括任何数据使用规定。

quality-monitors Databricks CLI 中的命令组包含用于创建、编辑和删除质量监视器的命令。 监视器会随时间推移计算和监视表的数据或模型质量指标。 它生成指标表和仪表板,可用于监视表运行状况并设置警报。 请参阅 数据分析

databricks 创建质量监控

为指定的表创建新的监视器。

调用方必须选择以下之一:

  1. 作为表的父目录的所有者,您需要在表的父架构上拥有 USE_SCHEMA 权限,并在表本身上拥有 SELECT 访问权限。
  2. 对表的父目录拥有 USE_CATALOG、是表的父架构的所有者,并且对表拥有 SELECT 访问权限。
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 是表的所有者。

工作区资产(如仪表板)将在进行此调用的工作区中创建。

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

ASSETS_DIR

    用于存储监视资产的目录(例如仪表板、指标表)。

OUTPUT_SCHEMA_NAME

    用于创建输出指标表的架构。

选项

--baseline-table-name string

    从中计算偏移指标的基线表的名称。

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

--skip-builtin-dashboard

    是否跳过创建汇总数据质量指标的默认仪表板。

--warehouse-id string

    用于为创建仪表板指定仓库的可选参数。

全局标志

Examples

以下示例为表创建质量监视器:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks 删除质量监视器

删除指定表的监视器。

调用方必须选择以下之一:

  1. 是表的父目录的所有者
  2. 对表的父目录拥有 USE_CATALOG 并且是表的父架构的所有者
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 是表的所有者。

此外,必须从创建监视器的工作区进行调用。

请注意,指标表和仪表板不会作为此调用的一部分删除;必须手动清理这些资产(如果需要)。

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

全局标志

Examples

以下示例删除质量监视器:

databricks quality-monitors delete main.my_schema.my_table

databricks 获取质量监视器

获取指定表的监视器。

调用方必须选择以下之一:

  1. 是表的父目录的所有者
  2. 对表的父目录拥有 USE_CATALOG 并且是表的父架构的所有者。
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 对表的 SELECT 特权。

返回的信息包括配置值,以及监视器创建的资产的相关信息。 如果调用方位于与创建监视器的不同工作区中,某些信息(例如仪表板)可能会被过滤掉。

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

全局标志

Examples

以下示例获取有关质量监视器的信息:

databricks quality-monitors get main.my_schema.my_table

databricks 质量监视器获取刷新

使用给定的刷新 ID 获取有关特定监视器刷新的信息。

调用方必须选择以下之一:

  1. 是表的父目录的所有者
  2. 对表的父目录拥有 USE_CATALOG 并且是表的父架构的所有者
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 对表的 SELECT 特权。

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    表的全名。

REFRESH_ID

    刷新的 ID。

选项

全局标志

Examples

以下示例获取有关特定刷新的信息:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks quality-monitors list-refreshes (查看质量监控器的刷新列表)

列出此表的最新刷新(最多为 25 次)的历史记录。

调用方必须选择以下之一:

  1. 是表的父目录的所有者
  2. 对表的父目录拥有 USE_CATALOG 并且是表的父架构的所有者
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 对表的 SELECT 特权。

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

全局标志

Examples

以下示例列出了用于质量监视器的刷新操作:

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks 质量监视器运行刷新

为指定表的监视器排队执行指标刷新。 刷新将在后台执行。

调用方必须选择以下之一:

  1. 是表的父目录的所有者
  2. 对表的父目录拥有 USE_CATALOG 并且是表的父架构的所有者
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 是表的所有者

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

全局标志

Examples

以下示例为质量监视器排队执行一次刷新:

databricks quality-monitors run-refresh main.my_schema.my_table

databricks 质量监视器更新

更新指定表的监视器。

调用方必须选择以下之一:

  1. 是表的父目录的所有者
  2. 对表的父目录拥有 USE_CATALOG 并且是表的父架构的所有者
  3. 具有以下权限:
    • 对表的父目录拥有 USE_CATALOG
    • 对表的父架构拥有 USE_SCHEMA
    • 是表的所有者。

此外,必须从创建监视器的工作区进行调用,并且调用方必须是监视器的原始创建者。

某些配置字段(如输出资产标识符)无法更新。

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

OUTPUT_SCHEMA_NAME

    用于创建输出指标表的架构。

选项

--baseline-table-name string

    从中计算偏移指标的基线表的名称。

--dashboard-id string

    用于可视化计算指标的仪表板的 ID。

--json JSON

    包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。

全局标志

Examples

以下示例更新质量监视器:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

以下示例使用新的基线表更新质量监视器:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

全局标志

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型,textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为textjson。 默认值是 text

-p, --profile 字符串

     ~/.databrickscfg 文件中用于运行命令的配置文件的名称。 如果未指定此标志,则如果存在,将使用名为 DEFAULT 的配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如适用,要使用的捆绑包目标