Databricks 资产捆绑包资源

使用 Databricks 资产捆绑包，可以指定捆绑包在捆绑配置中的 resources 映射中使用的 Azure Databricks 资源的相关信息。 请参阅 资源映射 和资源 密钥参考。

本页提供捆绑包支持的所有资源类型的配置参考，并提供了每个受支持类型的详细信息和示例。 有关其他示例，请参阅 捆绑包配置示例。

用于验证 YAML 配置的捆绑包的 JSON 架构位于 Databricks CLI GitHub 存储库中。

支持的资源

下表列出了捆绑包（YAML 和 Python（如果适用）支持的资源类型。 可以通过在捆绑包中定义资源并部署捆绑包来创建一些资源，并且某些资源只能通过引用要包含在捆绑包中的现有资产来创建。

资源配置定义与 Databricks REST API 对象相对应的 Databricks 对象。 REST API 对象支持的创建请求字段（以 YAML 表示）是资源支持的密钥。 下表中提供了每个资源的相应对象的文档链接。

警报

Type: Map

警报资源定义 SQL 警报（v2）。

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

警报.评估

Type: Map

警报的评估配置。

警报.评估.通知

Type: Map

触发警报时通知的用户或其他目标。

alert.evaluation.notification.subscriptions

Type: Sequence

无序的通知订阅列表。

列表中的每个项都是一个 AlertSubscription：

alert.evaluation.source

Type: Map

用于评估警报的结果中的源列。

alert.evaluation.threshold

Type: Map

应用于警报评估的阈值可以是一个列或一个值。

警报.评估.阈值.值

Type: Map

要用作阈值的字面值。 指定以下值类型之一。

警报计划

Type: Map

警报的调度配置。

Examples

以下示例配置使用简单的评估定义警报：

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

以下示例配置定义了一个警报，其中包含使用聚合评估并发送通知的权限：

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

应用

Type: Map

应用资源定义 Databricks 应用。 有关 Databricks 应用的信息，请参阅 Databricks Apps。

若要添加应用，请指定用于定义应用的设置，包括所需的 source_code_path设置。

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

应用程序.资源

Type: Sequence

应用的计算资源列表。

列表中的每个项都是一个 AppResource：

应用资源数据库

Type: Map

标识要使用的 Lakebase 数据库的设置。

app.resources.genie_space

Type: Map

标识要使用的 Genie 空间的设置。

app.resources.job

Type: Map

该设置用于标识要使用的作业资源。

应用程序.资源.机密

Type: Map

标识要使用的 Azure Databricks 机密资源的设置。

app.resources.服务端点

Type: Map

标识要使用的终结点资源的模型的设置。

app.resources.sql仓库

Type: Map

标识要使用的 SQL 仓库的设置。

app.resources.uc_securable

Type: Map

标识要使用的 Unity 目录卷的设置。

Example

以下示例创建一个名为 my_app 的应用，用于管理捆绑包创建的作业：

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

相应的 app.yaml 定义用于运行应用的配置：

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

有关完整的 Databricks 应用示例捆绑包，请参阅 捆绑包示例 GitHub 存储库。

群集

Type: Map

群集资源定义 群集。

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

cluster.autoscale

Type: Map

用于根据负载自动纵向扩展和缩减群集的参数。

集群.aws属性

Type: Map

与 Amazon Web Services 上运行的群集相关的属性。

cluster.azure_attributes

Type: Map

与Microsoft Azure 上运行的群集相关的属性。

cluster.gcp_attributes

Type: Map

与 Google Cloud Platform 上运行的群集相关的属性。

cluster.cluster_log_conf

用于将 Spark 日志传送到长期存储目标的配置。

cluster.cluster_log_conf.dbfs

Type: Map

群集日志传递的 DBFS 位置。

cluster.cluster_log_conf.s3

Type: Map

群集日志传输的 S3 位置。

cluster.cluster_log_conf.volumes

Type: Map

用于群集日志传送的卷的位置。

cluster.docker_image

Type: Map

自定义 Docker 映像配置。

cluster.docker_image.basic_auth

Type: Map

Docker 存储库的基本身份验证。

集群初始脚本

Type: Map

用于存储初始化脚本的配置。 必须至少指定一个位置类型。

cluster.init_scripts.dbfs

Type: Map

init 脚本的 DBFS 位置。

cluster.init_scripts.workspace（集群初始化脚本工作区）

Type: Map

init 脚本的工作区位置。

cluster.init_scripts.s3

Type: Map

初始化脚本的 S3 位置。

cluster.init_scripts.abfss

Type: Map

init 脚本的 ABFSS 位置。

cluster.init_scripts.gcs

Type: Map

init 脚本的 GCS 位置。

cluster.init_scripts.volumes

Type: Map

init 脚本的卷位置。

cluster.workload_type（群集定义工作负载类型）

Type: Map

显示群集工作负荷类型的群集属性。

集群.工作负载类型.客户端

Type: Map

此计算工作负荷的客户端类型。

Examples

以下示例使用 Databricks Runtime 15.4 LTS 和群集策略为当前用户创建专用（单用户）群集：

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

此示例创建一个简单的群集 my_cluster ，并将其设置为用于运行笔记本的 my_job群集：

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

仪表板

Type: Map

仪表板资源允许你在捆绑包中管理 AI/BI 仪表板 。 有关 AI/BI 仪表板的信息，请参阅 仪表板。

如果您部署了一个捆绑包，其中包含本地环境中的仪表板，然后使用 UI 修改该仪表板，则通过 UI 进行的修改不会应用在本地捆绑包中的仪表板 JSON 文件上，除非您使用 bundle generate 显式更新该文件。 可以使用 --watch 选项持续轮询和检索仪表板的更改。 请参阅 databricks 捆绑包生成。

此外，如果尝试从本地环境部署包含与远程工作区中的仪表板 JSON 文件不同版本的仪表板 JSON 文件的捆绑包，则会发生错误。 若要强制部署并用本地工作区的仪表板覆盖远程工作区中的仪表板，请使用 --force 选项。 请参阅 databricks 捆绑包部署。

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Example

以下示例包含在 Databricks 工作区中部署 NYC 出租车行程分析 仪表板的步骤。

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

数据库目录

Type: Map

使用数据库目录资源可以定义与捆绑包中的数据库实例对应的 数据库目录 。 数据库目录是注册为 Unity 目录的 Lakebase 数据库。

有关数据库目录的信息，请参阅 “创建目录”。

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Example

以下示例使用相应的数据库目录定义 数据库实例 ：

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

数据库实例

Type: Map

通过数据库实例资源，可以在捆绑包中定义 数据库实例 。 Lakebase 数据库实例管理存储和计算资源，并提供用户连接到的终结点。

有关数据库实例的信息，请参阅什么是数据库实例？

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

database_instance.parent_instance_ref（数据库实例的父实例引用）

Type: Map

父实例的引用。 仅当实例为子实例时，此实例才可用。

Example

以下示例使用相应的 数据库目录定义数据库实例：

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

有关演示如何定义数据库实例和相应数据库目录的示例捆绑包，请参阅 捆绑包示例 GitHub 存储库。

试验

Type: Map

试验资源允许在捆绑包中定义 MLflow 试验 。 有关 MLflow 试验的信息，请参阅 使用 MLflow 试验组织训练运行。

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Example

以下示例定义了所有用户都可以查看的试验：

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

作业

Type: Map

Databricks 资产捆绑包的 Python 支持作业。 请参阅 databricks.bundles.jobs。

作业资源允许你在捆绑包中定义 作业及其相应的任务 。

有关工作的更多信息，请参阅 Lakeflow 工作。 有关使用 Databricks 资产捆绑模板创建作业的教程，请参阅 使用 Databricks 资产捆绑包开发作业。

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

作业.连续

Type: Map

连续作业执行的配置。

任务.部署

Type: Map

由外部源管理的作业的部署信息。

job.email_notifications # 电子邮件通知

Type: Map

作业运行的电子邮件通知设置。

作业.环境

Type: Sequence

任务执行环境规范的列表，供作业中的无服务器任务引用。

列表中的每一项都是一个JobEnvironment:

job.environments.spec

Type: Map

表示无服务器环境的实体。

job.git_source

Type: Map

作业源代码的 Git 存储库配置。

job.git_source.git_snapshot

Type: Map

只读提交信息快照。

任务.健康

Type: Map

健康监控配置用于作业。

作业健康规则

Type: Sequence

作业健康规则列表。

列表中的每一项都是一个JobHealthRule:

job.job_clusters

Type: Sequence

此作业的任务可以共享和重复使用的作业群集规范列表。 无法在共享作业群集中声明库。 必须在任务设置中声明依赖库。

列表中的每一项都是一个JobCluster:

job.通知设置

Type: Map

适用于作业中所有通知的通知设置。

作业队列

Type: Map

作业的队列设置。

任务.调度

Type: Map

定时计划配置用于定期执行作业。

作业.触发器

Type: Map

事件驱动作业执行的触发器配置。

job.trigger.file_arrival

Type: Map

根据文件到达事件进行配置触发。

作业.触发.表

Type: Map

基于表的触发器配置。

job.trigger.table_update（触发器更新表）

Type: Map

基于表更新的触发配置。

工作.触发.周期性

Type: Map

定时触发配置。

作业.网络钩子通知

Type: Map

作业运行的 Webhook 通知设置。

Examples

以下示例定义了一个资源键为 hello-job 的作业，其中包含一个笔记本任务：

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

以下示例使用 SQL 笔记本定义作业：

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

有关其他作业配置示例，请参阅 作业配置。

有关定义作业任务和替代作业设置的信息，请参阅：

• 将任务添加到 Databricks 资产捆绑包中的作业
• 作业任务设置替代

模型（旧版）

Type: Map

模型资源允许在捆绑包中定义 旧模型 。 Databricks 建议改用 Unity 目录 注册的模型 。

模型服务端点

Type: Map

model_serving_endpoint资源允许定义 模型服务终结点。 请参阅管理模型服务终结点。

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

模型服务端点.ai网关

Type: Map

服务终结点的 AI 网关配置。

模型服务端点.ai_gateway.护栏

Type: Map

AI 网关防护配置。

model_serving_endpoint.ai_gateway.inference_table_config

Type: Map

配置用于将推理日志记录到 Unity 目录表。

模型服务端点.AI网关.使用跟踪配置

Type: Map

用于跟踪使用情况的 AI 网关配置。

模型服务端点.config

Type: Map

服务终结点的核心配置。

模型服务端点.config.traffic_config

Type: Map

定义如何将调用请求路由到服务终结点的流量配置。

model_serving_endpoint.config.auto_capture_config

Type: Map

用于自动记录对 Unity Catalog 的请求和响应的推断表配置。

Example

以下示例定义了 Unity Catalog 模型服务终结点：

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

管道

Type: Map

在 Databricks 资产捆绑包中，管道支持 Python。 请参阅 databricks.bundles.pipelines。

使用管道资源可以创建 管道。 有关管道的信息，请参阅 Lakeflow Spark 声明性管道。 有关使用 Databricks 资产捆绑包模板创建管道的教程，请参阅 使用 Databricks 资产捆绑包开发 Lakeflow Spark 声明性管道。

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

管道.部署

Type: Map

管道的部署类型配置。

pipeline.environment (管道环境)

Type: Map

用于在无服务器计算上安装依赖项的环境规范。

pipeline.event_log（管道事件日志）

Type: Map

管道的事件日志配置。

管道.过滤器

Type: Map

用于确定在已部署图表中需纳入的管道包的筛选器。

pipeline.ingestion_definition

Type: Map

托管引入管道的配置。 这些设置不能与libraries、schema、target或catalog设置一起使用。

SchemaSpec

Type: Map

用于从架构中引入所有表的架构对象规范。

TableSpec

Type: Map

用于导入特定表的表对象规范。

ReportSpec

Type: Map

用于引入分析报表的报表对象规范。

管道.摄取_定义.源_配置

Type: Map

源的配置。

pipeline.摄取定义.源配置.catalog

Type: Map

目录级源配置参数

管道.摄入_定义.表_配置

Type: Map

引入表的配置选项。

管道.库

Type: Sequence

定义此管道所需的库或代码列表。

列表中的每个项都是一个定义：

pipeline.libraries.file（管道.库.文件）

Type: Map

存储在 Databricks Repos 中用于定义管道的文件路径。

pipeline.libraries.glob

Type: Map

用于包含源代码的统一字段。 每个条目可以是笔记本路径、文件路径或结束 /**的文件夹路径。 此字段不能与 notebook 或 file 一起使用。

pipeline.libraries.notebook

Type: Map

定义管道并存放在 Databricks 工作区的笔记本的路径。

Example

以下示例定义了一个具有资源键 hello-pipeline 的管道：

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

有关其他管道配置示例，请参阅 管道配置。

quality_monitor（Unity Catalog）

Type: Map

quality_monitor 资源允许定义 Unity Catalog 表监视器。 有关监视器的信息，请参阅 数据分析。

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

quality_monitor.custom_metrics（质量监控.自定义指标）

Type: Sequence

自定义指标定义列表。

列表中的每一项都是一个CustomMetric:

质量监控.数据分类配置

Type: Map

数据分类的配置。

quality_monitor.inference_log

Type: Map

用于监控推理日志的配置。

质量监控.通知

Type: Map

监视器的通知设置。

quality_monitor.notifications.on_failure

Type: Map

监视器失败时的通知设置。

质量监控.通知.检测到新分类标签

Type: Map

检测到新的分类标记时通知设置。

质量监控器.时间表

Type: Map

自动更新和刷新指标表的日程安排。

质量监控.快照

Type: Map

用于监视快照表的配置。

quality_monitor.time_series

用于监视时序表的配置。

Examples

有关定义quality_monitor的完整示例包，请参阅mlops_demo。

以下示例为 InferenceLog、 TimeSeries 和 快照 配置文件类型定义质量监视器。

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

registered_model （Unity 目录）

Type: Map

使用 registered model 资源，可以在 Unity Catalog 中定义模型。 有关 Unity 目录 注册的模型的信息，请参阅 Unity 目录中的管理模型生命周期。

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

registered_model.aliases（已注册模型的别名）

Type: Sequence

与已注册的模型关联的别名列表。

列表中的每个项都是一个 Alias：

Example

以下示例在 Unity Catalog 中定义了注册的模型：

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

架构 (Unity Catalog)

Type: Map

在 Python 中支持 Databricks 资产捆绑包的模式。 请参阅 databricks.bundles.schemas。

架构资源类型允许您为工作流和管道中的表及其他资产定义 Unity Catalog 架构，这些工作流和管道是作为捆绑包的一部分创建的。 不同于其他资源类型，架构具有以下限制：

• 构架资源的所有者始终是部署用户，不能更改。 如果在捆绑包中指定了 run_as，则架构上的操作将忽略它。
• 只有相应的 Schemas 对象创建 API 所支持的字段可用于该架构资源。 例如， enable_predictive_optimization 不支持，因为它仅在 更新 API 上可用。

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Examples

以下示例定义了一个使用资源键 my_pipeline 的管道，该管道会创建一个以键 my_schema 为目标的 Unity Catalog 架构：

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Databricks 资产捆绑包不支持顶级授权映射，因此如果想为架构设置授权，请在 schemas 映射中定义架构的授权。 有关授予的详细信息，请参阅 “显示”、“授予”和“撤销权限”。

以下示例定义了一个附带权限的 Unity Catalog 架构模式：

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

秘密范围

Type: Map

secret_scope资源允许在捆绑包中定义 机密范围 。 有关机密范围的信息，请参阅 机密管理。

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

secret_scope.keyvault_metadata

Type: Map

由 Azure Key Vault 支持的秘密范围的元数据。

Examples

以下示例定义使用密钥保管库后端的机密范围：

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

以下示例使用机密范围和权限设置自定义 ACL：

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

有关演示如何在捆绑包中定义机密范围和包含从中读取任务的作业的示例捆绑包，请参阅捆绑包示例 GitHub 存储库。

SQL 数据仓库

Type: Map

SQL 仓库资源允许在捆绑包中定义 SQL 仓库 。 有关 SQL 仓库的信息，请参阅 Azure Databricks 上的数据仓库。

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_warehouse.channel

Type: Map

SQL 仓库的通道配置。

Example

以下示例定义 SQL 仓库：

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

同步的数据库表

Type: Map

通过同步的数据库表资源，可以在捆绑包中定义 Lakebase 数据库表 。

有关同步的数据库表的信息，请参阅什么是数据库实例？

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

synced_database_table.spec

Type: Map

数据库表规范。

synced_database_table.spec.new_pipeline_spec

Type: Map

同步数据库表使用的新管道的规范。

Examples

以下示例在相应的 数据库目录中定义同步的数据库表：

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

以下示例定义标准目录中的同步数据库表：

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

此示例创建一个同步的数据库表并为其自定义管道计划。 它假定你已拥有：

• 名为 my-database-instance 的数据库实例
• 名为 my_standard_catalog 的标准目录
• 名为 default 的标准目录中的模式
• 以source_delta.schema.customer为主键，命名为c_custkey的源增量表

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

卷 (Unity Catalog)

Type: Map

Databricks 资产捆绑包中支持使用 Python 的卷功能。 请参阅 databricks.bundles.volumes。

使用 volume 资源类型，可以将 Unity Catalog 卷作为捆绑包的一部分进行定义和创建。 在部署定义了卷的捆绑包时，请注意：

• 在工作区中存在卷之后，才能在捆绑包的 artifact_path 中引用卷。 因此，如果要使用 Databricks 资产捆绑包创建卷，必须先在捆绑包中定义卷，对其进行部署以创建卷，然后在后续部署中在 artifact_path 中引用该卷。
• 部署目标配置了 dev_${workspace.current_user.short_name} 后，捆绑包中的卷不会追加 mode: development 前缀。 但是，可以手动配置此前缀。 请参阅 自定义预设。

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Example

以下示例创建了具有键 my_volume_id 的 Unity Catalog 卷：

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

有关运行在 Unity Catalog 卷中写入文件的作业的示例捆绑包，请参阅捆绑包示例 GitHub 存储库。

常见对象

授予

Type: Map

定义要授予该主体的主体和特权。 有关授予的详细信息，请参阅 “显示”、“授予”和“撤销权限”。

Example

以下示例定义了一个附带权限的 Unity Catalog 架构模式：

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

生命周期

Type: Map

包含资源的生命周期设置。 它在部署或销毁资源时控制资源的行为。