Recursos do Databricks Asset Bundles

O Databricks Asset Bundles permite especificar informações sobre os recursos do Azure Databricks usados pelo pacote no mapeamento de resources na configuração do pacote. Consulte o mapeamento de recursos e a referência de chave de recursos.

Esta página fornece referência de configuração para todos os tipos de recursos suportados para pacotes e fornece detalhes e um exemplo para cada tipo suportado. Para obter exemplos adicionais, consulte Exemplos de configuração de Bundle.

O esquema JSON para pacotes que é usado para validar a configuração do YAML está no repositório GitHub da CLI do Databricks.

Recursos suportados

A tabela a seguir lista os tipos de recursos suportados para pacotes (YAML e Python, quando aplicável). Alguns recursos podem ser criados definindo-os em um pacote e implantando o pacote, e alguns recursos só podem ser criados fazendo referência a um ativo existente para incluir no pacote.

A configuração de recursos define um objeto Databricks que corresponde a um objeto da API REST do Databricks . Os campos de solicitação de criação suportados do objeto REST API, expressos como YAML, são as chaves suportadas do recurso. Os links para a documentação do objeto correspondente de cada recurso estão na tabela abaixo.

alerta

Type: Map

O recurso de alerta define um alerta SQL (v2).

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

alerta.avaliação

Type: Map

A configuração de avaliação do alerta.

alerta.avaliação.notificação

Type: Map

O utilizador ou outro destino para notificar quando o alerta é acionado.

alerta.avaliação.notificação.subscrições

Type: Sequence

Uma lista não ordenada de subscrições de notificações.

Cada item da lista é um AlertSubscription:

alerta.avaliação.origem

Type: Map

Coluna de origem do resultado para usar para avaliar o alerta.

alerta.avaliação.limite

Type: Map

O limiar a usar para avaliação de alertas pode ser uma coluna ou um valor.

alerta.avaliação.limiar.valor

Type: Map

Valor literal para usar como limiar. Especifique um dos seguintes tipos de valor.

alert.schedule

Type: Map

A configuração do horário do alerta.

Examples

A seguinte configuração de exemplo define um alerta com uma avaliação simples:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

O seguinte exemplo de configuração define um alerta com permissões que avalia usando agregação e envia notificações:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

aplicação

Type: Map

O recurso do aplicativo define um aplicativo Databricks. Para obter informações sobre aplicativos Databricks, consulte Aplicativos Databricks.

Para adicionar um aplicativo, especifique as configurações para definir o aplicativo, incluindo o necessário source_code_path.

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

app.recursos

Type: Sequence

Uma lista de recursos de computação para a aplicação.

Cada item da lista é um AppResource:

app.resources.base de dados

Type: Map

As configurações que identificam o banco de dados Lakebase a ser usado.

app.resources.genie_space

Type: Map

As configurações que identificam o espaço do Genie a ser usado.

app.resources.job

Type: Map

As configurações que identificam o recurso de trabalho a ser usado.

app.recursos.segredo

Type: Map

As configurações que identificam o recurso secreto do Azure Databricks a ser usado.

app.resources.endpoint_de_serviço

Type: Map

As configurações que identificam o modelo que serve o recurso de ponto de extremidade a ser usado.

app.resources.sql_armazém_de_dados

Type: Map

As configurações que identificam o SQL warehouse a ser usado.

app.resources.uc_securable

Type: Map

As configurações que identificam o volume do Catálogo Unity a ser usado.

Example

O exemplo a seguir cria um aplicativo chamado my_app que gerencia um trabalho criado pelo pacote:

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

O correspondente app.yaml define a configuração para executar o aplicativo:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Para obter o pacote de exemplo completo do aplicativo Databricks, consulte o repositório GitHub de exemplos de pacotes .

aglomerado

Type: Map

O recurso de cluster define um cluster.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

cluster.autoscale

Type: Map

Parâmetros para dimensionar automaticamente clusters para cima e para baixo com base na carga.

cluster.aws_attributes

Type: Map

Atributos relacionados a clusters em execução na Amazon Web Services.

cluster.azure_attributes

Type: Map

Atributos relacionados a clusters em execução no Microsoft Azure.

cluster.gcp_atributos

Type: Map

Atributos relacionados a clusters em execução no Google Cloud Platform.

cluster.cluster_log_conf (configuração de log do cluster)

A configuração para entregar logs do Spark a um destino de armazenamento de longo prazo.

cluster.cluster_log_conf.dbfs

Type: Map

Local do DBFS para entrega de log de cluster.

cluster.cluster_log_conf.s3

Type: Map

Localização S3 para entrega de logs do cluster.

cluster.cluster_log_conf.volumes

Type: Map

Local dos volumes para entrega de log de cluster.

cluster.docker_image

Type: Map

A configuração de imagem personalizada do Docker.

cluster.docker_image.basic_auth (autenticação básica do Docker)

Type: Map

Autenticação básica para repositório do Docker.

cluster.init_scripts

Type: Map

A configuração para armazenar scripts de inicialização. Pelo menos um tipo de local deve ser especificado.

cluster.init_scripts.dbfs

Type: Map

Localização DBFS do script de inicialização.

cluster.init_scripts.workspace (ambiente de inicialização de scripts)

Type: Map

Localização do espaço de trabalho do script init.

cluster.init_scripts.s3

Type: Map

Localização S3 do script de inicialização.

cluster.init_scripts.abfss

Type: Map

Localização do script de init ABFSS.

cluster.init_scripts.gcs

Type: Map

Localização GCS do script de inicialização.

cluster.init_scripts.volumes

Type: Map

Localização dos volumes dos scripts de inicialização.

cluster.workload_type

Type: Map

Atributos de cluster que apresentam os tipos de carga de trabalho.

cluster.workload_type.clientes

Type: Map

O tipo de clientes para essa carga de trabalho de computação.

Examples

O exemplo a seguir cria um cluster dedicado (usuário único) para o usuário atual com o Databricks Runtime 15.4 LTS e uma política de cluster:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

Este exemplo cria um cluster my_cluster simples e o define como o cluster a ser usado para executar o bloco de anotações em my_job:

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

painel

Type: Map

O recurso de painel permite que você gerencie painéis de IA/BI em um pacote. Para obter informações sobre painéis de IA/BI, consulte Painéis.

Se você implantou um pacote que contém um painel do seu ambiente local e, em seguida, usa a interface do usuário para modificar esse painel, as modificações feitas por meio da interface do usuário não são aplicadas ao arquivo JSON do painel no pacote local, a menos que você o atualize explicitamente usando bundle generate. Você pode usar a opção --watch para pesquisar continuamente e recuperar alterações no painel. Consulte databricks bundle generate.

Além disso, se você tentar implantar um pacote de seu ambiente local que contenha um arquivo JSON de painel diferente daquele no espaço de trabalho remoto, ocorrerá um erro. Para forçar a implantação e substituir o dashboard no espaço de trabalho remoto pelo painel local, use a opção --force. Consulte databricks bundle deploy.

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Example

O exemplo a seguir inclui e implanta o painel de exemplo NYC Taxi Trip Analysis no espaço de trabalho Databricks.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

catálogo_da_base_de_dados

Type: Map

O recurso de catálogo de banco de dados permite definir catálogos de banco de dados que correspondem a instâncias de banco de dados em um pacote. Um catálogo de banco de dados é um banco de dados Lakebase registrado como um catálogo Unity Catalog.

Para obter informações sobre catálogos de banco de dados, consulte Criar um catálogo.

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Example

O exemplo a seguir define uma instância de banco de dados com um catálogo de banco de dados correspondente:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

instância_de_base_de_dados

Type: Map

O recurso de instância de banco de dados permite definir instâncias de banco de dados em um pacote. Uma instância de banco de dados Lakebase gerencia recursos de armazenamento e computação e fornece os pontos de extremidade aos quais os usuários se conectam.

Para obter informações sobre instâncias de banco de dados, consulte O que é uma instância de banco de dados?.

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

database_instance.parent_instance_ref

Type: Map

A referência da instância pai. Isso só estará disponível se a instância for filha.

Example

O exemplo a seguir define uma instância de banco de dados com um catálogo de banco de dados correspondente:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Para obter um exemplo de pacote que demonstra como definir uma instância de banco de dados e o catálogo de banco de dados correspondente, consulte o repositório GitHub de exemplos de pacote.

experimento

Type: Map

O recurso de experimento permite definir experimentos MLflow em um pacote. Para obter informações sobre experimentos MLflow, consulte Organizar execuções de treinamento com experimentos MLflow.

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Example

O exemplo a seguir define um experimento que todos os usuários podem exibir:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

trabalho

Type: Map

As tarefas são suportadas em Python para "Databricks Asset Bundles". Ver databricks.bundles.jobs.

O recurso de trabalho permite que você defina trabalhos e suas tarefas correspondentes em seu pacote.

Para obter informações sobre trabalhos, consulte Lakeflow Jobs. Para obter um tutorial que usa um modelo Databricks Asset Bundles para criar um trabalho, consulte Desenvolver um trabalho com Databricks Asset Bundles.

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

job.contínuo

Type: Map

Configuração para execução contínua de tarefas.

Tarefa.Implementação

Type: Map

Informações de implantação para trabalhos gerenciados por fontes externas.

job.notificações_de_email

Type: Map

Configurações de notificação por e-mail para execuções de tarefas.

emprego.ambientes

Type: Sequence

Uma lista de especificações do ambiente de execução de tarefas que podem ser referenciadas por tarefas sem servidor de uma tarefa.

Cada item da lista é um JobEnvironment:

tarefa.ambientes.especificação

Type: Map

A entidade que representa um ambiente "serverless".

job.git_source

Type: Map

Configuração do repositório Git para o código-fonte do trabalho.

job.git_source.git_snapshot

Type: Map

Instantâneo de informações de commit em modo somente leitura.

emprego.saúde

Type: Map

Configuração de monitoramento de saúde para a tarefa.

tarefa.saúde.normas

Type: Sequence

Uma lista de regras de saúde do trabalho.

Cada item da lista é um JobHealthRule:

job.job_clusters

Type: Sequence

Uma lista de especificações de cluster de trabalho que podem ser compartilhadas e reutilizadas entre tarefas deste trabalho. As bibliotecas não podem ser declaradas em um cluster de trabalho compartilhado. Você deve declarar bibliotecas dependentes nas configurações de tarefas.

Cada item da lista é um JobCluster:

trabalho.definições_de_notificação

Type: Map

Configurações de notificação que se aplicam a todas as notificações do trabalho.

job.queue

Type: Map

Configurações de fila para a tarefa.

job.agendamento

Type: Map

Agende a configuração para a execução periódica do trabalho.

job.gatilho

Type: Map

Configuração de gatilho para execução de trabalho controlado por eventos.

job.trigger.chegada_de_ficheiro

Type: Map

Configuração de acionamento com base na chegada do ficheiro.

tarefa.disparo.tabela

Type: Map

Configuração de gatilho com base em uma tabela.

trabalho.disparador.atualização_de_tabela

Type: Map

Configuração de gatilho com base em atualizações de tabela.

job.trigger.periódico

Type: Map

Configuração periódica do gatilho.

job.notificações_de_webhook

Type: Map

Configurações de notificações via Webhook para execução de tarefas.

Examples

O exemplo a seguir define um trabalho com a chave de recurso hello-job com uma tarefa de bloco de anotações:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

O exemplo a seguir define um trabalho com um bloco de anotações SQL:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Para obter exemplos adicionais de configuração de trabalho, consulte Configuração de trabalho.

Para obter informações sobre como definir tarefas de trabalho e substituir configurações de trabalho, consulte:

• Adicionar tarefas a trabalhos no Databricks Asset Bundles
• Substituição de configurações de tarefas de trabalho

modelo (legado)

Type: Map

O recurso de modelo permite definir modelos herdados em pacotes. Em vez disso, a Databricks recomenda que se use modelos registados do Unity Catalog .

ponto_de_serviço_do_modelo

Type: Map

O recurso de endpoint de serviço do modelo permite definir pontos de serviço do modelo. Consulte Gerenciar pontos de extremidade de serviço de modelo.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

ponto_de_serviço_do_modelo.portal_ai

Type: Map

Configuração do AI Gateway para o endpoint de serviço.

ponto_de_serviço_de_modelo.passarela_ai.proteções

Type: Map

A configuração de guarda-corpos do gateway de IA.

model_serving_endpoint.ai_gateway.inference_table_config

Type: Map

Configuração para registro de inferência em tabelas do Unity Catalog.

ponto_de_distribuição_de_modelos.ai_portal.configuração_de_rastreamento_de_uso

Type: Map

A configuração do gateway de IA para rastrear o uso.

model_serving_endpoint.config

Type: Map

A configuração principal do ponto de extremidade de serviço.

model_serving_endpoint.config.traffic_config

Type: Map

A configuração de tráfego que define como as invocações para o endpoint de serviço devem ser direcionadas.

model_serving_endpoint.config.auto_capture_config

Type: Map

Configuração para Tabelas de Inferência que registra automaticamente solicitações e respostas no Unity Catalog.

Example

O exemplo a seguir define um modelo do Unity Catalog ponto de extremidade de serviço:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

gasoduto

Type: Map

Os pipelines são suportados em Python para Databricks Asset Bundles. Consulte databricks.bundles.pipelines.

O recurso pipeline permite-lhe criar pipelines. Para obter informações sobre pipelines, consulte Lakeflow Spark Declarative Pipelines. Para obter um tutorial que usa o modelo Databricks Asset Bundles para criar um pipeline, consulte Develop Lakeflow Spark Declarative Pipelines with Databricks Asset Bundles.

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

canal de implantação

Type: Map

Configuração do tipo de implantação para o pipeline.

pipeline.ambiente

Type: Map

Especificação de ambiente para instalação de dependências em computação sem servidor.

pipeline.registo_de_eventos

Type: Map

Configuração do log de eventos para o pipeline.

pipeline.filtros

Type: Map

Filtros que determinam quais pacotes de pipeline devem ser incluídos no gráfico implantado.

pipeline.ingestion_definition

Type: Map

Configuração para um pipeline de ingestão gerenciado. Essas configurações não podem ser usadas com libraries, schema, target ou catalog.

SchemaSpec

Type: Map

Especificação do objeto de esquema para ingerir todas as tabelas de um esquema.

TableSpec

Type: Map

Especificação de objeto de tabela para ingestão de uma tabela específica.

ReportSpec

Type: Map

Especificação do objeto de relatório para importação de relatórios analíticos.

pipeline.definição_de_ingestão.configuração_fonte

Type: Map

Configuração para a fonte.

pipeline.definição_ingestão.source_configuration.catalog

Type: Map

Parâmetros de configuração da fonte ao nível do catálogo

pipeline.ingestion_definition.configuração_da_tabela

Type: Map

Opções de configuração para tabelas de ingestão.

pipeline.bibliotecas

Type: Sequence

Define a lista de bibliotecas ou código necessários a este pipeline.

Cada item da lista é uma definição:

pipeline.bibliotecas.ficheiro

Type: Map

O caminho para um arquivo que define um pipeline e é armazenado no Databricks Repos.

pipeline.bibliotecas.glob

Type: Map

O campo unificado para incluir o código-fonte. Cada entrada pode ser um caminho de bloco de anotações, um caminho de arquivo ou um caminho de pasta que termina /**. Este campo não pode ser utilizado em conjunto com notebook ou file.

pipeline.bibliotecas.notebook

Type: Map

O caminho para um notebook que define um pipeline e é armazenado no espaço de trabalho do Databricks.

Example

O exemplo a seguir define um pipeline com a chave de recurso hello-pipeline:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Para obter exemplos adicionais de configuração de pipeline, consulte Configuração de pipeline.

monitor_de_qualidade (Catálogo Unity)

Type: Map

O recurso quality_monitor permite definir um monitor de tabelas do Unity Catalog . Para obter informações sobre monitores, consulte Perfilagem de dados.

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

monitor_qualidade.métricas_personalizadas

Type: Sequence

Uma lista de definições de métricas personalizadas.

Cada item da lista é um CustomMetric:

monitor_de_qualidade.configuracao_de_classificacao_de_dados

Type: Map

Configuração para classificação de dados.

quality_monitor.inference_log

Type: Map

Configuração para monitorar logs de inferência.

quality_monitor.Notificações

Type: Map

Configurações de notificação para o monitor.

quality_monitor.notifications.on_failure

Type: Map

Configurações de notificação quando o monitor falha.

quality_monitor.notificações.quando_nova_etiqueta_de_classificação_deteção

Type: Map

Configurações de notificação quando novas tags de classificação são detetadas.

quality_monitor.horário

Type: Map

Agende para atualizar e recarregar automaticamente as tabelas métricas.

quality_monitor.snapshot

Type: Map

Configuração para monitorização de tabelas de captura.

monitor_de_qualidade.série_temporal

Configuração para monitoramento de tabelas de séries temporais.

Examples

Para obter um exemplo completo de pacote que define um quality_monitor, consulte o mlops_demo pacote.

Os exemplos a seguir definem monitores de qualidade para os tipos de perfil InferenceLog, TimeSeries e Snapshot .

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

modelo_registado (Catálogo Unity)

Type: Map

O recurso de modelo registrado permite definir modelos no Unity Catalog. Para obter informações sobre modelos registrados do Unity Catalog, consulte Manage model lifecycle in Unity Catalog.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

registered_model.pseudónimos

Type: Sequence

Uma lista de pseudónimos associados ao modelo registado.

Cada item da lista é um Alias:

Example

O exemplo a seguir define um modelo registrado no Unity Catalog:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

esquema (Unity Catalog)

Type: Map

Os esquemas são suportados em Python para Databricks Asset Bundles. Consulte databricks.bundles.schemas.

O tipo de recurso de esquema permite definir esquemas do Catálogo Unity para tabelas e outros ativos nos seus fluxos de trabalho e pipelines, que são criados como parte de um pacote. Um esquema, diferente de outros tipos de recursos, tem as seguintes limitações:

• O proprietário de um recurso de esquema é sempre o usuário de implantação e não pode ser alterado. Se run_as for especificado no pacote, será ignorado nas operações do esquema.
• Somente os campos suportados pela API de criação do objeto Schemas correspondente estão disponíveis para o recurso de esquema. Por exemplo, enable_predictive_optimization não é suportado, pois só está disponível na API de atualização .

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Examples

O exemplo a seguir define um pipeline com a chave de recurso my_pipeline que cria um esquema Unity Catalog com a chave my_schema como destino:

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Um mapeamento de concessões de nível superior não é suportado pelo Databricks Asset Bundles, portanto, se você quiser definir concessões para um esquema, defina as concessões para o esquema dentro do mapeamento schemas. Para obter mais informações sobre subsídios, consulte Mostrar, conceder e revogar privilégios.

O exemplo a seguir define um esquema Unity Catalog com concessões:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

âmbito_secreto

Type: Map

O recurso secret_scope permite definir escopos secretos em um pacote. Para obter informações sobre escopos secretos, consulte Gerenciamento de segredos.

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

secret_scope.keyvault_metadata

Type: Map

Os metadados para escopos secretos apoiados pelo Cofre de Chaves do Azure.

Examples

O exemplo a seguir define um escopo secreto que usa um fundo de cofre de chaves:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

O exemplo a seguir define uma ACL personalizada usando escopos e permissões secretos:

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Para obter um exemplo de pacote que demonstra como definir um escopo secreto e um trabalho com uma tarefa que lê a partir dele em um pacote, consulte o repositório GitHub de exemplos de pacote.

sql_armazém_de_dados

Type: Map

O recurso SQL warehouse permite definir um SQL warehouse em um pacote. Para obter informações sobre armazéns SQL, consulte Data warehousing on Azure Databricks.

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_warehouse.canal

Type: Map

A configuração do canal para o SQL warehouse.

Example

O exemplo a seguir define um SQL warehouse:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

tabela_de_base_de_dados_sincronizada

Type: Map

O recurso de tabela de banco de dados sincronizado permite que você defina tabelas de banco de dados Lakebase em um pacote.

Para obter informações sobre tabelas de banco de dados sincronizadas, consulte O que é uma instância de banco de dados?.

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

tabela_base_de_dados_sincronizada.spec

Type: Map

A especificação da tabela do banco de dados.

synced_database_table.spec.new_pipeline_spec

Type: Map

A especificação para um novo pipeline utilizado na tabela de bases de dados sincronizada.

Examples

O exemplo a seguir define uma tabela de banco de dados sincronizada dentro de um catálogo de banco de dados correspondente:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

O exemplo a seguir define uma tabela de banco de dados sincronizada dentro de um catálogo padrão:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Este exemplo cria uma tabela de banco de dados sincronizada e personaliza a programação do pipeline para ela. Pressupõe que já tenha:

• Uma instância de banco de dados chamada my-database-instance
• Um catálogo padrão chamado my_standard_catalog
• Um esquema no catálogo padrão chamado default
• Uma tabela delta de origem nomeada source_delta.schema.customer com a chave primária c_custkey

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

volume (Catálogo Unity)

Type: Map

Os volumes são suportados em Python para Databricks Asset Bundles. Consulte databricks.bundles.volumes.

O tipo de recurso de volume permite definir e criar volumes do Unity Catalog como parte integrante de um pacote. Ao implantar um pacote com um volume definido, observe que:

• Um volume não pode ser referenciado no artifact_path do pacote até que ele exista no espaço de trabalho. Portanto, se você quiser usar o Databricks Asset Bundles para criar o volume, você deve primeiro definir o volume no pacote, implantá-lo para criar o volume e, em seguida, fazer referência a ele no artifact_path em implantações subsequentes.
• Os volumes no pacote não são precedidos com o prefixo dev_${workspace.current_user.short_name} quando o destino de implantação tem mode: development configurado. No entanto, você pode configurar manualmente esse prefixo. Consulte Predefinições personalizadas.

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Example

O exemplo a seguir cria um volume Unity Catalog com a chave my_volume_id:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Para ver um exemplo de pacote que executa um trabalho que grava num ficheiro no volume do Catálogo Unity, consulte o repositório GitHub bundle-examples.

Objetos comuns

subvenção

Type: Map

Define o principal e os privilégios a serem concedidos a esse principal. Para obter mais informações sobre subsídios, consulte Mostrar, conceder e revogar privilégios.

Example

O exemplo a seguir define um esquema Unity Catalog com concessões:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

ciclo de vida

Type: Map

Contém as configurações do ciclo de vida de um recurso. Ele controla o comportamento do recurso quando ele é implantado ou destruído.