Recursos dos Pacotes de Ativos do Databricks

Os Pacotes de Ativos do Databricks permitem especificar informações sobre os recursos do Azure Databricks usados pelo pacote no mapeamento de resources na configuração do pacote. Confira o mapeamento de recursos e a referência de chave de recursos.

Esta página fornece referência de configuração para todos os tipos de recursos com suporte para pacotes e fornece detalhes e um exemplo para cada tipo com suporte. Para obter exemplos adicionais, confira Exemplos de configuração de bundle.

O esquema JSON para pacotes usados para validar a configuração yaml está no repositório GitHub da CLI do Databricks.

Recursos com suporte

A tabela a seguir lista os tipos de recursos com suporte para pacotes (YAML e Python, quando aplicável). Alguns recursos podem ser criados definindo-os em um pacote e implantando o pacote, e alguns recursos só podem ser criados fazendo referência a um ativo existente para incluir no pacote.

A configuração de recurso define um objeto Databricks que corresponde a um objeto da API REST do Databricks . Os campos de solicitação de criação com suporte do objeto da API REST, expressos como YAML, são as chaves com suporte do recurso. Os links para a documentação do objeto correspondente de cada recurso estão na tabela abaixo.

alerta

Type: Map

O recurso de alerta define um alerta SQL (v2).

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

avaliação de alerta

Type: Map

A configuração de avaliação do alerta.

alert.evaluation.notification

Type: Map

O usuário ou outro destino a ser notificado quando o alerta é ativado.

alerta.avaliação.notificação.assinaturas

Type: Sequence

Uma lista não ordenada de assinaturas de notificação.

Cada item na lista é um AlertSubscription:

fonte.avaliação.alerta

Type: Map

Coluna de origem do resultado a ser usado para avaliar o alerta.

alerta.avaliação.limiar

Type: Map

O limite a ser usado para avaliação de alerta pode ser uma coluna ou um valor.

valor do limiar de avaliação de alerta (alert.evaluation.threshold.value)

Type: Map

Valor literal a ser usado como o limite. Especifique um dos seguintes tipos de valor.

alert.schedule

Type: Map

A configuração de agendamento do alerta.

Examples

A configuração de exemplo a seguir define um alerta com uma avaliação simples:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

A configuração de exemplo a seguir define um alerta com permissões que avaliam o uso da agregação e enviam notificações:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

aplicativo

Type: Map

O recurso de aplicativo define um aplicativo Databricks. Para obter informações sobre os Aplicativos do Databricks, consulte Os Aplicativos do Databricks.

Para adicionar um aplicativo, especifique as configurações para definir o aplicativo, incluindo o necessário source_code_path.

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

recursos.doAplicativo

Type: Sequence

Uma lista de recursos de computação para o aplicativo.

Cada item na lista é um AppResource:

aplicativo.recursos.banco_de_dados

Type: Map

As configurações que identificam o banco de dados lakebase a ser usado.

app.resources.genie_space

Type: Map

As configurações que identificam o espaço do Genie a ser usado.

app.resources.job

Type: Map

As configurações que identificam o recurso de trabalho a ser usado.

app.recursos.secreto

Type: Map

As configurações que identificam o recurso secreto do Azure Databricks a ser usado.

app.recursos.ponto_de_serviço

Type: Map

As configurações que identificam o modelo que serve o recurso de ponto de extremidade a ser usado.

app.resources.sql_warehouse

Type: Map

As configurações que identificam o SQL Warehouse a ser usado.

app.resources.uc_securable

Type: Map

As configurações que identificam o volume do Catálogo do Unity a ser usado.

Example

O exemplo a seguir cria um aplicativo chamado my_app que gerencia um trabalho criado pelo pacote:

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

O correspondente app.yaml define a configuração para executar o aplicativo:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Para obter o pacote de exemplo completo do aplicativo Databricks, confira o Repositório do GitHub de exemplos de pacote.

cluster

Type: Map

O recurso de cluster define um cluster.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

cluster.autoscale

Type: Map

Parâmetros para dimensionar automaticamente clusters para cima e para baixo com base na carga.

cluster.aws_attributes

Type: Map

Atributos relacionados a clusters em execução no Amazon Web Services.

cluster.azure_attributes

Type: Map

Atributos relacionados a clusters em execução no Microsoft Azure.

cluster.gcp_attributes

Type: Map

Atributos relacionados a clusters em execução no Google Cloud Platform.

cluster.cluster_log_conf

A configuração para entregar logs do Spark a um destino de armazenamento de longo prazo.

cluster.cluster_log_conf.dbfs

Type: Map

Local do DBFS para entrega de logs de cluster.

cluster.cluster_log_conf.s3

Type: Map

Localização S3 para entrega de log de cluster.

cluster.cluster_log_conf.volumes

Type: Map

Localização de volumes de armazenamento para entrega de log de cluster.

cluster.docker_image

Type: Map

A configuração de imagem personalizada do Docker.

cluster.docker_image.basic_auth

Type: Map

Autenticação básica para o repositório do Docker.

cluster.init_scripts

Type: Map

A configuração usada para armazenar scripts de inicialização. Pelo menos um tipo de local deve ser especificado.

cluster.init_scripts.dbfs

Type: Map

Local do DBFS do script de inicialização.

cluster.init_scripts.workspace

Type: Map

Localização do workspace do script de inicialização.

cluster.init_scripts.s3

Type: Map

Endereço S3 do script de inicialização.

cluster.init_scripts.abfss

Type: Map

Localização do script de inicialização do ABFSS.

cluster.init_scripts.gcs

Type: Map

Localização no GCS do script de inicialização.

cluster.init_scripts.volumes

Type: Map

Localização dos volumes do script de inicialização.

cluster.workload_type

Type: Map

Atributos de cluster mostrando tipos de cargas de trabalho.

cluster.tipo_de_carga.clientes

Type: Map

O tipo de clientes para essa carga de trabalho de computação.

Examples

O exemplo a seguir cria um cluster dedicado (de usuário único) para o usuário atual com o Databricks Runtime 15.4 LTS e uma política de cluster:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

Este exemplo cria um cluster my_cluster simples e define isso como o cluster a ser usado para executar o notebook em my_job:

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

painel

Type: Map

O recurso de painel permite que você gerencie painéis de IA/BI em um pacote. Para obter informações sobre dashboards de IA/BI, consulte Dashboards.

Se você implantou um pacote que contém um painel do seu ambiente local e, em seguida, usa a interface do usuário para modificar esse painel, as modificações feitas por meio da interface do usuário não são aplicadas ao arquivo JSON do painel no pacote local, a menos que você o atualize explicitamente usando bundle generate. Você pode usar a opção --watch para sondar e recuperar continuamente as alterações no painel. Confira a geração do pacote do Databricks.

Além disso, se você tentar implantar um pacote do ambiente local que contém um arquivo JSON do painel diferente daquele no workspace remoto, ocorrerá um erro. Para forçar a implantação e substituir o painel no espaço de trabalho remoto pelo local, use a opção --force. Consulte a implantação do pacote do Databricks.

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Example

O exemplo a seguir inclui e implanta o painel de amostra Análise de Viagem de Táxi em Nova York no workspace do Databricks.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

catálogo_de_banco_de_dados

Type: Map

O recurso de catálogo de banco de dados permite definir catálogos de banco de dados que correspondem a instâncias de banco de dados em um pacote. Um catálogo de banco de dados é um banco de dados lakebase registrado como um catálogo do Catálogo do Unity.

Para obter informações sobre catálogos de banco de dados, consulte Criar um catálogo.

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Example

O exemplo a seguir define uma instância de banco de dados com um catálogo de banco de dados correspondente:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

instância_de_banco_de_dados

Type: Map

O recurso de instância de banco de dados permite que você defina instâncias de banco de dados em um pacote. Uma instância de banco de dados do Lakebase gerencia recursos de armazenamento e computação e fornece os pontos de extremidade aos quais os usuários se conectam.

Para obter informações sobre instâncias de banco de dados, consulte o que é uma instância de banco de dados?.

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

instância_banco_dados.parent_instance_ref

Type: Map

A referência da instância pai. Isso só estará disponível se a instância for uma instância filho.

Example

O exemplo a seguir define uma instância de banco de dados com um catálogo de banco de dados correspondente:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Para obter um pacote de exemplo que demonstra como definir uma instância de banco de dados e um catálogo de banco de dados correspondente, consulte o repositório GitHub de exemplos de pacote.

experimento

Type: Map

O recurso de experimento permite que você defina experimentos do MLflow em um pacote. Para obter informações sobre experimentos do MLflow, consulte Organizar execuções de treinamento com experimentos do MLflow.

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Example

O exemplo a seguir define um experimento que todos os usuários podem exibir:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

trabalho

Type: Map

Há suporte para tarefas no Python para Databricks Asset Bundles. Veja databricks.bundles.jobs.

O recurso de trabalho permite definir trabalhos e suas respectivas tarefas no pacote.

Para obter informações sobre trabalhos, consulte Lakeflow Jobs. Para obter um tutorial que usa um modelo de Pacotes de Ativos do Databricks para criar um trabalho, consulte Desenvolver um trabalho com pacotes de ativos do Databricks.

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

(c0 />trabalho.contínuo

Type: Map

Configuração para execução contínua do trabalho.

tarefa.implantação

Type: Map

Informações de implantação para trabalhos gerenciados por fontes externas.

trabalho.notificações_de_email

Type: Map

Configurações de notificação por e-mail para execuções de tarefas.

ambientes_de_trabalho

Type: Sequence

Uma lista de especificações de ambiente de execução de tarefa que podem ser referenciadas por tarefas sem servidor de um trabalho.

Cada item na lista é um JobEnvironment:

job.environments.spec

Type: Map

A entidade que representa um ambiente sem servidor.

job.git_source

Type: Map

Configuração do repositório Git para código-fonte do trabalho.

job.git_source.git_snapshot

Type: Map

Instantâneo de informações de confirmação somente leitura.

saúde.do.trabalho

Type: Map

Configuração de monitoramento de saúde para a tarefa.

job.health.rules

Type: Sequence

Uma lista de regras de integridade do trabalho.

Cada item na lista é um JobHealthRule:

clusters_de_trabalho<|vq_9190|>

Type: Sequence

Uma lista de especificações de cluster de trabalho que podem ser compartilhadas e reutilizados por tarefas deste trabalho. Bibliotecas não podem ser declaradas em um cluster de trabalho compartilhado. Você deve declarar bibliotecas dependentes nas configurações de tarefa.

Cada item na lista é um JobCluster:

tarefa.configuracoes_de_notificacao

Type: Map

Configurações de notificação que se aplicam a todas as notificações para o trabalho.

fila de tarefas

Type: Map

Configurações de fila para a tarefa.

tarefa.agendamento

Type: Map

Configuração de agendamento para execução periódica de tarefas.

tarefa.gatilho

Type: Map

Configuração de gatilho para execução de trabalho controlada por eventos.

job.disparar.chegada_do_arquivo

Type: Map

Configuração de gatilho baseada na chegada do arquivo.

job.trigger.table

Type: Map

Configuração de gatilho com base em uma tabela.

trabalho.gatilho.atualização_tabela

Type: Map

Configuração de gatilho baseada em atualizações de tabela.

job.trigger.periódico

Type: Map

Configuração de gatilho periódico.

job.webhook_notifications

Type: Map

Configurações de notificação de webhook para execuções de tarefas.

Examples

O exemplo a seguir define um trabalho com a chave de recurso hello-job com uma tarefa de notebook:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

O exemplo a seguir define um trabalho com um notebook SQL:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Para obter exemplos de configuração de trabalho adicionais, consulte a configuração do trabalho.

Para obter informações sobre como definir tarefas de trabalho e substituir configurações de trabalho, consulte:

• Adicionar tarefas a trabalhos em Pacotes de Ativos do Databricks
• Sobrescrever configurações de tarefa

modelo (herdado)

Type: Map

O recurso de modelo permite definir modelos herdados em pacotes. O Databricks recomenda que, em vez disso, você use o Catálogo do Unity com os modelos registrados.

ponto_de_serviço_do_modelo

Type: Map

O recurso model_serving_endpoint permite que você defina um modelo que atende pontos de extremidade. ConsulteGerenciar pontos de extremidade do Serviço de Modelo.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

ponto_de_extremidade_para_serviços_de_modelos.ai_gateway

Type: Map

Configuração do Gateway de IA para o endpoint de atendimento.

ponto_de_serviço_do_modelo.ai_gateway.guardrails

Type: Map

A configuração dos trilhos de segurança do gateway de IA.

model_serving_endpoint.ai_gateway.inference_table_config

Type: Map

Configuração para registro de logs de inferência em tabelas do Catálogo do Unity.

ponto_de_serviço_do_modelo.porta_de_entrada_ai.configuração_de_rastreamento_de_uso

Type: Map

A configuração do gateway de IA para monitorar o uso.

model_serving_endpoint.config

Type: Map

A configuração principal do endpoint de serviço.

endpoint_de_serviço_de_modelo.configuração.configuração_de_tráfego

Type: Map

A configuração de tráfego que define como as invocações para o endpoint de serviço devem ser roteadas.

model_serving_endpoint.config.auto_capture_config

Type: Map

Configuração para tabelas de inferência que registram automaticamente solicitações e respostas no Catálogo do Unity.

Example

O exemplo a seguir define um modelo do Catálogo do Unity que serve o ponto de extremidade:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

linha de produção

Type: Map

Pipelines têm suporte no Python para Pacotes de Ativos do Databricks. Consulte databricks.bundles.pipelines.

O recurso de pipeline permite que você crie pipelines. Para obter informações sobre pipelines, consulte Pipelines Declarativos do Lakeflow Spark. Para um tutorial que usa o modelo de Pacotes de Ativos do Databricks para criar um pipeline, consulte Desenvolver Pipelines Declarativos Spark Lakeflow com Pacotes de Ativos do Databricks.

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

pipeline.deployment

Type: Map

Configuração de tipo de implantação para o pipeline.

pipeline.ambiente

Type: Map

Especificação de ambiente para instalar dependências na computação sem servidor.

pipeline.registro_de_eventos

Type: Map

Configuração do log de eventos para o pipeline.

pipeline.filters

Type: Map

Filtros que determinam quais pacotes de pipeline incluir no grafo implementado.

pipeline.ingestion_definition

Type: Map

Configuração para um pipeline de ingestão gerenciada. Essas configurações não podem ser usadas com as configurações libraries, schema, target ou catalog.

SchemaSpec

Type: Map

Especificação do objeto de esquema para ingerir todas as tabelas de um esquema.

Especificação de Tabela

Type: Map

Especificação do objeto de tabela para importar uma tabela específica.

Especificação de Relatório

Type: Map

Especificação de objeto de relatório para importar relatórios analíticos.

pipeline.ingestion_definition.configuração_de_fonte

Type: Map

Configuração da origem.

pipeline.definição_de_ingestão.configuração_de_fonte.catálogo

Type: Map

Parâmetros de configuração de origem ao nível de catálogo

pipeline.ingestion_definition.table_configuration

Type: Map

Opções de configuração para tabelas de ingestão.

pipeline.bibliotecas

Type: Sequence

Define a lista de bibliotecas ou código necessários para esse pipeline.

Cada item na lista é uma definição:

pipeline.libraryes.file

Type: Map

O caminho para um arquivo que define um pipeline e é armazenado no Repositório do Databricks.

pipeline.bibliotecas.glob

Type: Map

O campo unificado para incluir o código-fonte. Cada entrada pode ser um caminho de bloco de anotações, um caminho de arquivo ou um caminho de pasta que termina /**. Este campo não pode ser usado em conjunto com notebook ou file.

pipeline.libraryes.notebook

Type: Map

O caminho para um notebook que define um pipeline e é armazenado no espaço de trabalho do Databricks.

Example

O exemplo a seguir define um pipeline com a chave de recurso hello-pipeline:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Para obter exemplos adicionais de configuração de Pipeline, consulte Configuração de Pipeline.

quality_monitor (Catálogo do Unity)

Type: Map

O recurso quality_monitor permite definir um monitor de tabela no Catálogo do Unity. Para obter informações sobre monitores, consulte perfil de dados.

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

monitor_de_qualidade.métricas_personalizadas

Type: Sequence

Uma lista de definições de métrica personalizadas.

Cada item na lista é um CustomMetric:

monitor_de_qualidade.configuracao_de_classificacao_de_dados

Type: Map

Configuração para classificação de dados.

quality_monitor.inference_log

Type: Map

Configuração para monitorar logs de inferência.

monitor_de_qualidade.notificações

Type: Map

Configurações de notificação para o monitor.

quality_monitor.notifications.on_failure

Type: Map

Configurações de notificação quando o monitor falha.

monitor_de_qualidade.notificações.no_novo_rótulo_de_classificação_detectado

Type: Map

Configurações de notificação quando novas marcas de classificação são detectadas.

monitor_de_qualidade.agenda

Type: Map

Agendar a atualização e renovação automática das tabelas de métricas.

quality_monitor.snapshot

Type: Map

Configuração para monitoração de tabelas instantâneas.

monitor_de_qualidade.série_temporal

Configuração para monitorar tabelas de série temporal.

Examples

Para obter um pacote de exemplo completo que define um quality_monitor, consulte o pacote mlops_demo.

Os exemplos a seguir definem monitores de qualidade para tipos de perfil InferenceLog, TimeSeries e Snapshot .

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

registered_model (Catálogo do Unity)

Type: Map

O recurso de modelo registrado permite que você defina modelos no Catálogo do Unity. Para obter informações sobre modelos registrados do Catálogo do Unity, confira Gerenciar o ciclo de vida do modelo no Catálogo do Unity.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

registered_model.aliases

Type: Sequence

Uma lista de aliases associados ao modelo registrado.

Cada item na lista é um Alias:

Example

O exemplo a seguir define um modelo registrado no Catálogo do Unity:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

esquema (Catálogo do Unity)

Type: Map

Esquemas são suportados em Databricks Asset Bundles para Python. Consulte databricks.bundles.schemas.

O tipo de recurso de esquema permite que você defina esquemas do Catálogo do Unity para tabelas e outros ativos em seus fluxos de trabalho e pipelines criados como parte de um pacote. Um esquema, diferente de outros tipos de recursos, tem as seguintes limitações:

• O proprietário de um recurso de esquema é sempre o usuário de implantação e não pode ser alterado. Se run_as for especificado no pacote, ele será ignorado por operações no esquema.
• Somente os campos compatíveis com a API de criação do objeto de esquemas correspondente estão disponíveis para o recurso de esquema. Por exemplo, não há suporte para enable_predictive_optimization, pois ele só está disponível no da API de atualização.

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Examples

O exemplo a seguir define um pipeline com a chave de recurso my_pipeline que cria um esquema do Catálogo do Unity com a chave my_schema como destino:

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Não há suporte para um mapeamento de permissões de nível superior nos Pacotes de Ativos do Databricks, portanto, se você quiser definir permissões para um esquema, defina-as dentro do mapeamento schemas. Para obter mais informações sobre concessões, confira Mostrar, conceder e revogar privilégios.

O exemplo a seguir define um esquema do Catálogo do Unity com concessões:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

escopo_secreto

Type: Map

O recurso secret_scope permite definir escopos secretos em um pacote. Para obter informações sobre escopos secretos, consulte Gerenciamento de segredo.

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

secret_scope.keyvault_metadata

Type: Map

Os metadados para escopos secretos com suporte do Azure Key Vault.

Examples

O exemplo a seguir define um escopo secreto que usa um back-end do cofre de chaves:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

O exemplo a seguir define uma ACL personalizada usando escopos e permissões secretas:

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Para obter um pacote de exemplo que demonstra como definir um escopo secreto e um trabalho com uma tarefa que o lê em um pacote, consulte o repositório GitHub de exemplos de pacote.

sql_armazém_de_dados

Type: Map

O recurso do SQL Warehouse permite que você defina um SQL Warehouse em um pacote. Para obter informações sobre os sql warehouses, consulte Data warehousing no Azure Databricks.

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_warehouse.channel

Type: Map

Configuração do canal para o SQL Warehouse.

Example

O exemplo a seguir define um SQL Warehouse:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

tabela_de_banco_de_dados_sincronizada

Type: Map

O recurso de tabela de banco de dados sincronizado permite definir tabelas de banco de dados do Lakebase em um pacote.

Para obter informações sobre tabelas de banco de dados sincronizadas, consulte o que é uma instância de banco de dados?.

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

synced_database_table.spec

Type: Map

A especificação da tabela de banco de dados.

tabela_de_banco_de_dados_sincronizada.spec.nova_spec_do_pipeline

Type: Map

A especificação de uma nova pipeline utilizada na tabela sincronizada do banco de dados.

Examples

O exemplo a seguir define uma tabela de banco de dados sincronizada em um catálogo de banco de dados correspondente:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

O exemplo a seguir define uma tabela de banco de dados sincronizada dentro de um catálogo padrão:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Este exemplo cria uma tabela de banco de dados sincronizada e personaliza o agendamento do pipeline para ela. Ele pressupõe que você já tenha:

• Uma instância de banco de dados chamada my-database-instance
• Um catálogo padrão chamado my_standard_catalog
• Um esquema no catálogo padrão chamado default
• Uma tabela delta de origem nomeada source_delta.schema.customer com a chave primária c_custkey

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

volume (Catálogo do Unity)

Type: Map

É oferecido suporte a volumes nos Pacotes de Recursos em Python para Databricks. Consulte databricks.bundles.volumes.

O tipo de recurso de volume permite que você defina e crie volumes do Unity Catalog como parte de um conjunto. Ao implantar um pacote com um volume definido, observe que:

• Um volume não pode ser referenciado no artifact_path do conjunto até que ele exista no espaço de trabalho. Portanto, se você quiser usar os Pacotes de Ativos do Databricks para criar o volume, primeiro defina o volume no pacote, implante-o para criar o volume e, em seguida, referencie-o no artifact_path em implantações subsequentes.
• Os volumes no pacote não são precedidos pelo prefixo dev_${workspace.current_user.short_name} quando o destino de implantação está configurado com mode: development. No entanto, você pode configurar manualmente esse prefixo. Confira Predefinições personalizadas.

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Example

O exemplo a seguir cria um volume do Catálogo do Unity com a chave my_volume_id:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Para um pacote de exemplo que executa um trabalho que grava em um arquivo no volume do Catálogo do Unity, consulte o repositório GitHub de pacotes de exemplo.

Objetos comuns

subvenção

Type: Map

Defina o principal e os privilégios para conceder a esse principal. Para obter mais informações sobre concessões, confira Mostrar, conceder e revogar privilégios.

Example

O exemplo a seguir define um esquema do Catálogo do Unity com concessões:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

ciclo de vida

Type: Map

Contém as configurações de ciclo de vida de um recurso. Ele controla o comportamento do recurso quando ele é implantado ou destruído.