Databricks 자산 번들 리소스

Databricks 자산 번들을 사용하면 번들 구성의 resources 매핑에서 번들에서 사용하는 Azure Databricks 리소스에 대한 정보를 지정할 수 있습니다. 리소스 매핑 및 리소스 키 참조를 확인하세요.

이 페이지에서는 번들에 대해 지원되는 모든 리소스 종류에 대한 구성 참조를 제공하고 지원되는 각 유형에 대한 세부 정보 및 예제를 제공합니다. 추가 예제는 번들 구성 예제참조하세요.

YAML 구성의 유효성을 검사하는 데 사용되는 번들에 대한 JSON 스키마는 Databricks CLI GitHub 리포지토리에 있습니다.

지원되는 리소스

다음 표에서는 번들에 대해 지원되는 리소스 종류(해당하는 경우 YAML 및 Python)를 나열합니다. 일부 리소스는 번들에 정의하고 번들을 배포하여 만들 수 있으며, 일부 리소스는 번들에 포함할 기존 자산을 참조해야만 만들 수 있습니다.

리소스 구성은 Databricks REST API 개체에 해당하는 Databricks 개체를 정의합니다. YAML로 표현되는 REST API 개체의 지원되는 만들기 요청 필드는 리소스의 지원되는 키입니다. 각 리소스의 해당 개체에 대한 설명서에 대한 링크는 아래 표에 있습니다.

경고

Type: Map

경고 리소스는 SQL 경고(v2)를 정의합니다.

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

경고 평가

Type: Map

경고에 대한 평가 구성입니다.

alert.evaluation.notification

Type: Map

경고가 트리거될 때 알릴 사용자 또는 기타 대상입니다.

알림 평가 알림 구독

Type: Sequence

순서가 지정되지 않은 알림 구독 목록입니다.

목록의 각 항목은 AlertSubscription입니다.

alert.evaluation.source

Type: Map

경고를 평가하는 데 사용할 결과의 원본 열입니다.

알림.평가.임계값

Type: Map

경고 평가에 사용할 임계값은 열 또는 값일 수 있습니다.

알림.평가.임계값.값

Type: Map

기준치로 사용할 리터럴 값입니다. 다음 값 형식 중 하나를 지정합니다.

경고.일정

Type: Map

경고에 대한 일정 구성입니다.

Examples

다음 예제 구성은 간단한 평가로 경고를 정의합니다.

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

다음 예제 구성은 집계를 사용하여 평가하고 알림을 보내는 권한이 있는 경고를 정의합니다.

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

앱

Type: Map

앱 리소스는 Databricks 앱을 정의합니다. Databricks 앱에 대한 자세한 내용은 Databricks 앱을 참조하세요.

앱을 추가하려면 필요한 앱을 포함하여 앱을 정의할 설정을 지정합니다 source_code_path.

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

앱 리소스

Type: Sequence

앱에 대한 컴퓨팅 리소스 목록입니다.

목록의 각 항목은 AppResource입니다.

애플리케이션.자원.데이터베이스

Type: Map

사용할 Lakebase 데이터베이스를 식별하는 설정입니다.

app.resources.genie_space

Type: Map

사용할 지니 공간을 식별하는 설정입니다.

app.resources.job

Type: Map

사용할 작업 리소스를 식별하는 설정입니다.

앱.리소스.시크릿

Type: Map

사용할 Azure Databricks 비밀 리소스를 식별하는 설정입니다.

앱.리소스.서비스_엔드포인트

Type: Map

사용할 엔드포인트 리소스를 제공하는 모델을 식별하는 설정입니다.

app.resources.sql_warehouse

Type: Map

사용할 SQL 웨어하우스를 식별하는 설정입니다.

app.resources.uc_securable (사용 가능한 보안 설정 리소스)

Type: Map

사용할 Unity 카탈로그 볼륨을 식별하는 설정입니다.

Example

다음 예제에서는 번들로 만든 작업을 관리하는 my_app 앱을 만듭니다.

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

해당 app.yaml 앱을 실행하기 위한 구성을 정의합니다.

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

전체 Databricks 앱 예제 번들은 번들 예제 GitHub 리포지토리를 참조하세요.

클러스터

Type: Map

클러스터 리소스는 클러스터를 정의합니다.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

클러스터.오토스케일링

Type: Map

부하에 따라 클러스터를 자동으로 확장 및 축소하기 위한 매개 변수입니다.

클러스터.AWS 속성

Type: Map

Amazon Web Services에서 실행되는 클러스터와 관련된 특성입니다.

클러스터.애저_속성

Type: Map

Microsoft Azure에서 실행되는 클러스터와 관련된 특성입니다.

클러스터.gcp_속성

Type: Map

Google Cloud Platform에서 실행되는 클러스터와 관련된 특성입니다.

cluster.cluster_log_conf

Spark 로그를 장기 스토리지 대상으로 배달하기 위한 구성입니다.

cluster.cluster_log_conf.dbfs

Type: Map

클러스터 로그 배달을 위한 DBFS 위치입니다.

cluster.cluster_log_conf.s3

Type: Map

클러스터 로그 배달을 위한 S3 위치입니다.

cluster.cluster_log_conf.volumes

Type: Map

클러스터 로그 배달을 위한 볼륨 위치입니다.

cluster.docker_image

Type: Map

사용자 지정 Docker 이미지 구성입니다.

클러스터.docker_image.기본 인증

Type: Map

Docker 리포지토리에 대한 기본 인증입니다.

cluster.init_scripts

Type: Map

init 스크립트를 저장하기 위한 구성입니다. 하나 이상의 위치 유형을 지정해야 합니다.

cluster.init_scripts.dbfs

Type: Map

init 스크립트의 DBFS 위치입니다.

cluster.init_scripts.workspace

Type: Map

init 스크립트의 작업 영역 위치입니다.

cluster.init_scripts.s3

Type: Map

init 스크립트의 S3 위치입니다.

cluster.init_scripts.abfss

Type: Map

init 스크립트의 ABFSS 위치입니다.

cluster.init_scripts.gcs

Type: Map

init 스크립트의 GCS 위치입니다.

cluster.init_scripts.volumes

Type: Map

init 스크립트의 볼륨 위치

cluster.작업_유형

Type: Map

클러스터 워크로드 유형을 보여 주는 클러스터 특성입니다.

cluster.workload_type.클라이언트

Type: Map

이 컴퓨팅 워크로드에 대한 클라이언트 유형입니다.

Examples

다음 예제에서는 Databricks Runtime 15.4 LTS 및 클러스터 정책을 사용하여 현재 사용자에 대한 전용(단일 사용자) 클러스터를 만듭니다.

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

이 예제에서는 간단한 클러스터 my_cluster를 만들고, 이를 my_job에서 Notebook을 실행하기 위한 클러스터로 설정합니다.

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

대시보드

Type: Map

대시보드 리소스를 사용하면 AI/BI 대시보드를 번들로 관리할 수 있습니다. AI/BI 대시보드에 대한 자세한 내용은 대시보드참조하세요.

로컬 환경에서 대시보드가 포함된 번들을 배포한 다음 UI를 사용하여 해당 대시보드를 수정한 경우 UI를 통해 수정한 내용은 명시적으로 업데이트 bundle generate하지 않는 한 로컬 번들의 대시보드 JSON 파일에 적용되지 않습니다. --watch 옵션을 사용하여 대시보드에 대한 변경 내용을 지속적으로 폴링하고 검색할 수 있습니다. databricks 번들 생성을 참조하세요.

또한 원격 작업 영역에 있는 것과 다른 대시보드 JSON 파일이 포함된 로컬 환경에서 번들을 배포하려고 하면 오류가 발생합니다. 원격 작업 영역의 대시보드를 로컬 대시보드로 강제로 배포하고 덮어쓰려면 --force 옵션을 사용합니다. databricks 번들 배포를 참조하세요.

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Example

예시는 NYC Taxi Trip Analysis 대시보드를 Databricks 작업 영역으로 포함하고 배포합니다.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

데이터베이스 카탈로그

Type: Map

데이터베이스 카탈로그 리소스를 사용하면 번들의 데이터베이스 인스턴스 에 해당하는 데이터베이스 카탈로그를 정의할 수 있습니다. 데이터베이스 카탈로그는 Unity 카탈로그 카탈로그로 등록된 Lakebase 데이터베이스입니다.

데이터베이스 카탈로그에 대한 자세한 내용은 카탈로그 만들기를 참조하세요.

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Example

다음 예제에서는 해당 데이터베이스 카탈로그를 사용하여 데이터베이스 인스턴스 를 정의합니다.

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

데이터베이스_인스턴스

Type: Map

데이터베이스 인스턴스 리소스를 사용하면 번들에 데이터베이스 인스턴스를 정의할 수 있습니다. Lakebase 데이터베이스 인스턴스는 스토리지 및 컴퓨팅 리소스를 관리하고 사용자가 연결하는 엔드포인트를 제공합니다.

데이터베이스 인스턴스에 대한 자세한 내용은 데이터베이스 인스턴스란?을 참조하세요.

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

데이터베이스_인스턴스의 기본_인스턴스_참조

Type: Map

부모 인스턴스의 참조입니다. 인스턴스가 자식 인스턴스인 경우에만 사용할 수 있습니다.

Example

다음 예제에서는 해당 데이터베이스 카탈로그를 사용하여 데이터베이스 인스턴스를 정의합니다.

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

데이터베이스 인스턴스 및 해당 데이터베이스 카탈로그를 정의하는 방법을 보여 주는 예제 번들은 번들 예제 GitHub 리포지토리를 참조하세요.

실험

Type: Map

실험 리소스를 사용하면 패키지에 MLflow 실험을 정의할 수 있습니다. MLflow 실험과 관련된 정보를 얻으려면 MLflow 실험을 사용하여 학습 실행을 구성하는 방법을 참조하세요.

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Example

다음 예제에서는 모든 사용자가 볼 수 있는 실험을 정의합니다.

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

작업

Type: Map

작업은 Databricks 자산 번들에 대해 Python을 통해 지원됩니다. databricks.bundles.jobs 참조하세요.

번들에서 작업과 해당 작업에 연결된 태스크를 정의할 수 있도록 작업 리소스를 사용하십시오.

작업에 대한 자세한 내용은 Lakeflow 작업을 참조하세요. Databricks 자산 번들 템플릿을 사용하여 작업을 만드는 자습서는 Databricks 자산 번들을 사용하여 작업 개발을 참조하세요.

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

작업.지속적인

Type: Map

연속 작업 실행을 위한 구성입니다.

작업.배포

Type: Map

외부 원본에서 관리하는 작업에 대한 배포 정보입니다.

job.email_notifications (작업 이메일 알림)

Type: Map

작업 실행에 대한 이메일 알림 설정입니다.

job.environments (작업 환경)

Type: Sequence

작업의 서버리스 작업에서 참조할 수 있는 작업 실행 환경 사양 목록입니다.

목록의 각 항목은 다음과 같습니다.JobEnvironment

job.environments.spec

Type: Map

서버리스 환경을 나타내는 엔터티입니다.

job.git 원본

Type: Map

작업 소스 코드에 대한 Git 리포지토리 구성입니다.

작업.깃_소스.깃_스냅샷

Type: Map

읽기 전용 커밋 정보 스냅샷입니다.

작업.건강

Type: Map

작업에 대한 상태 감시 구성을 설정합니다.

job.health.rules

Type: Sequence

작업 건강 규칙 목록입니다.

목록의 각 항목은 다음과 같습니다.JobHealthRule

작업.작업_클러스터

Type: Sequence

이 작업의 태스크에서 공유하고 다시 사용할 수 있는 작업 클러스터 사양 목록입니다. 라이브러리는 공유 작업 클러스터에서 선언할 수 없습니다. 작업 설정에서 종속 라이브러리를 선언해야 합니다.

목록의 각 항목은 다음과 같습니다.JobCluster

작업.알림_설정

Type: Map

작업에 대한 모든 알림에 적용되는 알림 설정입니다.

job.queue

Type: Map

작업에 대한 큐 설정입니다.

작업.일정

Type: Map

주기적인 작업 실행에 대한 구성을 예약합니다.

작업.트리거

Type: Map

이벤트 기반 작업 실행에 대한 구성을 트리거합니다.

job.trigger.file_arrival

Type: Map

파일 도착에 따라 구성을 트리거합니다.

작업.트리거.테이블

Type: Map

테이블을 기반으로 구성을 트리거합니다.

job.trigger.테이블_업데이트

Type: Map

테이블 업데이트를 기반으로 구성을 트리거합니다.

작업.트리거.주기적

Type: Map

주기적 트리거 구성

job.webhook_notifications (작업 웹훅 알림)

Type: Map

작업 실행에 대한 웹후크 알림 설정입니다.

Examples

다음 예제에서는 리소스 키 hello-job을 사용하여 하나의 노트북 작업을 포함한 작업을 정의합니다.

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

다음 예제에서는 SQL Notebook을 사용하여 작업을 정의합니다.

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

추가 작업 구성 예제는 작업 구성을 참조하세요.

작업 태스크 정의 및 작업 설정 재정의에 대한 자세한 내용은 다음을 참조하세요.

• Databricks 자산 번들에서 작업에 태스크 추가
• 작업 설정 재정의

모델(레거시)

Type: Map

모델 리소스를 사용하면 번들에 레거시 모델을 정의할 수 있습니다. Databricks는 대신 Unity 카탈로그에 등록된 모델을 사용하는 것이 좋습니다.

모델_서빙_엔드포인트

Type: Map

model_serving_endpoint 리소스를 사용하면 엔드포인트제공하는 모델을 정의할 수 있습니다. 모델 서빙 엔드포인트 관리를 참조하세요.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

model_serving_endpoint.ai_gateway

Type: Map

서비스 엔드포인트에 대한 AI 게이트웨이 구성입니다.

모델_서빙_엔드포인트.ai_게이트웨이.가드레일

Type: Map

AI 게이트웨이 가드레일 구성입니다.

모델_서비스_엔드포인트.ai_게이트웨이.추론_테이블_구성

Type: Map

Unity 카탈로그 테이블에 대한 유추 로깅을 위한 구성입니다.

모델_서빙_엔드포인트.인공지능_게이트웨이.사용_추적_구성

Type: Map

사용을 추적하기 위한 AI 게이트웨이 구성입니다.

model_serving_endpoint.config

Type: Map

서비스 엔드포인트의 핵심 구성입니다.

모델_서비스_엔드포인트.config.트래픽_구성

Type: Map

서비스 엔드포인트에 대한 호출을 라우팅하는 방법을 정의하는 트래픽 구성입니다.

model_serving_endpoint.config.auto_capture_config

Type: Map

Unity 카탈로그에 대한 요청 및 응답을 자동으로 기록하는 유추 테이블에 대한 구성입니다.

Example

다음 예제에서는 엔드포인트를 제공하는 Unity 카탈로그 모델을 정의합니다.

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

파이프라인

Type: Map

파이프라인은 Databricks 자산 번들에 대한 Python에서 지원됩니다. databricks.bundles.pipelines를 참조하세요.

파이프라인 리소스를 사용하면 파이프라인을 만들 수 있습니다. 파이프라인에 대한 자세한 내용은 Lakeflow Spark 선언적 파이프라인을 참조하세요. Databricks 자산 번들 템플릿을 사용하여 파이프라인을 만드는 자습서는 Databricks 자산 번들을 사용하여 Lakeflow Spark 선언적 파이프라인 개발을 참조하세요.

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

파이프라인.배포

Type: Map

파이프라인에 대한 배포 유형 구성입니다.

파이프라인 환경

Type: Map

서버리스 컴퓨팅에 종속성을 설치하기 위한 환경 사양입니다.

파이프라인.이벤트_로그

Type: Map

파이프라인에 대한 이벤트 로그 구성입니다.

파이프라인.필터들

Type: Map

배포된 그래프에 포함할 파이프라인 패키지를 결정하는 필터입니다.

pipeline.ingestion_definition

Type: Map

관리되는 수집 파이프라인에 대한 구성입니다. 이러한 설정은 libraries, schema, target 또는 catalog 설정과 함께 사용할 수 없습니다.

SchemaSpec

Type: Map

스키마에서 모든 테이블을 수집하기 위한 스키마 개체 사양입니다.

TableSpec

Type: Map

특정 테이블을 가져오기 위한 테이블 오브젝트 사양입니다.

보고서 사양

Type: Map

분석 보고서를 수집하여 처리하기 위한 보고서 객체 사양입니다.

파이프라인.ingestion_definition.source_configuration

Type: Map

원본에 대한 구성입니다.

pipeline.ingestion_definition.source_configuration.catalog

Type: Map

카탈로그 수준 원본 구성 매개 변수

파이프라인.수집_정의.테이블_구성

Type: Map

수집 테이블에 대한 구성 옵션입니다.

파이프라인.라이브러리

Type: Sequence

이 파이프라인에 필요한 라이브러리 또는 코드 목록을 정의합니다.

목록의 각 항목은 정의입니다.

pipeline.libraries.file

Type: Map

파이프라인을 정의하고 Databricks Repos에 저장되는 파일의 경로입니다.

파이프라인.라이브러리.글로브

Type: Map

소스 코드를 포함할 통합 필드입니다. 각 항목은 전자 필기장 경로, 파일 경로 또는 끝나는 폴더 경로일 수 있습니다 /**. 이 필드는 notebook 또는 file와 함께 사용할 수 없습니다.

파이프라인.라이브러리.노트북

Type: Map

파이프라인을 정의하고 Databricks 작업 영역에 저장되는 Notebook의 경로입니다.

Example

다음 예제에서는 리소스 키 hello-pipeline사용하여 파이프라인을 정의합니다.

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

추가 파이프라인 구성 예제는 파이프라인 구성을 참조하세요.

품질_모니터(Unity 카탈로그)

Type: Map

quality_monitor 리소스를 사용하면 Unity 카탈로그 테이블 모니터를 정의할 수 있습니다. 모니터에 대한 자세한 내용은 데이터 프로파일링을 참조하세요.

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

품질_모니터.사용자_지정_메트릭

Type: Sequence

사용자 지정 메트릭 정의 목록입니다.

목록의 각 항목은 다음과 같습니다.CustomMetric

품질_모니터.데이터_분류_구성

Type: Map

데이터 분류를 위한 구성입니다.

품질_모니터.추론_로그

Type: Map

유추 로그를 모니터링하기 위한 구성입니다.

품질_모니터.알림

Type: Map

모니터에 대한 알림 설정입니다.

quality_monitor.notifications.on_failure (품질 모니터 알림 실패 시)

Type: Map

모니터가 실패할 때 알림 설정입니다.

quality_monitor.notifications.새로운 분류 태그가 감지되었습니다.

Type: Map

새 분류 태그가 검색될 때 알림 설정입니다.

품질_모니터.일정

Type: Map

메트릭 테이블을 자동으로 업데이트하고 새로 고치는 일정을 예약합니다.

품질_모니터.스냅샷

Type: Map

스냅샷 테이블 모니터링을 위한 구성입니다.

품질_모니터.시계열

시계열 테이블을 모니터링하기 위한 구성입니다.

Examples

을 정의하는 전체 예제 번들은 quality_monitormlops_demo 번들을 참조하세요.

다음 예제에서는 InferenceLog, TimeSeries 및 스냅샷 프로필 형식에 대한 품질 모니터를 정의합니다.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

등록된_모델(Unity 카탈로그)

Type: Map

등록된 모델 리소스를 사용하면 Unity 카탈로그에서 모델을 정의할 수 있습니다. Unity 카탈로그에서 등록된 모델에 대한 자세한 내용은 모델 수명 주기 관리를 참조하세요.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

등록된_모델.별칭

Type: Sequence

등록된 모델과 연결된 별칭 목록입니다.

목록의 각 항목은 Alias입니다.

Example

다음 예제에서는 Unity 카탈로그에 등록된 모델을 정의합니다.

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

스키마(Unity Catalog)

Type: Map

스키마는 Databricks 자산 번들에 대한 Python에서 지원됩니다. databricks.bundles.schemas를 참조하세요.

스키마 리소스 유형을 사용하면 번들의 일부로 생성된 워크플로 및 파이프라인의 테이블 및 기타 자산에 대한 Unity 카탈로그 스키마을 정의할 수 있습니다. 다른 리소스 종류와 다른 스키마에는 다음과 같은 제한 사항이 있습니다.

• 스키마 리소스의 소유자는 항상 배포 사용자이며 변경할 수 없습니다. 번들에 run_as가 지정되면 스키마에 대한 작업에서 이를 무시합니다.
• 해당 스키마 객체 생성 API에서 지원하는 필드만 스키마 리소스에서 사용할 수 있습니다. 예를 들어 enable_predictive_optimization업데이트 API만 사용할 수 있으므로 지원되지 않습니다.

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Examples

다음 예제에서는 리소스 키 my_pipeline을(를) 사용하여 파이프라인을 정의하고, 키 my_schema을(를) 대상으로 하여 Unity 카탈로그 스키마를 만듭니다.

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

최상위 권한 부여 매핑은 Databricks 자산 번들에서 지원되지 않으므로 스키마에 대한 권한을 설정하려면 schemas 매핑 내에서 스키마에 대한 권한을 정의합니다. 권한 부여에 대한 자세한 내용은 권한 표시, 부여 및 해지참조하세요.

다음 예제에서는 권한 부여를 사용하여 Unity 카탈로그 스키마를 정의합니다.

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

시크릿_스코프

Type: Map

secret_scope 리소스를 사용하면 번들에서 비밀 범위를 정의할 수 있습니다. 비밀 범위에 대한 자세한 내용은 비밀 관리를 참조하세요.

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

비밀_범위.키보관함_메타데이터

Type: Map

Azure Key Vault 지원 비밀 범위에 대한 메타데이터입니다.

Examples

다음 예제에서는 키 보관소 백엔드를 사용하는 비밀 범위를 정의합니다.

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

다음 예제에서는 비밀 범위 및 권한을 사용하여 사용자 지정 ACL을 설정합니다.

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

번들 내에서 비밀 범위를 정의하고 이 범위에서 읽는 작업을 포함하는 작업을 설정하는 방법을 보여주는 예제 번들은 bundle-examples GitHub 리포지토리를 참조하세요.

SQL 창고

Type: Map

SQL 웨어하우스 리소스를 사용하면 번들에 SQL 웨어하우스 를 정의할 수 있습니다. SQL 웨어하우스에 대한 자세한 내용은 Azure Databricks의 데이터 웨어하우징을 참조하세요.

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_웨어하우스.채널

Type: Map

SQL 웨어하우스의 채널 구성입니다.

Example

다음 예제에서는 SQL 웨어하우스를 정의합니다.

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

동기화된_데이터베이스_테이블

Type: Map

동기화된 데이터베이스 테이블 리소스를 사용하면 번들에서 Lakebase 데이터베이스 테이블을 정의할 수 있습니다.

동기화된 데이터베이스 테이블에 대한 자세한 내용은 데이터베이스 인스턴스란?을 참조하세요.

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

데이터베이스 동기화 테이블 파일(synced_database_table.spec)

Type: Map

데이터베이스 테이블 사양입니다.

synced_database_table.spec.new_pipeline_spec

Type: Map

동기화된 데이터베이스 테이블에서 사용하는 새 파이프라인에 대한 사양입니다.

Examples

다음 예제에서는 해당 데이터베이스 카탈로그 내에서 동기화된 데이터베이스 테이블을 정의합니다.

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

다음 예제에서는 표준 카탈로그 내에 동기화된 데이터베이스 테이블을 정의합니다.

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

이 예제에서는 동기화된 데이터베이스 테이블을 만들고 이에 대한 파이프라인 일정을 사용자 지정합니다. 이미 다음 항목이 있다고 가정합니다.

• 명명된 데이터베이스 인스턴스 my-database-instance
• 명명된 표준 카탈로그 my_standard_catalog
• 명명된 표준 카탈로그의 스키마 default
• source_delta.schema.customer라는 원본 델타 테이블과 기본 키 c_custkey

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

볼륨(Unity 카탈로그)

Type: Map

볼륨은 Databricks 자산 번들에 대한 Python에서 지원됩니다. databricks.bundles.volumes를 참조하세요.

볼륨 리소스 유형을 사용하여 번들의 일부로 Unity 카탈로그의 볼륨을 정의하고 생성할 수 있습니다. 볼륨이 정의된 번들을 배포하는 경우 다음 사항에 유의하세요.

• 작업 영역에 볼륨이 존재하기 전까지 artifact_path에서 번들에 대한 참조가 불가능합니다. 따라서 Databricks 자산 번들을 사용하여 볼륨을 만들려면 먼저 번들 내에서 볼륨을 정의하고 그것을 배포하여 볼륨을 생성한 후, 후속 배포에서 artifact_path를 참조해야 합니다.
• 배포 대상이 dev_${workspace.current_user.short_name}로 설정된 경우, 번들에 있는 볼륨에 mode: development 접두사가 추가되지 않습니다. 그러나 이 접두사를 수동으로 구성할 수 있습니다. 사용자 지정 사전 설정참조하세요.

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Example

다음 예제에서는 키 my_volume_id사용하여 Unity 카탈로그 볼륨을 만듭니다.

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Unity 카탈로그 볼륨의 파일에 기록하는 작업을 실행하는 예제 번들을 보려면 번들 예제 GitHub 리포지토리를 참고하세요.

일반적인 물건

허가

Type: Map

해당 보안 주체에 부여할 보안 주체 및 권한을 정의합니다. 권한 부여에 대한 자세한 내용은 권한 표시, 부여 및 해지참조하세요.

Example

다음 예제에서는 권한 부여를 사용하여 Unity 카탈로그 스키마를 정의합니다.

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

생명주기

Type: Map

리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.