Zasoby pakietów aktywów usługi Databricks

Pakiety zasobów usługi Databricks umożliwiają określenie informacji o zasobach usługi Azure Databricks używanych w ramach pakietu w mapowaniu resources w ramach konfiguracji pakietu. Zobacz odwzorowanie zasobów i kluczowy odnośnik zasobów.

Ta strona zawiera informacje o konfiguracji dla wszystkich obsługiwanych typów zasobów dla pakietów oraz zawiera szczegółowe informacje i przykład dla każdego obsługiwanego typu. Aby uzyskać dodatkowe przykłady, zobacz przykłady konfiguracji pakietu .

Schemat JSON dla pakietów używanych do sprawdzania poprawności konfiguracji YAML znajduje się w repozytorium GitHub Databricks CLI.

Obsługiwane zasoby

W poniższej tabeli wymieniono obsługiwane typy zasobów dla pakietów (YAML i Python, jeśli ma to zastosowanie). Niektóre zasoby można utworzyć, definiując je w pakiecie i wdrażając pakiet, a niektóre zasoby można utworzyć tylko przez odwołanie do istniejącego zasobu do uwzględnienia w pakiecie.

Konfiguracja zasobu definiuje obiekt usługi Databricks odpowiadający obiektowi interfejsu API REST usługi Databricks . Obsługiwane pola żądania tworzenia obiektu interfejsu API REST wyrażone jako YAML są obsługiwanymi kluczami zasobu. Linki do dokumentacji dla każdego odpowiedniego zasobu znajdują się w poniższej tabeli.

czujny

Type: Map

Zasób alertu definiuje alert SQL (wersja 2).

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

alert.ocena

Type: Map

Konfiguracja oceny alertu.

alert.ocena.powiadomienie

Type: Map

Użytkownik lub inne miejsce docelowe do powiadamiania o wyzwoleniu alertu.

alert.evaluation.notification.subscriptions

Type: Sequence

Nieurządkowana lista subskrypcji powiadomień.

Każdy element na liście to AlertSubscription:

alert.evaluation.source

Type: Map

Kolumna źródłowa z wyniku do użycia w celu oceny alertu.

alert.evaluation.threshold

Type: Map

Próg używany do oceny alertów może być kolumną lub wartością.

alert.ocena.prog.wartość

Type: Map

Wartość dosłowna do użycia jako próg. Określ jeden z następujących typów wartości.

alert.schedule

Type: Map

Konfiguracja harmonogramu dla alertu.

Examples

Poniższa przykładowa konfiguracja definiuje alert z prostą oceną:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

Poniższa przykładowa konfiguracja definiuje alert z uprawnieniami, które oceniają użycie agregacji i wysyła powiadomienia:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

aplikacja

Type: Map

Zasób aplikacji definiuje aplikację Databricks. Aby uzyskać informacje na temat usługi Databricks Apps, zobacz Aplikacje usługi Databricks.

Aby dodać aplikację, określ ustawienia do zdefiniowania aplikacji, w tym wymagane source_code_path.

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

app.zasoby

Type: Sequence

Lista zasobów obliczeniowych dla aplikacji.

Każdy element na liście to AppResource:

aplikacja.zasoby.baza_danych

Type: Map

Ustawienia identyfikujące bazę danych Lakebase do użycia.

app.resources.genie_space

Type: Map

Ustawienia identyfikujące miejsce Genie do użycia.

app.resources.job

Type: Map

Ustawienia identyfikujące zasób zadania do użycia.

app.zasoby.tajny

Type: Map

Ustawienia identyfikujące zasób tajny usługi Azure Databricks do użycia.

app.resources.punkt_końcowy_świadczenia_usług

Type: Map

Ustawienia identyfikujące model obsługujący zasób punktu końcowego do użycia.

app.resources.sql_warehouse

Type: Map

Ustawienia identyfikujące magazyn SQL do użycia.

app.resources.uc_securable

Type: Map

Ustawienia identyfikujące wolumin wykazu aparatu Unity do użycia.

Example

Poniższy przykład tworzy aplikację o nazwie my_app, która zarządza zadaniem utworzonym przez pakiet:

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

app.yaml Odpowiednia konfiguracja określa uruchamianie aplikacji:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Aby sprawdzić pełny pakiet przykładowy aplikacji Databricks, zobacz repozytorium GitHub bundle-examples.

klaster

Type: Map

Zasób klastra definiuje klaster.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

cluster.autoscale

Type: Map

Parametry automatycznego skalowania klastrów w górę i w dół na podstawie obciążenia.

cluster.aws_attributes

Type: Map

Atrybuty związane z klastrami uruchomionymi w usługach Amazon Web Services.

cluster.azure_attributes

Type: Map

Atrybuty związane z klastrami uruchomionymi na platformie Microsoft Azure.

cluster.gcp_attributes

Type: Map

Atrybuty związane z klastrami uruchomionymi na platformie Google Cloud Platform.

cluster.cluster_log_conf (konfiguracja logów klastra)

Konfiguracja dostarczania dzienników Spark do miejsca długoterminowego przechowywania.

cluster.cluster_log_conf.dbfs

Type: Map

Lokalizacja systemu plików DBFS na potrzeby dostarczania dziennika klastra.

cluster.cluster_log_conf.s3

Type: Map

Lokalizacja S3 dla dostarczania logów klastra.

cluster.cluster_log_conf.volumes

Type: Map

Lokalizacja woluminów na potrzeby dostarczania dziennika klastra.

cluster.docker_image

Type: Map

Niestandardowa konfiguracja obrazu platformy Docker.

cluster.docker_image.basic_auth

Type: Map

Uwierzytelnianie podstawowe dla repozytorium platformy Docker.

cluster.init_scripts

Type: Map

Konfiguracja przechowywania skryptów inicjowania. Należy określić co najmniej jeden typ lokalizacji.

cluster.init_scripts.dbfs

Type: Map

Lokalizacja skryptu inicjalizacyjnego DBFS.

cluster.init_scripts.workspace

Type: Map

Lokalizacja obszaru roboczego skryptu inicjowania.

cluster.init_scripts.s3

Type: Map

Lokalizacja S3 skryptu inicjalizującego.

cluster.init_scripts.abfss

Type: Map

Lokalizacja skryptu inicjalizacyjnego ABFSS.

cluster.init_scripts.gcs

Type: Map

Lokalizacja GCS skryptu inicjalizacyjnego.

cluster.init_scripts.volumes

Type: Map

Lokalizacja woluminów skryptu init.

klaster.typ_obciążenia

Type: Map

Atrybuty klastra przedstawiające typy obciążeń klastra.

klaster.typ_obciążenia.klienci

Type: Map

Typ klientów dla tego obciążenia obliczeniowego.

Examples

Poniższy przykład tworzy dedykowany (pojedynczy użytkownik) klaster dla bieżącego użytkownika z usługą Databricks Runtime 15.4 LTS i zasadami klastra:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

W tym przykładzie tworzony jest prosty klaster my_cluster i jest on ustawiany jako klaster do uruchomienia notatnika w my_job.

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

panel sterowania

Type: Map

Zasób umożliwia zarządzanie dashboardami AI/BI w pakiecie. Aby uzyskać informacje na temat pulpitów nawigacyjnych AI/BI, zobacz Dashboards.

Jeśli wdrożono pakiet zawierający pulpit nawigacyjny ze środowiska lokalnego, a następnie użyjesz interfejsu użytkownika do zmodyfikowania tego pulpitu nawigacyjnego, modyfikacje wprowadzone za pośrednictwem interfejsu użytkownika nie zostaną zastosowane do pliku JSON pulpitu nawigacyjnego w pakiecie lokalnym, chyba że jawnie zaktualizujesz go przy użyciu polecenia bundle generate. Możesz użyć opcji --watch, aby stale sprawdzać zmiany i pobierać je z pulpitu nawigacyjnego. Zobacz generowanie pakietu usługi databricks.

Ponadto w przypadku próby wdrożenia pakietu ze środowiska lokalnego zawierającego plik JSON pulpitu nawigacyjnego, który różni się od tego w zdalnym obszarze roboczym, wystąpi błąd. Aby wymusić wdrożenie i zastąpienie pulpitu nawigacyjnego w zdalnym obszarze roboczym jego lokalną wersją, użyj opcji --force. Zobacz wdrażanie pakietu usługi databricks.

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Example

Na poniższym przykładzie przedstawiono sposób wdrożenia przykładowego pulpitu nawigacyjnego NYC Taxi Trip Analysis w obszarze roboczym usługi Databricks.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

katalog_bazy_danych

Type: Map

Zasób wykazu baz danych umożliwia definiowanie katalogów baz danych odpowiadających wystąpieniom bazy danych w pakiecie. Wykaz baz danych to baza danych Lakebase zarejestrowana jako wykaz wykazu aparatu Unity.

Aby uzyskać informacje o katalogach baz danych, zobacz Tworzenie wykazu.

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Example

W poniższym przykładzie zdefiniowano wystąpienie bazy danych z odpowiednim wykazem baz danych:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

instancja_bazy_danych

Type: Map

Zasób wystąpienia bazy danych umożliwia definiowanie wystąpień bazy danych w pakiecie . Wystąpienie bazy danych usługi Lakebase zarządza zasobami magazynu i zasobów obliczeniowych oraz udostępnia punkty końcowe, z którymi użytkownicy się łączą.

Aby uzyskać informacje o wystąpieniach bazy danych, zobacz Co to jest wystąpienie bazy danych?.

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

database_instance.parent_instance_ref

Type: Map

Odwołanie do wystąpienia nadrzędnego. Jest to dostępne tylko wtedy, gdy wystąpienie jest wystąpieniem podrzędnym.

Example

W poniższym przykładzie zdefiniowano wystąpienie bazy danych z odpowiednim wykazem baz danych:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Przykładowy pakiet demonstrujący sposób definiowania wystąpienia bazy danych i odpowiedniego wykazu baz danych można znaleźć w repozytorium GitHub z przykładami pakietów.

eksperyment

Type: Map

Zasób do eksperymentów umożliwia zdefiniowanie eksperymentów MLflow w ramach pakietu. Aby uzyskać informacje na temat eksperymentów MLflow, zobacz Organizowanie przebiegów trenowania za pomocą eksperymentów MLflow.

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Example

W poniższym przykładzie zdefiniowano eksperyment, który może wyświetlać wszyscy użytkownicy:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

zadanie

Type: Map

Zadania są obsługiwane w języku Python dla Databricks Asset Bundles. Zobacz databricks.bundles.jobs.

Zasób pracy umożliwia zdefiniowanie prac i odpowiadających im zadań w pakiecie.

Aby uzyskać informacje o zadaniach, zobacz Zadania lakeflow. Aby zapoznać się z samouczkiem, który używa szablonu pakietów zasobów usługi Databricks do utworzenia zadania, zobacz Tworzenie zadania za pomocą pakietów zasobów usługi Databricks.

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

zadanie.ciągłe

Type: Map

Konfiguracja ciągłego wykonywania zadań.

zadanie.wdrożenie

Type: Map

Informacje o wdrażaniu zadań zarządzanych przez źródła zewnętrzne.

job.powiadomienia_email

Type: Map

Ustawienia powiadomień e-mail dla wykonywania zadań.

job.environments

Type: Sequence

Lista specyfikacji środowiska wykonywania zadań, które mogą być przywoływane przez zadania bezserwerowe w środowisku zadania.

Każdy element na liście to JobEnvironment:

job.environments.spec

Type: Map

Jednostka reprezentująca środowisko bezserwerowe.

zadanie.git_źródło

Type: Map

Konfiguracja repozytorium Git dla kodu źródłowego zadania.

job.git_source.git_snapshot

Type: Map

Migawka danych o zatwierdzeniu tylko do odczytu.

stan.zdrowia.zadania

Type: Map

Konfiguracja monitorowania stanu zdrowia zadania.

zasady.zdrowia.zadania

Type: Sequence

Lista zasad zdrowotnych dla zadań

Każdy element na liście to JobHealthRule:

job.job_clusters

Type: Sequence

Lista specyfikacji klastra zadań, które mogą być współużytkowane i ponownie używane przez zadania tego zadania. Nie można zadeklarować bibliotek w klastrze zadań udostępnionych. Biblioteki zależne należy zadeklarować w ustawieniach zadań.

Każdy element na liście to JobCluster:

ustawienia_powiadomień_zadania

Type: Map

Ustawienia powiadomień, które mają zastosowanie do wszystkich powiadomień dotyczących zadania.

kolejka.zadań

Type: Map

Konfiguracja kolejki dla zadania.

harmonogram.zadań

Type: Map

Konfiguracja harmonogramu okresowego wykonywania zadania.

zadanie.wyzwalacz

Type: Map

Konfiguracja wyzwalacza na potrzeby wykonywania zadań sterowanych zdarzeniami.

job.trigger.przybycie_pliku

Type: Map

Konfiguracja aktywatora na bazie dostarczenia pliku.

zadanie.wyzwalacz.tabela

Type: Map

Konfiguracja wyzwalana na podstawie tabeli.

job.trigger.aktualizacja_tabeli

Type: Map

Konfiguracja wyzwalacza na podstawie aktualizacji tabeli.

praca.wyzwalacz.okresowy

Type: Map

Konfiguracja wyzwalacza okresowego.

job.powiadomienia_webhook

Type: Map

Ustawienia powiadomień webhook dla przebiegów zadań.

Examples

W poniższym przykładzie zdefiniowano zadanie z kluczem zasobu hello-job z jednym zadaniem w notatniku:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

W poniższym przykładzie zdefiniowano zadanie za pomocą notesu SQL:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Aby uzyskać dodatkowe przykłady konfiguracji zadań, zobacz Konfiguracja zadania.

Aby uzyskać informacje na temat definiowania zadań pracy i nadpisywania ustawień pracy, odwołaj się do:

• Dodawanie zadań do zadań w pakietach zasobów usługi Databricks
• Nadpisanie ustawień zadania

model (starsza wersja)

Type: Map

Zasób dotyczący modelu pozwala na definiowanie starszych modeli w pakietach. Usługa Databricks zaleca zamiast tego korzystanie z zarejestrowanych modeli w Katalogu Unity.

punkt_serwowania_modelu

Type: Map

Zasób model_serving_endpoint umożliwia zdefiniowanie modelu obsługującego punkty końcowe. Zobacz Zarządzanie modelem obsługującym punkty końcowe.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

punkt_koncowy_świadczenia_modelu.ai_brama

Type: Map

Konfiguracja bramy sztucznej inteligencji dla punktu końcowego obsługującego.

punkt_serwowania_modeli.ai_gateway.ograniczenia

Type: Map

Konfiguracja barier zabezpieczających bramy sztucznej inteligencji.

model_serving_endpoint.ai_gateway.inference_table_config

Type: Map

Konfiguracja rejestrowania inferencji w tabelach Unity Catalog.

punkt_końcowy_obsługi_modeli.brama_AI.konfiguracja_śledzenia_użycia

Type: Map

Konfiguracja bramy AI do monitorowania użytkowania.

model_serving_endpoint.config

Type: Map

Podstawowa konfiguracja punktu końcowego obsługującego.

model_serving_endpoint.config.konfiguracja_ruchu

Type: Map

Konfiguracja ruchu definiująca sposób kierowania wywołań do punktu końcowego obsługującego.

model_serving_endpoint.config.auto_capture_config (parametr konfiguracji automatycznego zbierania danych)

Type: Map

Konfiguracja tabel inferencyjnych, która automatycznie rejestruje żądania i odpowiedzi do Unity Catalog.

Example

W poniższym przykładzie zdefiniowano punkt końcowy serwowania modelu w Katalogu Unity.

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

przewód

Type: Map

Pipeline'y są obsługiwane w Pythonie dla pakietów zasobów Databricks. Zobacz databricks.bundles.pipelines.

Zasób potoku umożliwia tworzenie potoków. Aby uzyskać informacje o potokach, zobacz Lakeflow Spark Deklaratywne potoki. Aby zapoznać się z samouczkiem, który używa szablonu pakietów zasobów usługi Databricks do tworzenia potoku, zobacz Develop Lakeflow Spark Deklaratative Pipelines with Databricks Asset Bundles (Tworzenie potoków deklaratywnych platformy Spark w usłudze Lakeflow za pomocą pakietów zasobów usługi Databricks).

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

pipeline.wdrożenie

Type: Map

Konfiguracja typu wdrożenia dla potoku.

środowisko.potoku

Type: Map

Specyfikacja środowiska do instalowania zależności na obliczeniach bezserwerowych.

pipeline.dziennik_zdarzeń

Type: Map

Konfiguracja dziennika zdarzeń dla potoku.

pipeline.filters

Type: Map

Filtry określające, które pakiety potoków mają zostać uwzględnione na wdrożonym grafie.

pipeline.ingestion_definition

Type: Map

Konfiguracja zarządzanego potoku przetwarzania. Tych ustawień nie można używać z ustawieniami libraries, schema, targetlub catalog .

SchemaSpec

Type: Map

Specyfikacja obiektu schematu do pozyskiwania wszystkich tabel ze schematu.

Specyfikacja Tabeli

Type: Map

Specyfikacja obiektu tabeli do wczytywania określonej tabeli.

Specyfikacja Raportu

Type: Map

Specyfikacja obiektu raportu na potrzeby pobierania raportów analitycznych.

pipeline.ingestion_definition.source_configuration

Type: Map

Konfiguracja źródła.

rura.definicja_pobierania.konfiguracja_źródła.katalog

Type: Map

Parametry konfiguracji źródła na poziomie wykazu

pipeline.ingestion_definition.table_configuration

Type: Map

Opcje konfiguracji tabel do importu danych.

pipeline.biblioteki

Type: Sequence

Definiuje listę bibliotek lub kodu wymaganego przez tę ścieżkę.

Każdy element na liście jest definicją:

pipeline.biblioteki.plik

Type: Map

Ścieżka do pliku, który definiuje potok danych i jest przechowywany w repozytoriach Databricks.

pipeline.libraries.glob

Type: Map

Ujednolicone pole do uwzględnienia kodu źródłowego. Każdy wpis może być ścieżką notesu, ścieżką pliku lub ścieżką folderu, która kończy się /**. Tego pola nie można używać razem z notebook lub file.

pipeline.biblioteki.notatnik

Type: Map

Ścieżka do notesu, który definiuje potok i jest przechowywany w obszarze roboczym usługi Databricks.

Example

W poniższym przykładzie zdefiniowano rurkę o kluczu zasobu hello-pipeline:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Aby zapoznać się z dodatkowymi przykładami konfiguracji potoku, zobacz Konfiguracja potoku.

quality_monitor (wykaz aparatu Unity)

Type: Map

Zasób quality_monitor umożliwia zdefiniowanie monitora tabeli Unity Catalog. Aby uzyskać informacje o monitorach, zobacz Profilowanie danych.

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

quality_monitor.metryki_niestandardowe

Type: Sequence

Lista niestandardowych definicji metryk.

Każdy element na liście to CustomMetric:

monitor_jakości.konfiguracja_klasyfikacji_danych

Type: Map

Konfiguracja klasyfikacji danych.

quality_monitor.inference_log

Type: Map

Konfiguracja monitorowania dzienników wnioskowania.

powiadomienia_monitor_jakości

Type: Map

Ustawienia powiadomień dla monitora.

quality_monitor.notifications.on_failure

Type: Map

Ustawienia powiadomień, kiedy monitor ulegnie awarii.

monitor_jakości.powiadomienia.wykryto_nowy_tag_klasyfikacyjny

Type: Map

Ustawienia powiadomień po wykryciu nowych tagów klasyfikacji.

harmonogram_monitorowania_jakości

Type: Map

Zaplanuj automatyczne aktualizowanie i odświeżanie tabel metryk.

quality_monitor.migawka

Type: Map

Konfiguracja do monitorowania tabel migawek.

monitor_jakości.szereg_czasowy

Konfiguracja monitorowania tabel szeregów czasowych.

Examples

Pełny przykładowy pakiet, który definiuje element quality_monitor, zobacz pakiet mlops_demo.

W poniższych przykładach zdefiniowano monitory jakości dla InferenceLog, TimeSeriesi typy profilów migawki.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

registered_model (wykaz aparatu Unity)

Type: Map

Zasób zarejestrowanego modelu umożliwia definiowanie modeli w katalogu Unity. Aby uzyskać informacje na temat modeli zarejestrowanych w katalogu Unity, zobacz Zarządzanie cyklem życia modelu w katalogu Unity.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

aliasy_zarejestrowanego_modelu (registered_model.aliases)

Type: Sequence

Lista aliasów skojarzonych z zarejestrowanym modelem.

Każdy element na liście to Alias:

Example

W poniższym przykładzie zdefiniowano zarejestrowany model w katalogu Unity.

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

schemat (Unity Catalog)

Type: Map

Schematy są obsługiwane w języku Python dla pakietów zasobów usługi Databricks. Zobacz databricks.bundles.schemas.

Typ zasobu schematu umożliwia zdefiniowanie schematów Unity Catalog dla tabel i innych zasobów w przepływach pracy i potokach tworzonych w ramach pakietu. Schemat, inny niż inne typy zasobów, ma następujące ograniczenia:

• Właściciel zasobu schematu jest zawsze użytkownikiem wdrożenia i nie można go zmienić. Jeśli run_as zostanie określony w pakiecie, zostanie on zignorowany przez operacje w schemacie.
• Dla zasobu schematu są dostępne tylko pola obsługiwane przez odpowiedni obiekt Schemas create API. Na przykład enable_predictive_optimization nie jest obsługiwany, ponieważ jest dostępny tylko w aktualizacji API .

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Examples

W poniższym przykładzie zdefiniowano potok z kluczem zasobu my_pipeline, który tworzy schemat Unity Catalog z kluczem my_schema jako element docelowy.

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Mapowanie uprawnień najwyższego poziomu nie jest obsługiwane przez pakiety zasobów usługi Databricks, więc jeśli chcesz ustawić uprawnienia dla schematu, zdefiniuj uprawnienia dla schematu w ramach mapowania schemas. Aby uzyskać więcej informacji na temat uprawnień, zobacz Pokazywanie, przyznawanie i cofanie przywilejów.

W poniższym przykładzie zdefiniowano schemat Unity Catalog z grantami.

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

sekret_zakres

Type: Map

Zasób secret_scope umożliwia definiowanie tajnych zakresów w pakiecie. Aby uzyskać informacje o zakresach wpisów tajnych, zobacz Zarządzanie wpisami tajnymi.

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

secret_scope.keyvault_metadata

Type: Map

Metadane dla zakresów tajnych kluczy opartych na Azure Key Vault.

Examples

W poniższym przykładzie zdefiniowano zakres wpisów tajnych, który używa zaplecza magazynu kluczy:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

W poniższym przykładzie skonfigurowano niestandardową listę ACL przy użyciu zakresów sekretów i zezwoleń.

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Aby zobaczyć przykładowy pakiet, który pokazuje, jak zdefiniować zakres tajny oraz zadanie, które odczytuje z niego, przejdź do repozytorium GitHub bundle-examples.

sql_warehouse

Type: Map

Zasób usługi SQL Warehouse umożliwia zdefiniowanie magazynu SQL Warehouse w pakiecie. Aby uzyskać informacje na temat magazynów SQL, zobacz Magazynowanie danych w usłudze Azure Databricks.

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

sql_warehouse.channel

Type: Map

Konfiguracja kanału dla usługi SQL Warehouse.

Example

W poniższym przykładzie zdefiniowano usługę SQL Warehouse:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO

zsynchronizowana_tabela_bazy_danych

Type: Map

Zsynchronizowany zasób tabeli bazy danych umożliwia definiowanie tabel bazy danych Lakebase w pakiecie.

Aby uzyskać informacje o zsynchronizowanych tabelach bazy danych, zobacz Co to jest wystąpienie bazy danych?.

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

synced_database_table.spec

Type: Map

Specyfikacja tabeli bazy danych.

synced_database_table.spec.new_pipeline_spec

Type: Map

Specyfikacja potoku danych wykorzystywanego przez zsynchronizowaną tabelę bazy danych.

Examples

W poniższym przykładzie zdefiniowano zsynchronizowaną tabelę bazy danych w odpowiednim wykazie baz danych:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

W poniższym przykładzie zdefiniowano zsynchronizowaną tabelę bazy danych wewnątrz wykazu standardowego:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

W tym przykładzie tworzona jest zsynchronizowana tabela bazy danych, a także dostosowywany jest harmonogram potoku. Przyjęto założenie, że masz już:

• Wystąpienie bazy danych o nazwie my-database-instance
• Wykaz standardowy o nazwie my_standard_catalog
• Schemat w wykazie standardowym o nazwie default
• Źródłowa tabela delta o nazwie source_delta.schema.customer z kluczem podstawowym c_custkey

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

wolumin (Unity Catalog)

Type: Map

Woluminy są obsługiwane w języku Python dla pakietów zasobów usługi Databricks. Zobacz databricks.bundles.volumes.

Typ zasobu woluminu umożliwia definiowanie i tworzenie woluminów w Unity Catalog jako część pakietu. Podczas wdrażania pakietu z zdefiniowanym woluminem należy pamiętać, że:

• Nie można odwołać się do woluminu w artifact_path dla pakietu, dopóki nie będzie on istniał w obszarze roboczym. W związku z tym, jeśli chcesz użyć pakietów zasobów usługi Databricks do utworzenia woluminu, musisz najpierw zdefiniować wolumin w pakiecie, wdrożyć go w celu utworzenia woluminu, a następnie odwołać się do niego w artifact_path w kolejnych wdrożeniach.
• Woluminy w pakiecie nie są poprzedzone prefiksem dev_${workspace.current_user.short_name}, jeśli cel wdrożenia ma skonfigurowany mode: development. Można jednak ręcznie skonfigurować ten prefiks. Zobacz Niestandardowe ustawienia wstępne.

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Example

Poniższy przykład tworzy wolumin Unity Catalog o kluczu my_volume_id:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Przykładowy pakiet uruchamiający zadanie, które zapisuje do pliku w woluminie Unity Catalog, można znaleźć w repozytorium GitHub bundle-examples.

Typowe obiekty

dotacja

Type: Map

Definiuje główną jednostkę oraz przywileje, które mają być jej przyznane. Aby uzyskać więcej informacji na temat uprawnień, zobacz Pokazywanie, przyznawanie i cofanie przywilejów.

Example

W poniższym przykładzie zdefiniowano schemat Unity Catalog z grantami.

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

cykl życia

Type: Map

Zawiera ustawienia cyklu życia zasobu. Steruje zachowaniem zasobu podczas wdrażania lub zniszczenia.