ターゲット設定でオーバーライドする

このページでは、Databricks アセット バンドルのターゲット設定で最上位の設定をオーバーライドまたは結合する方法について説明します。 バンドル設定の詳細については、「 Databricks Asset Bundle の構成」を参照してください。

アーティファクト設定のオーバーライド

最上位レベルの artifacts マッピングの成果物設定を、 targets マッピングの成果物設定でオーバーライドできます。次に例を示します。

# ...
artifacts:
  <some-unique-programmatic-identifier-for-this-artifact>:
    # Artifact settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    artifacts:
      <the-matching-programmatic-identifier-for-this-artifact>:
        # Any more artifact settings to join with the settings from the
        # matching top-level artifacts mapping.

最上位レベルの artifacts マッピングと同じアーティファクトの targets マッピングの両方でアーティファクト設定が定義されている場合は、 targets マッピングの設定が最上位レベルの artifacts マッピングの設定よりも優先されます。

例 1: 最上位の成果物マッピングでのみ定義された成果物の設定

これが実際にどのように機能するかを示すために、次の例では、成果物のすべての設定を定義する最上位レベルのpath マッピングでartifactsが定義されています。

# ...
artifacts:
  my-artifact:
    type: whl
    path: ./my_package
# ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "artifacts": {
    "my-artifact": {
      "type": "whl",
      "path": "./my_package",
      "...": "..."
    }
  },
  "...": "..."
}

例 2: 複数の成果物マッピングで定義されたアーティファクト設定の競合

この例では、pathは最上位レベルのartifacts マッピングとartifactsのtargets マッピングの両方で定義されています。 この例では、path のartifacts マッピングのtargetsは、最上位レベルのpath マッピングのartifactsよりも優先され、成果物の設定を定義します。

# ...
artifacts:
  my-artifact:
    type: whl
    path: ./my_package

targets:
  dev:
    artifacts:
      my-artifact:
        path: ./my_other_package
    # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "artifacts": {
    "my-artifact": {
      "type": "whl",
      "path": "./my_other_package",
      "...": "..."
    }
  },
  "...": "..."
}

クラスター設定のオーバーライド

ターゲットのジョブまたはパイプライン クラスターの設定を上書きまたは結合することができます。

ジョブの場合は、ジョブ定義内の job_cluster_key を使用して、最上位レベルの resources マッピングのジョブ クラスター設定を特定し、 targets マッピングのジョブ クラスター設定と結合します。

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      job_clusters:
        - job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
          new_cluster:
            # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          job_clusters:
            - job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level job_cluster_key.
          # ...

同じresourcesの最上位targetsマッピングとjob_cluster_keyマッピングの両方でクラスター設定が定義されている場合は、targetsマッピングの設定が最上位resourcesマッピングの設定よりも優先されます。

Lakeflow Spark 宣言型パイプラインの場合は、パイプライン定義のクラスター設定内の label を使用して、最上位レベルの resources マッピングのクラスター設定を識別し、 targets マッピングのクラスター設定と結合します。次に例を示します。

# ...
resources:
  pipelines:
    <some-unique-programmatic-identifier-for-this-pipeline>:
      # ...
      clusters:
        - label: default | maintenance
          # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      pipelines:
        <the-matching-programmatic-identifier-for-this-pipeline>:
          # ...
          clusters:
            - label: default | maintenance
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level label.
          # ...

同じresourcesの最上位targetsマッピングとlabelマッピングの両方でクラスター設定が定義されている場合は、targetsマッピングの設定が最上位resourcesマッピングの設定よりも優先されます。

例 1: 複数のリソース マッピングで定義され、設定の競合がない新しいジョブ クラスター設定

この例では、最上位レベルのspark_version マッピングのresourcesをnode_type_idとnum_workersのresources マッピングのtargetsと組み合わせて、job_cluster_keyという名前のmy-clusterの設定を定義します。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

例 2: 複数のリソース マッピングで定義された新しいジョブ クラスター設定の競合

この例では、spark_versionとnum_workersは、最上位レベルのresources マッピングと、resourcesのtargets マッピングの両方で定義されています。 この例では、spark_versionのnum_workers マッピングのresourcesとtargetsは、最上位レベルのspark_version マッピングのnum_workersとresourcesよりも優先され、job_cluster_keyという名前のmy-clusterの設定を定義します。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

例 3: 複数のリソース マッピングで定義され、設定の競合がないパイプライン クラスター設定

この例では、最上位レベルのnode_type_id マッピングのresourcesをnum_workersのresources マッピングのtargetsと組み合わせて、labelという名前のdefaultの設定を定義します。

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 1
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 1
          }
        ],
        "...": "..."
      }
    }
  }
}

例 4: 複数のリソース マッピングで定義されたパイプライン クラスター設定の競合

この例では、num_workersは最上位レベルのresources マッピングとresourcesのtargets マッピングの両方で定義されています。 num_workers resourcesのtargetsマッピングが、トップレベルのnum_workersマッピングのresourcesよりも優先され、labelというdefaultの設定を定義します。

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2
          num_workers: 1

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 2
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 2
          }
        ],
        "...": "..."
      }
    }
  }
}

ジョブタスク設定のオーバーライド

ジョブ定義内の tasks マッピングを使用して、最上位レベルの resources マッピングのジョブ タスク設定を、 targets マッピング内のジョブ タスク設定と結合できます。次に例を示します。

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      tasks:
        - task_key: <some-unique-programmatic-identifier-for-this-task>
          # Task settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          tasks:
            - task_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more task settings to join with the settings from the
              # resources mapping for the matching top-level task_key.
          # ...

最上位レベルの resources マッピングと同じタスクの targets マッピングを結合するには、タスク マッピングの task_key を同じ値に設定する必要があります。

同じresourcesの最上位targetsマッピングとtaskマッピングの両方でジョブ タスク設定が定義されている場合は、targets マッピングの設定が最上位resourcesマッピングの設定よりも優先されます。

例 1: 複数のリソース マッピングで定義され、設定の競合がないジョブ タスクの設定

この例では、最上位レベルのspark_version マッピングのresourcesをnode_type_idとnum_workersのresources マッピングのtargetsと組み合わせて、task_keyという名前のmy-taskの設定を定義します。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-key
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります (簡潔にするために省略記号は省略された内容を示します)。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            },
            "task-key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}

例 2: 複数のリソース マッピングで定義されたジョブ タスク設定の競合

この例では、spark_versionとnum_workersは、最上位レベルのresources マッピングと、resourcesのtargets マッピングの両方で定義されています。 spark_version num_workersのresourcesマッピングのtargetsは、最上位レベルのspark_versionマッピングのnum_workersとresourcesよりも優先されます。 これにより、task_keyという名前のmy-taskの設定が定義されます (簡潔にするために省略記号は省略されたコンテンツを示します)。

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-task
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

この例の databricks bundle validate を実行すると、結果のグラフは次のようになります。

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            },
            "task_key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}