동적 값 참조란?

동적 값 참조는 작업 및 태스크를 구성할 때 사용할 수 있는 변수 컬렉션을 설명합니다. 동적 값 참조를 사용하여 작업에 대한 조건문을 구성하거나 정보를 매개 변수 또는 인수로 전달합니다.

동적 값 참조에는 다음과 같은 정보가 포함됩니다.

• 작업 이름, 작업 이름 및 트리거 유형을 포함하여 작업에 대해 구성된 값입니다.
• 작업 ID, 실행 ID 및 작업 실행 시작 시간을 포함하여 작업에 대한 메타데이터를 생성했습니다.
• 작업이 실행한 복구 시도 또는 재시도 횟수에 대한 정보입니다.
• 지정된 작업의 결과 상태입니다.
• 작업 매개 변수, 태스크 매개 변수, 또는 태스크 값을 사용하여 구성 및 설정된 값입니다.

동적 값 참조 사용

작업 또는 태스크를 구성할 때 동적 값 참조를 사용합니다. Notebook, 쿼리 또는 JAR과 같은 작업을 사용하여 구성된 자산에서 동적 값 참조를 직접 참조할 수 없습니다. 동적 값 참조는 컨텍스트를 작업에 전달하는 매개 변수 또는 필드를 사용하여 정의해야 합니다.

동적 값 참조는 이중 중괄호({{ }})를 사용합니다. 작업 또는 태스크가 실행되면 문자열 리터럴이 동적 값 참조를 대체합니다. 예를 들어 다음 키-값 쌍을 작업 매개 변수로 구성하는 경우

{"job_run_id": "job_{{job.run_id}}"}

실행 ID가 550315892394120이면 job_run_id의 값이 job_550315892394120로 평가됩니다.

작업 UI에서 동적 값 참조 사용

동적 값 참조를 허용하는 필드는 사용 가능한 동적 값 참조를 삽입하는 바로 가기를 제공합니다. {}을(를) 클릭하여 이 목록을 보고 제공된 필드에 삽입합니다.

작업 JSON에서 동적 값 참조 사용

구문을 사용하여 {{ }} Databricks CLI 및 REST API에서 사용하는 작업 JSON 정의에서 동적 값을 사용합니다.

작업 및 작업 매개 변수는 구문이 다르며 작업 매개 변수 구문은 작업 유형에 따라 다릅니다.

다음 예제에서는 동적 값 참조를 사용하여 작업 매개 변수를 구성하는 부분 JSON 구문을 보여 줍니다.

{
  "parameters": [
    {
      "name": "my_job_id",
      "default": "{{job.id}}"
    },
    {
      "name": "run_date",
      "default": "{{job.start_time.iso_date}}"
    }
  ]
}

다음 예제에서는 동적 값 참조를 사용하여 Notebook 작업 매개 변수를 구성하는 부분 JSON 구문을 보여줍니다.

{
  "notebook_task": {
    "base_parameters": {
      "workspace_id": "workspace_{{workspace.id}}",
      "file_arrival_location": "{{job.trigger.file_arrival.location}}"
    }
  }
}

작업 실행에 대한 매개 변수 검토

작업이 완료되면 실행 세부 정보 페이지의 매개 변수 아래에서 확인된 매개 변수 값을 볼 수 있습니다. 작업 실행 세부 정보 보기를 참조하세요.

지원되는 값 참조

지원되는 동적 값 참조는 다음과 같습니다.

모든 작업에서 이러한 참조를 설정할 수 있습니다. 태스크 매개 변수 구성을 참조하세요. 백필 매개 변수는 백필 작업을 만들 때만 사용할 수 있습니다.

작업 값이 있는 작업의 작업 간에 매개 변수를 전달할 수도 있습니다. 작업 값을 사용하여 작업간에 정보를 전달하는 방법을 참조하십시오.

날짜 및 시간 값에 대한 옵션

다음 인수를 사용하여 시간 기반 매개 변수 변수의 반환 값을 지정합니다. 모든 반환 값은 UTC 표준 시간대의 타임스탬프를 기반으로 합니다.

SQL 출력 옵션

동적 값을 사용하여 업스트림 SQL 태스크의 출력에 액세스할 수 있습니다.

예를 들어 다음 SQL을 사용하여 호출 sales_by_year 된 SQL 작업이 있는 경우 최종 SELECT 문을 기반으로 출력을 만듭니다.

-- Generate example data
CREATE OR REPLACE TEMP VIEW example_sales AS
SELECT * FROM VALUES
  (2020, 12),
  (2021, 23),
  (2022, 47),
  (2023, 15),
  (2024, 22)
AS example_sales(sales_year, num_sales);

-- Query example data
SELECT sales_year, num_sales FROM example_sales;

{{tasks.<task_name>.output.<argument>}} 동적 값을 사용하여 작업 구성을 만들어 다운스트림 작업에서 출력을 참조할 수 있습니다.

작업에서 For each 행은 중첩된 작업으로 반복적으로 전송됩니다. 이 예제에서는 작업의 For each을 중첩된 {{tasks.sales_by_year.output.rows}} 작업에 설정하면, {{input.<column_alias>}} 구문을 통해 각 행의 값을 매개 변수로 반복적으로 보낼 수 있습니다. 중첩된 작업 구성에서 year:{{input.sales_year}} 및 sales:{{input.num_sales}}의 키-값 쌍을 사용하여 두 개의 매개 변수를 만들 수 있습니다. 중첩된 작업이 SQL 작업이라고 가정하면 다음과 같은 쿼리를 사용하여 코드의 값을 참조할 수 있습니다.

-- Example: access data from previous query:
SELECT concat('In ', :year, ' we had ', :sales, ' sales.')

For each 작업 및 해당 중첩 작업에 대한 자세한 내용은 For each 작업을 사용하여 루프에서 다른 작업을 실행하는 방법을 참조하십시오.

더 이상 사용이 권장되지 않는 동적 값 참조

다음 동적 값 참조는 더 이상 사용되지 않습니다. 권장되는 대체 참조는 각 변수에 대한 설명에 포함됩니다.