Databricks의 지원 수명 주기

혁신, 플랫폼 및 런타임 기능에 대한 Azure Databricks의 노력의 일환으로 사용 중지되고 새로운 기능으로 대체될 수 있습니다. Databricks Runtime 릴리스도 정기적으로 사용 중지되고 대체됩니다. 이 페이지에는 사용 중지 단계와 플랫폼 기능 및 Databricks 런타임 릴리스에 대한 해당 지원에 대한 세부 정보가 나열되어 있습니다. 또한 레거시 Databricks 런타임 버전을 사용하여 클러스터 및 작업을 검색하는 SQL 쿼리도 포함됩니다.

미리 보기 및 릴리스 유형에 대한 자세한 내용은 Azure Databricks 미리 보기 릴리스를 참조하세요.

플랫폼 기능 수명 주기

Azure Databricks 플랫폼 기능 사용 중지 단계는 다음 표에 설명되어 있습니다.

Databricks Runtime 지원 수명 주기

다음 표에서는 Databricks 런타임 버전에 대한 지원 및 지원 정책의 단계를 설명합니다. Azure Databricks는 런타임을 베타 및 GA 버전으로 릴리스합니다. Azure Databricks는 LTS(Long-Term Support) 버전인 경우를 제외하고 GA 버전을 6개월 동안 지원합니다. 지원되는 Databricks Runtime 버전에 대한 자세한 내용은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

지원되지 않는 Databricks Runtime 버전에서 워크로드는 계속 실행될 수 있지만 Azure Databricks는 지원이나 수정을 제공하지 않습니다.

Databricks Runtime LTS 버전 수명 주기

Databricks Runtime 비-LTS 버전 수명 주기

레거시 Databricks 런타임 버전을 사용하는 클러스터 검색

이 임시 보기는 Databricks 런타임 버전 10.4 이하를 실행하는 클러스터에 대한 Databricks 런타임 클러스터 사용량에 대한 요약을 제공합니다. 지난 90일 동안의 사용량을 집계하고 작업 영역 정보, 클러스터 식별자, Databricks 런타임 버전, 사용 단위 및 DTU(Databricks 단위)의 총 사용량을 포함합니다.

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

클러스터당 레거시 Databricks 런타임 사용량을 보려면 방금 만든 뷰를 쿼리합니다.

SELECT * FROM legacy_dbrs;

작업 영역 및 Databricks 런타임 버전에서 집계된 클러스터 사용량을 보려면 다음 쿼리를 사용합니다. 이렇게 하면 여전히 사용 중인 Databricks 런타임 버전, 각 버전을 실행하는 클러스터 수 및 DPU의 총 사용량을 식별할 수 있습니다.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

레거시 Databricks 런타임 버전을 사용하는 작업을 확인

이 쿼리를 사용하여 최근 실행에서 10.4 이전의 Databricks 런타임 버전을 사용한 지난 90일 동안 실행된 모든 작업을 검색합니다. 이렇게 하면 업그레이드가 필요한 워크로드를 식별할 수 있습니다.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'