Databricks サポート ライフサイクル

イノベーションに対する Azure Databricks のコミットメントの一環として、プラットフォームとランタイムの機能は廃止され、新機能に置き換えられる可能性があります。 Databricks Runtime リリースも廃止され、通常のスケジュールで置き換えられます。 このページでは、提供終了フェーズと、プラットフォーム機能と Databricks Runtime リリースの対応するサポートの詳細を示します。 また、従来の Databricks ランタイム バージョンを使用してクラスターとジョブを検出する SQL クエリも含まれています。

プレビューとリリースの種類については、「Azure Databricks プレビュー リリース」を参照してください。

プラットフォーム機能のライフサイクル

Azure Databricks プラットフォーム機能の提供終了フェーズについては、次の表で説明します。

Databricks Runtime のサポート ライフサイクル

次の表では、Databricks Runtime バージョンのサポート ポリシーとサポート ポリシーのステージについて説明します。 Azure Databricks では、ベータ版と GA バージョンとしてランタイムをリリースしています。 Azure Databricks では、ランタイム バージョンが長期サポート (LTS) でない限り、6 か月間 GA バージョンをサポートします。 サポートされている Databricks Runtime のバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

サポートされていない Databricks Runtime バージョンのワークロードは引き続き実行される場合もありますが、Azure Databricks ではサポートや修正プログラムは提供されません。

Databricks Runtime LTS バージョンのライフサイクル

Databricks Runtime 非 LTS バージョンのライフサイクル

従来の Databricks ランタイム バージョンを使用しているクラスターを検出する

この一時ビューでは、Databricks Runtime バージョン 10.4 以前を実行しているクラスターに対する Databricks Runtime クラスターの使用状況の概要が表示されます。 過去 90 日間の使用状況が集計され、ワークスペース情報、クラスター識別子、Databricks Runtime のバージョン、使用状況ユニット、Databricks ユニット (DBU) の合計使用量が含まれます。

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

クラスターごとの従来の Databricks ランタイムの使用状況を確認するには、先ほど作成したビューに対してクエリを実行します。

SELECT * FROM legacy_dbrs;

ワークスペースと Databricks Runtime のバージョン間で集計されたクラスターの使用状況を確認するには、次のクエリを使用します。 これにより、どの Databricks Runtime バージョンがまだ使用されているか、各バージョンを実行しているクラスターの数、DBU の合計使用量を特定するのに役立ちます。

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

従来の Databricks ランタイム バージョンを使用しているジョブを検出する

このクエリを使用して、最新の実行で 10.4 より前のバージョンの Databricks Runtime が使用された過去 90 日間に実行されたすべてのジョブを取得します。 これは、アップグレードが必要なワークロードを特定するのに役立ちます。

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'