Databricks-Supportlebenszyklen

Als Teil des Engagements von Azure Databricks für Innovation, Plattform- und Laufzeitfeatures werden möglicherweise eingestellt und durch neue Features ersetzt. Databricks Runtime-Versionen werden ebenfalls in regelmäßigen Abständen eingestellt und ersetzt. Auf dieser Seite werden die Auslaufphasen und Details zur entsprechenden Unterstützung für Plattformfeatures und Databricks-Runtime-Versionen aufgeführt. Es enthält auch SQL-Abfragen zum Erkennen von Clustern und Aufträgen mit älteren Databricks-Runtime-Versionen.

Informationen zu Vorschauen und Versionstypen finden Sie unter Azure Databricks Vorschau-Versionen.

Lebenszyklus von Plattform-Features

Die Einstellungsphase der Azure Databricks-Plattform-Features wird in der folgenden Tabelle beschrieben:

Supportlebenszyklus für Databricks Runtime

In den nachfolgenden Tabellen werden die Phasen der Support- und Supportrichtlinien für Databricks-Runtime-Versionen beschrieben. Azure Databricks veröffentlicht Runtimes als Betaversionen und allgemein verfügbare Versionen. Azure Databricks bietet sechs Monate lang Support für allgemein verfügbare Versionen, es sei denn, die Runtimeversion ist eine Version mit langfristigem Support (LTS). Informationen zu unterstützten Databricks Runtime-Versionen finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Workloads, die auf nicht unterstützten Databricks Runtime-Versionen basieren, werden möglicherweise weiterhin ausgeführt. Für diese bietet Azure Databricks jedoch keinen Support und keine Fixes an.

Databricks Runtime LTS-Versionslebenszyklus

Databricks Runtime Nicht-LTS-Versionslebenszyklus

Ermitteln, welche Cluster ältere Databricks-Runtime-Versionen verwenden

Diese temporäre Ansicht enthält eine Zusammenfassung der Datenbricks-Runtime-Clusterverwendung für Cluster, die Databricks-Runtime-Versionen 10.4 oder früher ausführen. Sie aggregiert die Nutzung in den letzten 90 Tagen und umfasst Arbeitsbereichsinformationen, Cluster-IDs, Databricks-Runtime-Versionen, Verwendungseinheiten und gesamter Einsatz in Databricks Units (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Um die Legacy-Databricks-Laufzeitnutzung pro Cluster anzuzeigen, fragen Sie die soeben erstellte Ansicht ab.

SELECT * FROM legacy_dbrs;

Verwenden Sie die folgende Abfrage, um die aggregierte Clusternutzung für Arbeitsbereiche und Databricks-Runtime-Versionen anzuzeigen. Auf diese Weise können Sie ermitteln, welche Databricks-Runtime-Versionen noch verwendet werden, die Anzahl der Cluster, die jede Version ausführen, und die Gesamtnutzung in DBUs.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Ermitteln, welche Aufträge ältere Databricks-Runtime-Versionen verwenden

Verwenden Sie diese Abfrage, um alle Aufträge abzurufen, die in den letzten 90 Tagen ausgeführt wurden, in denen die letzte Ausführung eine Databricks-Runtime-Version vor 10.4 verwendet hat. Dadurch können Arbeitslasten identifiziert werden, die ein Upgrade erfordern.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'