Databricks prend en charge les cycles de vie

Dans le cadre de l’engagement d’Azure Databricks en matière d’innovation, les fonctionnalités de plateforme et d’exécution peuvent être supprimées et remplacées par de nouvelles fonctionnalités. Les versions de Databricks Runtime sont également supprimées et remplacées selon une planification régulière. Cette page répertorie les phases de mise hors service et les détails relatifs à la prise en charge correspondante des fonctionnalités de plateforme et des versions de Databricks Runtime. Il inclut également des requêtes SQL pour détecter des clusters et des travaux à l’aide des versions héritées de Databricks Runtime.

Pour plus d’informations sur les préversions et les types de versions, consultez les préversions d’Azure Databricks.

Cycle de vie des fonctionnalités de la plateforme

Les phases de mise hors service des fonctionnalités de la plateforme Azure Databricks sont décrites dans le tableau suivant :

Cycles de vie de la prise en charge de Databricks Runtime

Les tableaux suivants décrivent les étapes de prise en charge et de stratégies de prise en charge pour les versions de Databricks Runtime. Azure Databricks publie les runtimes en versions bêta et GA. Azure Databricks prend en charge les versions GA pendant six mois, sauf si la version d'exécution est une version de support à long terme (LTS). Pour plus d’informations sur les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les charges de travail sur les versions Databricks Runtime non prises en charge peuvent continuer à s’exécuter, mais Azure Databricks ne fournit ni prise en charge ni correctifs.

Cycle de vie de la version Databricks Runtime LTS

Cycle de vie de la version de Databricks Runtime Non-LTS

Détecter les clusters qui utilisent les versions héritées de Databricks Runtime

Cette vue temporaire fournit un résumé de l’utilisation du cluster Databricks Runtime pour les clusters exécutant Databricks Runtime versions 10.4 ou antérieures. Il agrège l’utilisation au cours des 90 derniers jours et inclut les informations de l’espace de travail, les identificateurs de cluster, les versions de Databricks Runtime, les unités d’utilisation, et l’utilisation totale en unités Databricks (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Pour voir l’utilisation héritée de Databricks Runtime par cluster, interrogez la vue qui vient d’être créée.

SELECT * FROM legacy_dbrs;

Pour afficher l’utilisation agrégée du cluster entre les espaces de travail et les versions databricks Runtime, utilisez la requête suivante. Cela permet d’identifier les versions de Databricks Runtime qui sont toujours en cours d’utilisation, le nombre de clusters exécutant chaque version et l’utilisation totale dans les unités de base de données.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Détecter les travaux qui utilisent les versions héritées de Databricks Runtime

Utilisez cette requête pour récupérer tous les travaux qui ont été exécutés au cours des 90 derniers jours où l’exécution la plus récente a utilisé une version databricks Runtime antérieure à 10.4. Cela permet d’identifier les charges de travail qui nécessitent une mise à niveau.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'