Databricks admiten ciclos de vida

Como parte del compromiso de Azure Databricks con la innovación, las características de plataforma y tiempo de ejecución se pueden retirar y reemplazar por nuevas características. Las versiones de Databricks Runtime también se retiran y reemplazan según una programación normal. En esta página se enumeran las fases de retirada y los detalles sobre la compatibilidad correspondiente con las características de la plataforma y las versiones de Databricks Runtime. También incluye consultas SQL para detectar clústeres y trabajos mediante versiones heredadas de Databricks Runtime.

Para más información sobre las versiones preliminares y los tipos de versión, consulta Versiones preliminares de Azure Databricks.

Ciclo de vida de las características de la plataforma

Las fases de retirada de características de la plataforma Azure Databricks se describen en la tabla siguiente:

Ciclos de vida del soporte técnico de Databricks Runtime

En las tablas siguientes se describen las fases de compatibilidad y directivas de soporte técnico para las versiones de Databricks Runtime. Azure Databricks publica entornos de ejecución como versiones Beta y GA. Azure Databricks ofrece soporte técnico para las versiones GA durante seis meses, a menos que la versión del entorno de ejecución sea de soporte técnico a largo plazo (LTS). Para obtener información sobre las versiones de Databricks Runtime compatibles, consulta las notas de la versión de Databricks Runtime versiones y compatibilidad.

Las cargas de trabajo en versiones de Databricks Runtime sin soporte técnico podrían seguir ejecutándose, pero Azure Databricks no proporciona soporte ni correcciones.

Ciclo de vida de la versión de Databricks Runtime LTS

Ciclo de vida de la versión de Databricks Runtime no LTS

Detección de qué clústeres usan versiones heredadas de Databricks Runtime

Esta vista temporal proporciona un resumen del uso del clúster de Databricks Runtime para clústeres que ejecutan databricks Runtime versiones 10.4 o anteriores. Agrega el uso de los últimos 90 días e incluye información del espacio de trabajo, identificadores de clúster, versiones de Databricks Runtime, unidades de uso y uso total en unidades de Databricks (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Para ver el uso heredado de Databricks Runtime por clúster, consulte la vista recién creada.

SELECT * FROM legacy_dbrs;

Para ver el uso agregado del clúster entre áreas de trabajo y versiones de Databricks Runtime, use la consulta siguiente. Esto ayuda a identificar qué versiones de Databricks Runtime todavía están en uso, el número de clústeres que ejecutan cada versión y el uso total en las DTU.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Detección de los trabajos que usan versiones heredadas de Databricks Runtime

Use esta consulta para recuperar todos los trabajos que se han ejecutado en los últimos 90 días en los que la ejecución más reciente usó una versión de Databricks Runtime anterior a la 10.4. Esto ayuda a identificar las cargas de trabajo que requieren la actualización.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'