Os Databricks suportam ciclos de vida

Como parte do compromisso do Azure Databricks com a inovação, os recursos de plataforma e tempo de execução podem ser desativados e substituídos por novos recursos. As versões do Databricks Runtime também são desativadas e substituídas em um cronograma regular. Esta página lista as fases de aposentação e detalhes sobre o suporte correspondente para funcionalidades da plataforma e os lançamentos do Databricks Runtime. Inclui também consultas SQL para detetar clusters e trabalhos usando versões legadas do Databricks Runtime.

Para obter informações sobre visualizações e tipos de versão, consulte Versões de visualização do Azure Databricks.

Ciclo de vida dos recursos da plataforma

As fases de desativação do recurso da plataforma Azure Databricks são descritas na tabela a seguir:

Ciclos de vida de suporte ao Databricks Runtime

As tabelas a seguir descrevem os estágios e as políticas de suporte para as versões do Databricks Runtime. O Azure Databricks libera tempos de execução como versões Beta e GA. O Azure Databricks dá suporte a versões GA por seis meses, a menos que a versão de tempo de execução seja uma versão LTS (suporte de longo prazo). Para obter informações sobre as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As cargas de trabalho em versões de tempo de execução do Databricks sem suporte podem continuar a ser executadas, mas o Azure Databricks não fornece suporte ou correções.

Ciclo de vida da versão do Databricks Runtime LTS

Ciclo de vida da versão não-LTS do Databricks Runtime

Detetar quais clusters estão a usar versões antigas do Databricks Runtime

Esta vista temporária fornece um resumo da utilização do clusters Databricks Runtime para clusters que executam versões 10.4 ou anteriores do Databricks Runtime. Agrega a utilização dos últimos 90 dias e inclui informações de espaços de trabalho, identificadores de cluster, versões do Databricks Runtime, unidades de utilização, e a utilização total em Unidades Databricks (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Para ver a utilização do tempo de execução legada do Databricks por cluster, consulte a visão que acabou de ser criada.

SELECT * FROM legacy_dbrs;

Para ver a utilização agregada do cluster entre espaços de trabalho e versões do Databricks Runtime, utilize a seguinte consulta. Isto ajuda a identificar quais as versões do Databricks Runtime que ainda estão em uso, o número de clusters a executar cada versão e o total de utilização nas DBUs.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Detectar quais trabalhos estão a utilizar versões legadas do Databricks Runtime

Use esta consulta para recuperar todos os trabalhos que foram executados nos últimos 90 dias em que a execução mais recente utilizou uma versão Databricks Runtime anterior à 10.4. Isto ajuda a identificar cargas de trabalho que precisam de atualização.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'