Referência de tabelas do sistema de computação

Este artigo fornece um guia de referência para as tabelas do sistema de computação. Você pode usar essas tabelas para monitorar a atividade e as métricas de computação sem servidor, computação de trabalhos e computação do Lakeflow Spark Declarative Pipelines em sua conta. As tabelas de computação incluem:

• clusters: registra as configurações de computação em sua conta.
• node_types: inclui um só registro para cada um dos tipos de nó disponíveis no momento, incluindo informações de hardware.
• node_timeline: inclui registros minuto a minuto das métricas de utilização da computação.

Esquema de tabela de cluster

A tabela de cluster é uma tabela de dimensão lentamente mutável que contém o histórico completo das configurações de computação ao longo do tempo para computação de uso geral, computação de trabalhos, computação do Lakeflow Spark Declarative Pipelines e computação de manutenção de pipeline.

Caminho da tabela: Esta tabela do sistema está localizada em system.compute.clusters

Referência do modo de acesso

A tabela a seguir converte os valores possíveis contidos na data_security_mode coluna. A coluna também pode ser null para determinados pipelines e clusters criados pelo sistema.

Os modos de acesso herdados são registrados com os seguintes valores:

Esquema de tabela de tipos de nó

A tabela de tipo de nó captura os tipos de nó disponíveis no momento com suas informações básicas de hardware.

Caminho da tabela: essa tabela do sistema está localizada em system.compute.node_types.

Esquema da tabela da linha do tempo do nó

A tabela de linha do tempo do nó captura dados de utilização de recursos no nível do nó com granularidade mínima. Cada registro contém dados para um determinado minuto de tempo por instância. Esta tabela captura cronogramas dos nós para a computação de uso geral, a computação de trabalhos, o Lakeflow Spark Declarative Pipelines e recursos de computação para manutenção de pipeline em sua conta.

Caminho da tabela: essa tabela do sistema está localizada em system.compute.node_timeline.

Limitações conhecidas

• Os recursos de computação que foram marcados como excluídos antes de 23 de outubro de 2023 não aparecem na tabela de clusters. Isso pode resultar em junções da tabela system.billing.usage não correspondentes aos registros na tabela de clusters. Todos os recursos de computação ativos foram preenchidos.
• Essas tabelas incluem apenas registros para a Computação para Todas as Finalidades e a Computação de Trabalhos. Eles não contêm registros para computação sem servidor, para o Lakeflow Spark Declarative Pipelines ou para SQL Warehouses.
• Os nodes que rodaram por menos de 10 minutos podem não aparecer na tabela node_timeline.

Consultas de exemplo

Você pode usar as seguintes consultas de exemplo para responder a perguntas comuns:

• Junte os registros de cluster aos registros de faturamento mais recentes
• Identifique os recursos de computação com a maior utilização média e utilização de pico

Unir registros de cluster com os registros de cobrança mais recentes

Essa consulta pode ajudá-lo a entender os gastos ao longo do tempo. Ao atualizar o usage_start_time para o período de cobrança mais atual, ele captura as atualizações mais recentes dos registros de cobrança para incorporar dados em clusters.

Cada registro é associado ao proprietário do cluster durante essa execução específica. Portanto, se o proprietário do cluster for alterado, os custos serão acumulados para o proprietário correto com base em quando o cluster foi usado.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Identificar os recursos de computação com a maior utilização média e pico de utilização

Identifique a computação para todas as finalidades e trabalhos que têm a maior utilização média da CPU e o maior pico de utilização da CPU.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;