예측 최적화 시스템 테이블 참조

이 문서에서는 예측 최적화 작업 기록 테이블 스키마를 간략하게 설명하고 샘플 쿼리를 제공합니다. 예측 최적화는 최고 성능 및 비용 효율성을 위해 데이터 레이아웃을 최적화합니다. 시스템 테이블은 이 기능의 작업 기록을 추적합니다. 예측 최적화에 대한 자세한 내용은 Unity 카탈로그 관리 테이블에 대한 예측 최적화를 참조 하세요.

테이블 경로: 이 시스템 테이블은 system.storage.predictive_optimization_operations_history에 위치해 있습니다.

배달 고려 사항

• 데이터를 채우는 데 최대 24시간이 걸릴 수 있습니다.
• 예측 최적화는 동일한 클러스터에서 여러 작업을 실행할 수 있습니다. 이 경우 각 다중 작업에 기인하는 DBU의 지분은 근사치로 나타납니다. 이 때문에 usage_unit가 ESTIMATED_DBU로 설정됩니다. 그럼에도 불구하고 클러스터에 소요된 총 DBU 수는 정확할 것입니다.

예측 최적화 테이블 스키마

예측 최적화 작업 기록 시스템 테이블은 다음 스키마를 사용합니다.

작업 메트릭

열에 operation_metrics 기록된 메트릭은 작업 유형에 따라 달라집니다.

• COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_filesamount_of_output_data_bytes
• VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
• ANALYZE: amount_of_scanned_bytes, , number_of_scanned_filesstaleness_percentage_reduced
• CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytesamount_of_clustered_data_bytes
• AUTO_CLUSTERING_COLUMN_SELECTION: old_clustering_columns, new_clustering_columns, has_column_selection_changed, additional_reason(열 선택 영역이 변경되었거나 변경되지 않은 이유 포함)

예제 쿼리

다음 섹션에는 예측 최적화 시스템 테이블에 대한 인사이트를 얻는 데 사용할 수 있는 샘플 쿼리가 포함되어 있습니다. 이러한 쿼리가 작동하려면 매개 변수 값을 사용자 고유의 값으로 바꿔야 합니다.

이 문서에는 다음 예제 쿼리가 포함되어 있습니다.

• 지난 30일 동안 예측 최적화에서 사용된 예상 DBU 수는 몇 개입니까?
• 예측 최적화가 지난 30일 동안 가장 많이 소비한 테이블(예상 비용)은 어느 것인가요?
• 가장 많은 작업을 수행하는 예측 최적화 테이블은 무엇인가요?
• 지정된 카탈로그의 경우 압축된 총 바이트 수
• 가장 많은 바이트가 진공된 테이블은 무엇인가요?
• 예측 최적화를 통해 실행되는 작업의 성공률은 무엇인가요?

지난 30일 동안 사용된 예측 최적화의 예상 DBU 수는 몇 개입니까?

SELECT SUM(usage_quantity)
  FROM system.storage.predictive_optimization_operations_history
  WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30;

특정 ETL 파이프라인에 대해 동일한 값을 찾으려면 먼저 해당 파이프라인에서 테이블을 찾은 다음 DTU를 검색할 수 있습니다.

-- Find all full table names for the pipeline:
WITH pipeline_mapping AS (
  SELECT DISTINCT target_table_full_name AS target_table_name
  FROM system.access.table_lineage
  WHERE entity_type = 'PIPELINE' AND entity_id = :pipeline_id
)
-- Select all operations for any table in that pipeline:
SELECT SUM(usage_quantity)
  FROM system.storage.predictive_optimization_operations_history
  WHERE
    CONCAT_WS('.', catalog_name, schema_name, table_name)
      IN ( SELECT target_table_name FROM pipeline_mapping)
    AND usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30;

예측 최적화가 지난 30일 동안 가장 많이 지출한 테이블(예상 비용)은 어느 것인가요?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
  usage_unit = "ESTIMATED_DBU"
  AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC;

가장 많은 작업을 수행하는 예측 최적화 테이블은 무엇인가요?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  operation_type,
  COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC;

지정된 카탈로그의 경우 압축된 총 바이트 수

SELECT
  schema_name,
  table_name,
  SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
  metastore_name = :metastore_name
  AND catalog_name = :catalog_name
  AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC;

가장 많은 바이트가 진공된 테이블은 무엇인가요?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC;

예측 최적화를 통해 실행되는 작업의 성공률은 무엇인가요?

WITH operation_counts AS (
  SELECT
    COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
    COUNT(DISTINCT operation_id) as total_operations
  FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts;