对 Delta 表进行压缩调整

与文件系统和关系数据库一样，除非经过密切管理，否则数据会分散，从而导致计算成本过高来读取数据。 Delta Lake 不是例外。 应定期将数据文件重写为最佳布局，以减少单个文件作成本、改进数据压缩和优化读取器并行度。 该 OPTIMIZE 命令解决了这一难题：它将分区中的小文件分组到 理想的目标 文件大小的箱中，并将其重写到存储中。 结果是相同的数据被压缩到更少的文件中。

压缩方法

Microsoft Fabric 提供了几种在 Delta 表中保持最佳文件大小的方法：

OPTIMIZE 命令

该 OPTIMIZE 命令是压缩Delta表的基础操作。 它将小文件重写为较大的文件，以提高 Delta 表中的数据布局。

OPTIMIZE dbo.table_name

from delta.tables import *
deltaTable = DeltaTable.forName(spark, "dbo.table_name")
deltaTable.optimize().executeCompaction()

import io.delta.tables._
val deltaTable = DeltaTable.forName(spark, "dbo.table_name")
deltaTable.optimize().executeCompaction() 

OPTIMIZE 与 Z-Order 配合使用

ZORDER BY指定子句时，OPTIMIZE 会重新组织所有活跃文件，以便将 Z 顺序列中相似值的行集中在同一文件中，从而提高涉及这些列的查询跳过文件的效率。 在以下情况下使用 Z 顺序：

• 查询经常同时筛选两列或更多列（例如日期 + 客户ID），
• 这些谓词的选择性足够高，使得文件级跳过能够减少扫描的文件数量。

OPTIMIZE dbo.table_name ZORDER BY (column1, column2)

OPTIMIZE 使用 V-Order

该 VORDER 子句将生成作用域为压缩的文件，并应用 V 顺序优化。 有关 V 顺序的详细信息，请参阅详细 文档。

OPTIMIZE dbo.table_name VORDER

OPTIMIZE 使用液体聚类分析

液体聚类分析指定为表选项;有关详细信息，请参阅 启用液体聚类 分析。 启用液体聚类分析后， OPTIMIZE 执行应用聚类分析策略的物理重写。

快速优化

快速优化功能可以智能分析 Delta 表文件，并跳过那些不太可能有意义地提高性能的压缩操作。

快速优化会评估每个候选组（小文件组）是否满足可配置的最佳实践压缩目标，而不是盲目地压缩文件。 如果合并文件可能会达到您设定的最小目标大小，或者存在太多小文件，快速优化仅对文件组进行压缩。 否则，它会跳过该组或减少压缩的文件数。

SET spark.microsoft.delta.optimize.fast.enabled = TRUE

spark.conf.set('spark.microsoft.delta.optimize.fast.enabled', True)

spark.conf.set("spark.microsoft.delta.optimize.fast.enabled", "true")

根据您的压缩期望，可以对快速优化进行微调：

工作原理

快速优化会在压缩箱之前引入额外的检查。 对于每个候选桶，快速优化进行评估：

• 箱中原始数据的估计量（小文件大小之和）
• 是否估计合并小文件以生成满足配置的最小目标大小的文件
• bin 至少包含配置的最小数量的小文件吗

快速优化会评估每个小型文件箱，并仅压缩可能达到最小目标大小或超过最小文件计数的小文件。 不满足这些阈值的箱将被跳过或部分压缩。 跳过欠佳的 bin 可减少不必要的重写、降低写入放大，并使 OPTIMIZE 作业更具幂等性。

快速优化可能会导致在 Delta 表生命周期内重写的数据更少。 如下图所示，快速优化会跳过压缩次优箱。净结果更快、更幂等 OPTIMIZE ，写入放大更少。

局限性

• 不适用于液体聚类分析和 Z 顺序操作
• 快速优化不会修改自动压缩的行为

文件级压缩目标

为了避免因更改压缩最小和最大文件大小目标而对先前认为已压缩（足够大）的数据进行重新压缩，可以启用spark.microsoft.delta.optimize.fileLevelTarget.enabled 来防止已压缩文件的重新压缩。 启用后，如果文件在压缩时至少满足目标文件大小的一半，则不会重新编译文件。 维护文件级别目标可最大程度地减少写入放大，因为压缩目标大小会随着时间的推移而变化（例如，通过评估自适应目标文件大小并设置更大的目标）。 如果启用，当运行 OPTIMIZE 或设置delta.targetFileSize或delta.targetFileSize.adaptive表属性时，OPTIMIZE_TARGET_SIZE标记会被添加到新文件中或在任何写入操作时。

SET spark.microsoft.delta.optimize.fileLevelTarget.enabled = TRUE

spark.conf.set('spark.microsoft.delta.optimize.fileLevelTarget.enabled', True)

spark.conf.set("spark.microsoft.delta.optimize.fileLevelTarget.enabled", "true")

自动压缩

每次写入操作完成后，自动压实都会评估分区健康状况。 当它检测到分区中存在过多文件碎片（太多小文件）时，会在写操作完成后立即触发同步 OPTIMIZE 操作。 这种编写器驱动的文件维护方法是最佳的，因为压缩仅在以编程方式确定有利时执行。

设置在会话级别以在新表上启用自动压缩：

SET spark.databricks.delta.autoCompact.enabled = TRUE

spark.conf.set('spark.databricks.delta.autoCompact.enabled', True)

spark.conf.set("spark.databricks.delta.autoCompact.enabled", "true")

在表级别设置，仅对特定表启用：

CREATE TABLE dbo.table_name
TBLPROPERTIES ('delta.autoOptimize.autoCompact' = 'true')

使用 DataFrameWriter 选项以在新表上启用：

df.write.option('delta.autoOptimize.autoCompact', 'true').saveAsTable('dbo.table_name')

对现有表启用：

ALTER TABLE dbo.table_name
SET TBLPROPERTIES ('delta.autoOptimize.autoCompact' = 'true')

可以通过以下 Spark 会话配置来优化自动压缩的行为：

湖屋表维护

用户可以从 Lakehouse UI 运行诸如 OPTIMIZE 之类的临时维护操作。 有关详细信息，请参阅 Lakehouse 数据表维护。

最佳做法摘要

• 为摄取管道启用自动压缩，其中包含频繁的小规模写入（流式处理或微批处理），以避免手动调度并确保文件自动压缩。
  • 对于其他写入模式，启用此选项可以作为防范累积小文件问题的保险，但需要权衡您的数据处理服务级别目标是否能够忍受处理时间的周期性峰值。
• 在需要重写多个分区或运行 Z-Order 时，可以在 安静时段安排全表操作 OPTIMIZE。
• 启用 快速优化 以减少写入放大并使 OPTIMIZE 更具幂等性。
• 启用 文件级压缩目标 ，以防止随着表的大小增长并使用更大的目标文件大小而进行写入放大。
• 请记住，预写入压缩（优化写入）的成本低于写入后压缩（优化）。 有关最佳做法，请参阅 优化写入 文档。

相关内容

• 调整文件大小
• Lakehouse 表维护
• 什么是 Delta Lake？