以自訂元資料豐富資料

Databricks 建議一律為資料表和資料表中的資料行提供註解。 您可以使用 AI 產生這些註解。 請參閱將 AI 產生的註解新增至 Unity Catalog 物件。

Unity Catalog 也提供標記資料的功能。 請參閱將標籤套用至 Unity Catalog 安全物件。

在交易日誌的某欄位中記錄針對資料表的個別提交訊息。

設定使用者定義的認可中繼資料

在提交時，使用 DataFrameWriter 選項 userMetadata 或 SparkSession 設定 spark.databricks.delta.commitInfo.userMetadata （Delta）或 spark.databricks.iceberg.commitInfo.userMetadata （Iceberg）指定使用者自訂字串作為元資料。 若兩者皆指定，則優先選擇該選項。 此使用者定義的中繼資料在 DESCRIBE HISTORY 作業中可讀取。 請參見 使用表格歷史記錄。

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")