Enriqueça tabelas Delta Lake com metadados personalizados

O Databricks recomenda sempre que se forneçam comentários para as tabelas e as suas colunas. Você pode gerar esses comentários usando IA. Consulte Adicionar comentários gerados por IA a objetos do Unity Catalog.

O Unity Catalog também fornece a capacidade de marcar dados. Consulte Aplicar etiquetas em objetos protegíveis do Unity Catalog.

Você também pode registrar mensagens para confirmações individuais em tabelas em um campo no log de transações do Delta Lake.

Definir metadados de confirmação definidos pelo usuário

Você pode especificar cadeias de caracteres definidas por utilizador como metadados nas confirmações, quer utilizando a opção userMetadata do DataFrameWriter ou a configuração spark.databricks.delta.commitInfo.userMetadata do SparkSession. Se ambos tiverem sido especificados, a opção terá preferência. Esses metadados definidos pelo usuário são legíveis na operação DESCRIBE HISTORY. Consulte como trabalhar com o histórico da tabela Delta Lake.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")