Wzbogacanie tabel usługi Delta Lake za pomocą niestandardowych metadanych

Usługa Databricks zaleca zawsze udostępnianie komentarzy do tabel i kolumn w tabelach. Te komentarze można wygenerować przy użyciu sztucznej inteligencji. Zobacz Dodawanie komentarzy generowanych przez sztuczną inteligencję do obiektów katalogu Unity.

Katalog Unity zapewnia również funkcję oznaczania danych. Zobacz Stosowanie tagów do obiektów mogących podlegać zabezpieczeniu w Unity Catalog.

Komunikaty dotyczące poszczególnych zatwierdzeń można również rejestrować w polu w tabelach dziennika transakcji Delta Lake.

Ustaw metadane zatwierdzenia zdefiniowane przez użytkownika

Możesz określić ciągi zdefiniowane przez użytkownika jako metadane w commitach, używając opcji userMetadata DataFrameWriter lub konfiguracji spark.databricks.delta.commitInfo.userMetadata SparkSession. Jeśli oba z nich zostały określone, opcja przyjmuje preferencję. Te metadane zdefiniowane przez użytkownika są odczytywalne podczas operacji DESCRIBE HISTORY. Zobacz Praca z historią tabel Delta Lake.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")