Verwijzing naar afstammingssysteemtabellen

Deze pagina bevat een verwijzing voor de twee herkomstsysteemtabellen. Deze systeemtabellen zijn gebaseerd op de gegevensherkomstfunctie van Unity Catalog, zodat u programmatisch query's kunt uitvoeren op herkomstgegevens om beslissingen en rapporten te maken. Voor toegang tot de tabellen moeten de schema's zijn ingeschakeld in uw system catalogus. Zie Systeemtabellen inschakelen voor meer informatie.

Afstammingtabeloverzicht

De systeemtabel voor tabelafstamming bevat een record voor elke lees- of schrijfbewerking in een Unity Catalog-tabel of -pad. Dit omvat, maar is niet beperkt tot, taakuitvoeringen, notebookuitvoeringen en dashboards die zijn bijgewerkt met het lees- of schrijfevenement.

Tabelpad: Deze systeemtabel bevindt zich op system.access.table_lineage.

tabelherkomstschema

De tabel van het tabelherkomstsysteem maakt gebruik van het volgende schema.

Tabel voor kolomherkomst

De kolomherkomsttabel bevat geen gebeurtenissen die geen bron hebben. Als u bijvoorbeeld invoegt in een kolom met expliciete waarden, wordt deze niet vastgelegd. Als u een kolom leest, wordt deze vastgelegd, ongeacht of u de uitvoer schrijft.

Tabelpad: Deze systeemtabel bevindt zich op system.access.column_lineage.

kolomafstammingsschema

De tabel van het kolomherkomstsysteem maakt gebruik van het volgende schema:

Systeemtabellen voor afstammingsinformatie lezen

• Als u wilt bepalen of de gebeurtenis een lees- of schrijfbewerking is, kunt u het brontype en het doeltype bekijken.
  • Alleen-lezen: het brontype is niet nul, maar het doeltype is nul.
  • Alleen-schrijven: Het doeltype is niet nul, maar het brontype is nul.
  • Lezen en schrijven: het brontype en het doeltype zijn niet null.

Naslaginformatie over entiteitsmetagegevens

De entity_metadata struct heeft het volgende schema:

job_info:
  job_id: "string"
  job_run_id: "string"
dashboard_id: "string"
legacy_dashboard_id: "string"
notebook_id: "string"
sql_query_id: "string"
dlt_pipeline_info:
  dlt_pipeline_id: "string"
  dlt_update_id: "string"

Azure Databricks registreert afstammingsgebeurtenissen uit Lakeflow Spark Declarative Pipelines, notebooks, taken, Databricks SQL-query's en dashboards. Gebeurtenissen van andere entiteiten worden niet ondersteund.

Er kunnen meerdere waarden worden ingevuld, afhankelijk van het gebeurtenistype. Een notebooktaak zou bijvoorbeeld zowel job_info als notebook_id vullen.

Als alle waarden entity_metadata zich bevinden null, betekent dit dat er geen Azure Databricks-entiteit betrokken is bij de gebeurtenis. Dit kan bijvoorbeeld het resultaat zijn van een JDBC-query of van een gebruiker die op het tabblad Voorbeeldgegevens klikt in de gebruikersinterface van Azure Databricks.

Voorbeeld van een lijnsysteemtabel

Als voorbeeld van hoe herkomst wordt vastgelegd in systeemtabellen, volgt hier een voorbeeldquery gevolgd door de herkomstrecords die door de query worden gemaakt:

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

De record in system.access.table_lineage ziet er als volgt uit:

De record in system.access.column_lineage ziet er als volgt uit:

Het oplossen van problemen met externe tabelquery's

Wanneer u naar een externe tabel verwijst met behulp van het cloudopslagpad, bevat de bijbehorende herkomstrecord alleen de padnaam en niet de tabelnaam. De herkomstrecord voor deze query bevat bijvoorbeeld de padnaam en niet de tabelnaam:

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

Als u een query wilt uitvoeren op herkomstrecords voor een externe tabel waarmee wordt verwezen via een pad, moet u de query filteren met source_path of target_path in plaats van source_table_full_name of target_table_full_name. Met de volgende query worden bijvoorbeeld alle herkomstrecords voor een externe tabel opgehaald:

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

Herkomstrecords ophalen op basis van de naam van de externe tabel

Als u het cloudopslagpad niet handmatig wilt ophalen om herkomst te vinden, kunt u de volgende functie gebruiken om herkomstgegevens op te halen met behulp van de tabelnaam. U kunt ook system.access.table_lineage vervangen door system.access.column_lineage in de functie als u gegevens wilt opvragen over kolomafstamming.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

Gebruik vervolgens de volgende opdracht om de functie aan te roepen en herkomstrecords voor de externe tabel weer te geven:

display(getLineageForTable("table_name"))