Breng uw eigen gegevensherkomst mee

Op deze pagina wordt beschreven hoe u gegevensherkomst bijwerkt om externe assets en werkstromen op te nemen die buiten Azure Databricks worden uitgevoerd.

Unity Catalog legt automatisch gegevenslijnage vast voor queries die uitgevoerd worden in Azure Databricks. Mogelijk hebt u echter workloads die buiten Azure Databricks worden uitgevoerd (bijvoorbeeld FIRST mile ETL of last mile BI). Met Unity Catalog kunt u externe afstammingsmetagegevens toevoegen om de Azure Databricks-gegevensherkomst die automatisch wordt vastgelegd, aan te vullen, zodat u een end-to-end herkomstweergave krijgt in Unity Catalog. Dit is handig wanneer u wilt vastleggen waar gegevens vandaan komen (bijvoorbeeld Salesforce of MySQL) voordat deze zijn opgenomen in Unity Catalog of waar gegevens buiten Unity Catalog worden gebruikt (bijvoorbeeld Tableau of PowerBI).

In de volgende herkomstgrafiek ziet u een externe PostgreSQL-tabel die is opgenomen in Azure Databricks als beheerde tabel in Unity Catalog, met drie kolommen die zijn getransformeerd in één release_date kolom en vervolgens query's uitgevoerd met behulp van PowerBI.

Zie Gegevensherkomst weergeven met behulp van Unity Catalog voor algemene informatie over gegevensherkomst in Azure Databricks.

Behoeften

Als u externe herkomstmetagegevens wilt toevoegen in Unity Catalog, moet u de volgende bevoegdheden hebben, afhankelijk van de specifieke taak:

• Als u een extern object voor metagegevens wilt maken dat kan worden beveiligd in Unity Catalog, moet u de CREATE EXTERNAL METADATA bevoegdheid hebben voor de metastore.
• Als u herkomstrelaties tussen een extern metagegevensobject en een ander Unity Catalog-object wilt opgeven, moet u de MODIFY bevoegdheid hebben voor het externe metagegevensobject.
• Als u een downstream afstammingsrelatie met een Unity Catalog-object wilt opgeven, moet u leesbevoegdheden hebben voor het object (bijvoorbeeld SELECT op een tabel).
• Als u een upstream-herkomstrelatie met een Unity Catalog-object wilt opgeven, moet u schrijfbevoegdheden hebben voor het object (bijvoorbeeld MODIFY in een tabel).

Externe herkomstmetagegevens toevoegen

Ga als volgende te werk om externe herkomstmetagegevens toe te voegen:

1. Maak een beveiligbaar object voor externe metagegevens in Unity Catalog.

   Dit object vertegenwoordigt een entiteit in een extern systeem, zoals een dashboard in Tableau.

2. Configureer een herkomstrelatie tussen het externe metagegevensobject en een ander Unity Catalog-object, zoals een tabel, model, pad of ander extern metagegevensobject.

   Wanneer u herkomstrelaties hebt gemaakt, wordt het externe metagegevensobject weergegeven in de weergave van de herkomstgrafiek.

U kunt externe metagegevensobjecten maken en herkomstrelaties configureren met behulp van de gebruikersinterface van Catalog Explorer of een REST API.

Een extern metagegevensobject maken

U kunt een extern metagegevensobject maken met behulp van Catalog Explorer of de API voor externe metagegevens.

Catalog Explorer gebruiken om een extern metagegevensobject te maken:

1. Klik in uw Azure Databricks-werkruimte op Catalogus.

2. Klik op de knop Externe gegevens > , ga naar het tabblad Externe metagegevens en klik op Externe metagegevens maken.

3. Geef de details van de metagegevens op.

   Vereist:

   • Naam: Voer een door mensen leesbare naam in waarmee Azure Databricks-gebruikers begrijpen wat ze in herkomst zien. U kunt geen spaties gebruiken.
   • Systeemtype: Selecteer in de lijst met algemene externe gegevens en BI-systemen. Als u de uwe niet kunt vinden, selecteert u Aangepast.
   • Entiteitstype: Voer het type object in, zoals 'tabel' of 'dashboard'.

   Optioneel:

   • URL: Voer de URL van het object in als u wilt dat de kijkers van herkomstgrafieken kunnen doorklikken naar de externe asset (bijvoorbeeld een Tableau-dashboard).
   • Beschrijving

   Geavanceerd:

   • Kolommen: Als u toewijzing op kolomniveau van dit externe object wilt uitvoeren aan een ander Unity Catalog-object, voert u kolomnamen in. Selecteer de gebruikersinterface om deze één voor één in te voeren of tekstinvoer om een door komma's gescheiden lijst in één tekstvak in te voeren.
   • Eigenschappen: Als er andere eigenschappen zijn die u wilt bijhouden in de gegevenslijn, voert u deze in als JSON-sleutel-waardeparen. U kunt de gebruikersinterface gebruiken om elk sleutel-waardepaar in te voeren of een volledig JSON-object in te voeren.

4. Klik op Create.

   Een dialoogvenster biedt u de mogelijkheid om het externe metagegevensobject weer te geven of om herkomstrelaties voor het object te maken.

Herkomstrelaties maken

U kunt herkomstrelaties maken met Catalog Explorer, de externe herkomst-API of de Databricks SDK voor Python.

Relaties toevoegen tussen een extern metagegevensobject en andere Unity Catalog-objecten:

1. Volg de bovenstaande prompt of zoek het bestaande externe metagegevensobject in Catalog Explorer:

   1. Klik op het gegevenspictogramCatalogus
   2. Klik op de knop Externe gegevens >
   3. Ga naar het tabblad Externe metagegevens en selecteer het externe metagegevensobject.

2. Klik op Herkomstrelatie maken.

3. Selecteer of u een upstream- of downstreamrelatie wilt maken.

4. Voer het objecttype in waarmee u de relatie wilt maken:

   • Tabel: Selecteer de tabel met behulp van het zoekdialoogvenster.
   • Model: Selecteer het model met behulp van het zoekdialoogvenster en selecteer vervolgens de modelversie.
   • Pad: Voer het pad in voor volumes of externe locaties.
   • Externe metagegevens: selecteer het externe metagegevensobject in de vervolgkeuzelijst.

5. (Optioneel) Klik op Geavanceerd om toe te voegen:

   • Kolomtoewijzingen tussen het externe metagegevensobject en het bron- of doelobject.
   • Andere metagegevens als JSON-sleutel-waardeparen. U kunt deze bijvoorbeeld gebruiken om de tekst van de query in te voeren die een tabel heeft gemaakt op basis van het externe metagegevensobject of aantekeningen die de externe werkstroom uitleggen die de relatie heeft gegenereerd.

6. Klik op Create.

U kunt nu de externe herkomstrelatie zien op het tabblad Herkomst van de gerelateerde objecten.

Veelgestelde vragen over externe herkomst

Biedt Databricks connectors of crawlers om automatisch externe herkomstmetagegevens op te halen?

Nee, externe herkomst wordt niet automatisch vastgelegd. U moet de REST API of Catalog Explorer gebruiken om externe herkomst toe te voegen.

Wordt externe herkomst die ik toevoeg vastgelegd in de stamgegevenssysteemtabel?

Nee, externe herkomst die u met deze functie toevoegt, kan niet worden opgevraagd vanuit de systeemtabel voor herkomst. U moet de REST API aanroepen om de externe herkomst programmatisch op te halen.

Kan ik een herkomstrelatie opgeven tussen twee tabellen die zijn geregistreerd in Unity Catalog met behulp van deze functie?

Als u een herkomstrelatie wilt opgeven tussen twee tabellen die beide zijn geregistreerd in Unity Catalog, moet u een extern metagegevensobject maken dat zich ertussen bevindt. U kunt één tabel opgeven als upstream naar het externe metagegevensobject en de andere downstream om ze weer te geven als verbonden in de herkomstgrafiek.

Kan ik deze functie gebruiken om meerdere niveaus van externe herkomstrelaties op te geven (bijvoorbeeld het toevoegen van aantekeningen aan gegevens die meerdere systemen doorlopen voordat databricks wordt ingevoerd)?

Ja, u kunt meerdere niveaus van externe herkomst opgeven door meerdere beveiligbare objecten voor externe metagegevens te maken en externe herkomstrelaties met elk ervan te maken.

Kan ik externe herkomst op kolomniveau toevoegen met deze functie?

Ja, u kunt externe herkomst op kolomniveau toevoegen. U moet kolomnamen opgeven wanneer u het beveiligbare object voor externe metagegevens maakt en de bron- en doelkolomtoewijzingen opgeeft wanneer u de externe herkomstrelatie configureert.

Zijn er limieten voor externe herkomst?

Ja, u kunt 10.000 externe metagegevensobjecten en 100.000 externe herkomstrelaties per metastore maken. Zie Resourcelimieten.