Uitgifte van Unity Catalog-referenties voor toegang tot externe systemen.

Op deze pagina wordt beschreven hoe de functionaliteit voor referentieverkoop van Unity Catalog toegang biedt tot gegevens in Azure Databricks vanuit externe verwerkingsengines.

Referentieverkoop ondersteunt externe systemen die verbinding maken met Unity Catalog met behulp van de Unity REST API en Apache Iceberg REST-catalogus. Zie Databricks-tabellen lezen van Delta-clients en Access Databricks-gegevens met behulp van externe systemen.

Wat is referentieverkoop voor Unity Catalog?

referentieverkoop verleent kortstondige referenties met behulp van de Unity Catalog REST API. De toegekende inloggegevens erven de bevoegdheden van de Azure Databricks-principal die wordt gebruikt om de integratie te configureren.

Verkoop van tabelreferenties biedt toegang tot gegevens die zijn geregistreerd in uw Unity Catalog-metastore.

Padreferentieverkoop biedt toegang tot externe locaties in uw Unity Catalog-metastore.

Verkoopautomaat voor tabelreferenties

Als u een tijdelijke referentie voor een tabel wilt ontvangen, moet de azure Databricks-principal (gebruiker, groep of service-principal) over de EXTERNAL USE SCHEMA bevoegdheid beschikken in het schema dat de tabel bevat. De Unity Catalog-metastore moet ook expliciet zijn ingeschakeld voor externe toegang. Zie Externe gegevenstoegang tot Unity Catalog inschakelen.

Referenties omvatten een toegangstokenreeks met korte levensduur en een URL voor cloudopslaglocatie die de externe engine kan gebruiken voor toegang tot tabelgegevens en metagegevens van de cloudopslaglocatie.

Eisen

• U moet externe toegang configureren in de metastore en EXTERNAL USE SCHEMA verlenen aan de principal die de verbinding configureert. Zie Externe gegevenstoegang tot Unity Catalog inschakelen.
• Voor toegang tot de Azure Databricks-werkruimte met behulp van Unity Catalog Open API's of Iceberg REST API's moet de WERKRUIMTE-URL toegankelijk zijn voor de engine die de aanvraag uitvoert. Dit omvat werkruimten die gebruikmaken van IP-toegangslijsten of Azure Private Link-.
• Voor toegang tot de onderliggende cloudopslaglocatie voor geregistreerde Unity Catalog-gegevensobjecten, moeten de opslag-URL's die zijn gegenereerd door de tijdelijke referentie-API van Unity Catalog, toegankelijk zijn voor de engine die de aanvraag uitvoert. Dit betekent dat de engine moet worden toegestaan op de lijsten voor firewall- en netwerktoegangsbeheer voor de onderliggende cloudopslagaccounts.

Een tijdelijke tabelreferentie aanvragen voor externe gegevenstoegang

Ondersteuning voor de uitgifte van inloggegevens verschilt per externe klant. Indien ondersteund, moet de client automatisch gebruikmaken van uitgegeven referenties wanneer een verbinding is geconfigureerd.

In deze sectie vindt u een voorbeeld van het expliciet aanroepen van het eindpunt van de referentieverkoop-API. Voor sommige externe clients moet u mogelijk expliciet configuraties instellen voor toegang tot gegevens en metagegevens in de opslag van cloudobjecten die back-ups maken van uw Unity Catalog-tabellen. Met de waarden die worden geretourneerd bij het uitgeven van referenties, kunt u de toegang configureren.

In het volgende curl voorbeeld wordt expliciet een tijdelijke referentie voor externe gegevenstoegang aangevraagd. Deze aanvraag moet worden voltooid door een werkruimte-principal met voldoende bevoegdheden.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation_name": "<READ|READ_WRITE>"}'

Zie POST /api/2.1/unity-catalog/temporary-table-credentials in de naslaginformatie over de REST API van Azure Databricks voor meer informatie.

Beperkingen

De volgende beperkingen bestaan:

• Niet alle externe clients ondersteunen de verstrekking van inloggegevens, en de ondersteuning kan variëren, afhankelijk van de onderliggende cloud-objectopslag.
• Alleen beheerde tabellen van Unity Catalog en externe Unity Catalog-tabellen worden ondersteund.
  • Tabellen die zijn ingeschakeld voor Iceberg-lezen, delen deze vereiste. Zie Delta-tabellen lezen met Iceberg-clients.
  • Delta Lake-lezerclients kunnen alleen tabellen lezen die worden ondersteund door Delta Lake en moeten ondersteuning bieden voor alle ingeschakelde lezer- of schrijfprotocollen die zijn ingeschakeld voor de tabel. Bekijk de compatibiliteit en protocollen van Delta Lake-functies.
  • Externe tabellen die geen gebruikmaken van Delta Lake bieden geen transactionele garanties.
• De volgende tabeltypen of tabellen waarvoor functies zijn ingeschakeld, worden niet ondersteund:
  • Tabellen met rijfilters of kolommaskers.
  • Tabellen die worden gedeeld met Delta Sharing.
  • Federatieve tabellen van Lakehouse (externe tabellen).
  • Weergaven.
  • Gematerialiseerde weergaven.
  • Declaratieve pijplijnen voor Lakeflow Spark-streamingtabellen.
  • Onlinetabellen.
  • Vector Search-indexen.
• Vernieuwen van referenties wordt niet ondersteund op Iceberg 1.9.0. Gebruik de nieuwste Iceberg-release voor het vernieuwen van referenties.

Pad referentie verkooppunt

Als u een tijdelijke referentie voor een pad wilt ontvangen, moet de azure Databricks-principal worden verleend:

• De EXTERNAL USE LOCATION bevoegdheid op de externe locatie.
• De EXTERNAL USE SCHEMA bevoegdheid voor het schema als u toegang krijgt tot een externe tabel.

Net als bij de verkoop van tabelreferenties moet de Unity Catalog-metastore expliciet worden ingeschakeld voor externe toegang. Zie Externe gegevenstoegang tot Unity Catalog inschakelen.

De uitgegeven referenties bieden directe toegang tot de opslaglocatie in de cloud, die is afgestemd op het relevante pad. Ze zijn gedurende een beperkte tijd geldig en verlenen geen bredere toegang buiten de gedefinieerde locatie of tabel.

Eisen

• De Unity Catalog-metastore moet externe toegang hebben ingeschakeld en de aanvraagprincipaal moet worden verleend EXTERNAL USE LOCATION. Als u toegang krijgt tot een externe tabel, moeten ze ook worden verleend EXTERNAL USE SCHEMA. Zie Externe gegevenstoegang tot Unity Catalog inschakelen.
• De externe engine moet de URL van de Azure Databricks-werkruimte kunnen bereiken. Dit is van toepassing op werkruimten met IP-toegangslijsten of Azure Private Link.
• De URL's voor cloudopslag die door de referentieverkoop-API worden gegenereerd, moeten toegankelijk zijn voor de externe engine. Zorg ervoor dat de engine is toegestaan door firewall- en netwerktoegangsbeheer voor de onderliggende cloudopslagaccounts.

Een tijdelijke padreferentie aanvragen voor toegang tot externe gegevens

Ondersteuning voor de uitgifte van inloggegevens verschilt per externe klant. Indien ondersteund, moet de client automatisch gebruikmaken van uitgegeven referenties wanneer een verbinding is geconfigureerd.

In deze sectie vindt u een voorbeeld van het expliciet aanroepen van het eindpunt van de referentieverkoop-API. Voor sommige externe clients moet u mogelijk expliciet configuraties instellen voor toegang tot gegevens en metagegevens in de opslag van cloudobjecten die back-ups maken van uw Unity Catalog-tabellen. Met de waarden die worden geretourneerd bij het uitgeven van referenties, kunt u de toegang configureren.

In het volgende curl voorbeeld wordt expliciet een tijdelijke referentie voor externe gegevenstoegang aangevraagd. Deze aanvraag moet worden voltooid door een werkruimte-principal met voldoende bevoegdheden.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Zie Een tijdelijke padreferentie genereren in de Naslaginformatie over de Azure Databricks REST API voor meer informatie.