Freigeben über

Verkaufen von Unity Catalog-Anmeldeinformationen für den Zugriff auf externe Systeme

Wichtig

Dieses Feature befindet sich in der Public Preview.

Tipp

Informationen zum Lesen von Azure Databricks-Daten mit Microsoft Fabric finden Sie unter Verwenden von Microsoft Fabric zum Lesen von Daten, die im Unity-Katalogregistriert sind.

Auf dieser Seite wird beschrieben, wie unity Catalog Credential Vending-Funktionen den Zugriff auf Daten in Azure Databricks von externen Verarbeitungsmodulen unterstützt.

Der Verkauf von Anmeldeinformationen unterstützt externe Systeme, die sich über die Unity REST-API und den Apache Iceberg REST-Katalog mit dem Unity-Katalog verbinden. Siehe Lesen von Databricks-Tabellen von Delta-Clients und Zugriff auf Databricks-Daten mithilfe externer Systeme.

Was bedeutet der Verkauf von Unity Catalog-Anmeldeinformationen?

Der Verkauf von Anmeldeinformationen gewährt mithilfe der Unity Catalog-REST-API kurzlebige Anmeldeinformationen. Die gewährten Anmeldeinformationen erben die Berechtigungen des Azure Databricks-Prinzipals, der zum Konfigurieren der Integration verwendet wird.

Tabelle Credential Vending bietet Zugriff auf Daten, die in Ihrem Unity Catalog-Metastore registriert sind.

Pfad-Anmeldeinformationsautomaten bieten Zugriff auf externe Speicherorte in Ihrem Unity Catalog-Metastore.

Tabelle Anmeldeinformationsautomaten

Um temporäre Anmeldeinformationen für eine Tabelle zu erhalten, muss der anfordernde Azure Databricks-Prinzipal (Benutzer, Gruppe oder Dienstprinzipal) über das EXTERNAL USE SCHEMA Schema verfügen, das die Tabelle enthält. Der Unity-Katalog-Metastore muss auch explizit für den externen Zugriff aktiviert sein. Siehe Aktivieren des Zugriffs auf externe Daten im Unity Catalog.

Die Anmeldeinformationen umfassen ein kurzlebiges Zugriffstoken und eine URL des Cloudspeicherorts, die die externe Engine verwenden kann, um auf Tabellendaten und Metadaten am Cloudspeicherort zuzugreifen.

Hinweis

Der Tisch Unity Catalog Credential Vending unterstützt Folgendes:

  • Schreibgeschützter Zugriff auf durch Unity Catalog verwaltete Delta-Tabellen.
  • Lese- und Schreibzugriff auf verwaltete Iceberg-Tabellen im Unity-Katalog.
  • Schreibgeschützter Zugriff auf Delta-Tabellen, die für Iceberg-Lesevorgänge konfiguriert sind.
  • Erstellen Sie externe Tabellen für den Unity-Katalog.
  • Lese- und Schreibzugriff auf externe Tabellen im Unity-Katalog.

Einige Clients unterstützen den Zugriff auf von Delta Lake gestützte Tabellen, während andere erfordern, dass Iceberg-Lesevorgänge (UniForm) in Tabellen aktiviert werden. Siehe Lesen von Delta-Tabellen mit Iceberg-Clients.

Anforderungen

  • Sie müssen den externen Zugriff im Metastore konfigurieren und EXTERNAL USE SCHEMA dem Hauptnutzer gewähren, der die Verbindung konfiguriert. Siehe Aktivieren des Zugriffs auf externe Daten im Unity Catalog.
  • Um auf den Azure Databricks-Arbeitsbereich mithilfe von Unity Catalog Open APIs oder Iceberg REST-APIs zuzugreifen, muss die Arbeitsbereichs-URL für das Modul zugänglich sein, das die Anforderung ausführt. Dazu gehören Arbeitsbereiche, die IP-Zugriffslisten oder azure Private Linkverwenden.
  • Um auf den zugrunde liegenden Cloudspeicherort für Unity Catalog-registrierte Datenobjekte zuzugreifen, müssen die speicherbasierten URLs, die von der temporären Anmeldeinformations-API des Unity-Katalogs generiert wurden, für das Modul zugänglich sein, das die Anforderung ausführt. Dies bedeutet, dass die Engine in den Firewall- und Netzwerkzugriffssteuerungslisten für die zugrunde liegenden Cloudspeicherkonten freigegeben sein muss.

Anfordern einer temporären Tabellenanmeldeinformationen für den Zugriff auf externe Daten

Die Unterstützung beim Verkauf von Anmeldeinformationen variiert je nach externem Client. Wenn unterstützt, sollte der Client automatisch verkaufte Anmeldeinformationen verwenden, wenn eine Verbindung konfiguriert wird.

Dieser Abschnitt enthält ein Beispiel für das ausdrückliche Aufrufen des API-Endpunkts zum Verkauf von Anmeldeinformationen. Für einige externe Clients müssen Sie möglicherweise explizit Konfigurationen festlegen, um auf Daten und Metadaten im Cloudobjektspeicher zuzugreifen, die Ihre Unity-Katalogtabellen sichern. Sie können werte verwenden, die von Credential Vending zurückgegeben werden, um den Zugriff zu konfigurieren.

Hinweis

Sie können eine Liste von Tabellen abrufen, die die Berechtigungsausgabe unterstützen, indem Sie die ListTables-API aufrufen, wobei die Option include_manifest_capabilities aktiviert ist. Nur Tabellen, die mit HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT oder HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT gekennzeichnet sind, können in der API für temporäre Tabellenanmeldeinformationen als Referenz verwendet werden. Siehe GET /api/2.1/unity-catalog/tables.

Im folgenden curl Beispiel wird explizit eine temporäre Anmeldeinformation für den externen Datenzugriff angefordert. Diese Anforderung muss von einem Arbeitsbereichsprinzipal mit entsprechenden Berechtigungen abgeschlossen werden.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation_name": "<READ|READ_WRITE>"}'

Ausführliche Informationen finden Sie unter POST /api/2.1/unity-catalog/temporary-table-credentials in der Azure Databricks REST-API-Referenz.

Einschränkungen

Es gelten die folgenden Einschränkungen:

  • Nicht alle externen Clients unterstützen den Verkauf von Anmeldeinformationen. Die Unterstützung kann je nach zugrunde liegendem Cloudobjektspeicher variieren.
  • Es werden nur verwaltete Tabellen im Unity-Katalog und externe Tabellen im Unity-Katalog unterstützt.
    • Tabellen, die für Iceberg-Lesevorgänge aktiviert sind, haben diese Anforderung gemeinsam. Siehe Lesen von Delta-Tabellen mit Iceberg-Clients.
    • Delta Lake-Leseclients können nur Tabellen lesen, die von Delta Lake unterstützt werden, und müssen alle aktivierten Lese- oder Schreibprotokolle unterstützen, die auf der Tabelle aktiviert sind. Siehe Delta Lake Featurekompatibilität und Protokolle.
    • Externe Tabellen, die delta Lake nicht verwenden, bieten keine Transaktionsgarantien.
  • Die folgenden Tabellentypen oder Tabellen mit aktivierten Features werden nicht unterstützt:
    • Tabellen mit Zeilenfiltern oder Spaltenmasken.
    • Tabellen, die mithilfe der Deltafreigabe freigegeben werden.
    • Lakehouse-Verbundtabellen (Fremdtabellen).
    • Ansichten.
    • Materialisierte Ansichten.
    • Lakeflow Spark Declarative Pipelines Streaming-Tabellen.
    • Onlinetabellen.
    • Vektorsuchindizes.
  • Die Aktualisierung von Anmeldeinformationen wird auf Iceberg 1.9.0 nicht unterstützt. Verwenden Sie die neueste Iceberg-Version für die Aktualisierung der Anmeldeinformationen.

Pfad Credential Vending

Um temporäre Anmeldeinformationen für einen Pfad zu erhalten, muss der anfordernde Azure Databricks-Prinzipal gewährt werden:

  • Die Berechtigung EXTERNAL USE LOCATION für den externen Speicherort.
  • Die EXTERNAL USE SCHEMA Berechtigungen für das Schema, wenn auf eine externe Tabelle zugegriffen wird.

Wie bei Tabellenanmeldeinformationen muss der Unity-Katalog-Metastore explizit für den externen Zugriff aktiviert sein. Siehe Aktivieren des Zugriffs auf externe Daten im Unity Catalog.

Die ausgestellten Anmeldeinformationen ermöglichen direkten Zugriff auf den Cloudspeicherort, der auf den relevanten Pfad festgelegt ist. Sie sind für einen begrenzten Zeitraum gültig und gewähren keinen umfassenderen Zugriff über den definierten Speicherort oder die definierte Tabelle hinaus.

Anforderungen

  • Der Unity-Katalog-Metastore muss externen Zugriff aktiviert haben, und der anfordernde Prinzipal muss gewährt EXTERNAL USE LOCATIONwerden. Wenn Sie auf eine externe Tabelle zugreifen, müssen sie ebenfalls gewährt EXTERNAL USE SCHEMAwerden. Siehe Aktivieren des Zugriffs auf externe Daten im Unity Catalog.
  • Das externe Modul muss in der Lage sein, die Azure Databricks-Arbeitsbereichs-URL zu erreichen. Dies gilt für Arbeitsbereiche mit IP-Zugriffslisten oder azure Private Link.
  • Auf die von der Anmeldeinformationsautomaten-API generierten Cloudspeicher-URLs muss für das externe Modul zugegriffen werden können. Stellen Sie sicher, dass das Modul durch Firewall- und Netzwerkzugriffssteuerungen für die zugrunde liegenden Cloudspeicherkonten zulässig ist.

Anfordern einer temporären Pfadanmeldeinformationen für den Zugriff auf externe Daten

Die Unterstützung beim Verkauf von Anmeldeinformationen variiert je nach externem Client. Wenn unterstützt, sollte der Client automatisch verkaufte Anmeldeinformationen verwenden, wenn eine Verbindung konfiguriert wird.

Dieser Abschnitt enthält ein Beispiel für das ausdrückliche Aufrufen des API-Endpunkts zum Verkauf von Anmeldeinformationen. Für einige externe Clients müssen Sie möglicherweise explizit Konfigurationen festlegen, um auf Daten und Metadaten im Cloudobjektspeicher zuzugreifen, die Ihre Unity-Katalogtabellen sichern. Sie können werte verwenden, die von Credential Vending zurückgegeben werden, um den Zugriff zu konfigurieren.

Im folgenden curl Beispiel wird explizit eine temporäre Anmeldeinformation für den externen Datenzugriff angefordert. Diese Anforderung muss von einem Arbeitsbereichsprinzipal mit entsprechenden Berechtigungen abgeschlossen werden.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Ausführliche Informationen finden Sie unter Generieren einer temporären Pfadanmeldeinformationen in der Azure Databricks-REST-API-Referenz.

  • Last updated on