Een opslagreferentie maken om verbinding te maken met Azure Data Lake Storage

Op deze pagina wordt beschreven hoe u opslagreferenties maakt in Unity Catalog om verbinding te maken met Azure Data Lake Storage. Zie Cloudopslagopties die worden ondersteund door Unity Catalog voor meer informatie over andere cloudopslagopties die worden ondersteund door Unity Catalog.

Een opslagreferentie bevat een langetermijnreferentie voor de cloud die toegang biedt tot cloudopslag. U verwijst naar opslagreferenties, samen met het cloudopslagpad, wanneer u externe locaties in Unity Catalog maakt om de toegang tot externe opslag te beheren.

Een opslagreferentie maken die toegang heeft tot Azure Data Lake Storage

U kunt een door Azure beheerde identiteit of een service-principal gebruiken als de identiteit die toegang tot uw opslagcontainer autoriseert. Beheerde identiteiten worden sterk aanbevolen. Ze bieden het voordeel dat Unity Catalog toegang kan krijgen tot opslagaccounts die beschermd worden door netwerkregels, wat niet mogelijk is met service-principals, en ze maken het beheren en roteren van geheimen overbodig. Als u een service-principal wilt gebruiken, raadpleegt u Beheerde opslag voor Unity Catalog maken met behulp van een service-principal (verouderd).

Vereisten

In Azure Databricks:

• Azure Databricks-werkruimte ingeschakeld voor Unity Catalog.
• CREATE STORAGE CREDENTIAL privileges voor de Unity Catalog-metastore die gekoppeld is aan de werkruimte. Accountbeheerders en metastore-beheerders hebben deze bevoegdheid standaard.

In uw Azure-tenant:

• Een Azure Data Lake Storage-opslagcontainer. Om uitgaande kosten te voorkomen, moet dit zich in dezelfde regio bevinden als de werkruimte waaruit u toegang wilt krijgen tot de gegevens.

  Het Azure Data Lake Storage-opslagaccount moet een hiërarchische naamruimte hebben.

• Inzender of eigenaar van een Azure-resourcegroep.

• Eigenaar of een gebruiker met de Azure RBAC-rol Gebruikerstoegangsbeheerder voor het opslagaccount.

De opslagreferentie maken

1. Maak in Azure Portal een Azure Databricks-toegangsconnector en wijs deze machtigingen toe aan de opslagcontainer waartoe u toegang wilt krijgen met behulp van de instructies in Een beheerde identiteit configureren voor Unity Catalog.

   Een Azure Databricks-toegangsconnector is een eigen Azure-resource waarmee u beheerde identiteiten kunt verbinden met een Azure Databricks-account. Als u de opslagreferentie wilt toevoegen, moet u de rol Inzender of hoger hebben voor de toegangsconnectorresource in Azure.

   Noteer de resource-id van de toegangsconnector.

2. Meld u aan bij uw Azure Databricks-werkruimte met Unity Catalog als een gebruiker met de bevoegdheid CREATE STORAGE CREDENTIAL.

   De beheerdersrollen metastore en accountbeheerders omvatten beide deze bevoegdheid.

3. Klik op Catalogus.

4. Klik op de knop Externe gegevens > , ga naar het tabblad Referenties en selecteer Referentie maken.

5. Selecteer opslagreferentie.

6. Selecteer een referentietype van Azure Managed Identity-.

7. Voer een naam in voor de referentie en voer de resource-ID van de toegangsconnector in volgens het formaat:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

8. (Optioneel) Als u de toegangsconnector hebt gemaakt met behulp van een door de gebruiker toegewezen beheerde identiteit, voert u de resource-id van de beheerde identiteit in het veld Door de gebruiker toegewezen beheerde identiteit in, in de indeling:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
   

9. (Optioneel) Als u wilt dat gebruikers alleen-lezentoegang hebben tot de externe locaties die gebruikmaken van deze opslagreferentie, selecteert u Alleen-lezen. Zie Een opslagreferentie markeren als alleen-lezen voor meer informatie.

10. Klik op Create.

11. (Optioneel) Koppel de opslagreferentie aan specifieke werkruimten.

    Standaard kan elke bevoegde gebruiker de opslagreferentie gebruiken voor elke werkruimte die is gekoppeld aan de metastore. Als u alleen toegang vanuit specifieke werkruimten wilt toestaan, gaat u naar het tabblad Werkruimten en wijst u werkruimten toe. Zie (Optioneel) Een opslagreferentie toewijzen aan specifieke werkruimten.

12. Maak een externe locatie die verwijst naar deze opslagreferentie.

(Optioneel) Een opslagreferentie toewijzen aan specifieke werkruimten

Standaard is een opslagreferentie toegankelijk vanuit alle werkruimten in de metastore. Dit betekent dat als een gebruiker een bevoegdheid (zoals CREATE EXTERNAL LOCATION) heeft gekregen voor die opslagreferentie, deze bevoegdheden kan uitoefenen vanuit elke werkruimte die is gekoppeld aan de metastore. Als u werkruimten gebruikt om de toegang tot gebruikersgegevens te isoleren, wilt u mogelijk alleen toegang tot een opslagreferentie vanuit specifieke werkruimten toestaan. Deze functie staat bekend als werkruimtebinding of opslagreferentie-isolatie.

Een typische use case voor het koppelen van een opslagreferentie aan specifieke werkruimten is het scenario waarin een cloudbeheerder een opslagreferentie configureert met behulp van een referentie voor een productiecloudaccount en u ervoor wilt zorgen dat Azure Databricks-gebruikers deze referentie gebruiken om alleen externe locaties in de productiewerkruimte te maken.

Zie (optioneel) Een externe locatie toewijzen aan specifieke werkruimten en Catalogustoegang beperken tot specifieke werkruimtenvoor meer informatie over werkruimtebinding.

Een opslagreferentie koppelen aan een of meer werkruimten

Als u een opslagreferentie wilt toewijzen aan specifieke werkruimten, kunt u Catalog Explorer of de Databricks CLI gebruiken.

Vereiste machtigingen: Metastore-beheerder, opslagreferentie-eigenaar, of MANAGE van de opslagreferentie.

Catalogusverkenner

1. Meld u aan bij een werkruimte die is gekoppeld aan de metastore.

2. Klik in de zijbalk op Catalogus.

3. Klik op de knop Externe gegevens > en ga naar het tabblad Referenties .

4. Selecteer de opslagreferenties en ga naar het tabblad Werkruimten.

5. Schakel op het tabblad Werkruimten het selectievakje Alle werkruimten hebben toegang uit.

   Als uw opslagreferentie al is gebonden aan een of meer werkruimten, is dit selectievakje al uitgeschakeld.

6. Klik op Toewijzen aan werkruimten en voer de werkruimten in die u wilt toewijzen of zoek deze.

Als u de toegang wilt intrekken, gaat u naar het tabblad Werkruimten, selecteert u de werkruimte en klikt u op Intrekken. Als u toegang wilt toestaan vanuit alle werkruimten, selecteert u het selectievakje Alle werkruimten hebben toegang.

CLI (Command Line Interface)

Er zijn twee Databricks CLI-opdrachtgroepen en twee stappen vereist om een opslagreferentie toe te wijzen aan een werkruimte.

Vervang in de volgende voorbeelden <profile-name> door de naam van uw Azure Databricks-verificatieconfiguratieprofiel. Het moet de waarde van een persoonlijk toegangstoken bevatten, naast de naam van het werkruimte-exemplaar en de werkruimte-id van de werkruimte waarin u het persoonlijke toegangstoken hebt gegenereerd. Zie Persoonlijke toegangstokenverificatie (afgeschaft).

1. Gebruik de opdracht van de storage-credentials opdrachtgroep update om de opslagreferenties isolation mode in te stellen op ISOLATED:

   databricks storage-credentials update <my-storage-credential> \
   --isolation-mode ISOLATED \
   --profile <profile-name>
   

   De standaardwaarde isolation-mode is OPEN voor alle werkruimten die zijn gekoppeld aan de metastore.

2. Gebruik de opdracht van de workspace-bindings opdrachtgroep update-bindings om de werkruimten toe te wijzen aan de opslagreferentie:

   databricks workspace-bindings update-bindings storage-credential <my-storage-credential> \
   --json '{
     "add": [{"workspace_id": <workspace-id>}...],
     "remove": [{"workspace_id": <workspace-id>}...]
   }' --profile <profile-name>
   

   Gebruik de eigenschappen "add" en "remove" om werkruimtebindingen toe te voegen of te verwijderen.

   Notitie

   Alleen-lezen koppeling (BINDING_TYPE_READ_ONLY) is niet beschikbaar voor opslaggegevens. Daarom is er geen reden om binding_type in te stellen voor de opslagreferentiebinding.

Gebruik de opdracht workspace-bindings van de opdrachtgroep get-bindings om alle werkruimtetoewijzingen voor een opslagreferentie weer te geven.

databricks workspace-bindings get-bindings storage-credential <my-storage-credential> \
--profile <profile-name>

Een opslagreferentie uit een werkruimte ontkoppelen

Instructies voor het intrekken van toegang tot een werkruimte voor een opslagreferentie met behulp van Catalog Explorer of de workspace-bindings CLI-opdrachtgroep zijn opgenomen in Een opslagreferentie koppelen aan een of meer werkruimten.

Volgende stappen

• Andere gebruikers toestemming geven om een opslagreferentie te gebruiken, bij te werken, te verwijderen en te verlenen. Zie Opslagreferenties beheren.

• Externe locaties definiëren met behulp van een opslagreferentie. Zie Een externe locatie maken om cloudopslag te verbinden met Azure Databricks.