Een opslagreferentie maken om verbinding te maken met Cloudflare R2

In dit artikel wordt beschreven hoe u een opslagreferentie maakt in Unity Catalog om verbinding te maken met Cloudflare R2. Voor Cloudflare R2-objectopslag worden geen uitgaande kosten in rekening gebracht. Door het repliceren of migreren van uw gegevens die u met R2 deelt, kunt u data delen over clouds en regio's zonder kosten voor uitgaand verkeer.

Een opslagreferentie bevat een langetermijnreferentie voor de cloud die toegang biedt tot cloudopslag. U verwijst naar opslagreferenties, samen met het cloudopslagpad, wanneer u externe locaties in Unity Catalog maakt om de toegang tot externe opslag te beheren.

Zie Verbinding maken met cloudobjectopslag met behulp van Unity Catalog voor meer informatie over opslagreferenties en externe locaties.

Zie Cloudopslagopties die worden ondersteund door Unity Catalog voor meer informatie over andere cloudopslagopties die worden ondersteund door Unity Catalog.

Vereisten

• Databricks-werkruimte ingeschakeld voor Unity Catalog.

• Databricks Runtime 14.3 of hoger, of SQL Warehouse 2024.15 of hoger.

  Als u het foutbericht No FileSystem for scheme "r2”krijgt, bevindt uw berekening zich waarschijnlijk op een niet-ondersteunde versie.

• Cloudflare-account. Zie https://dash.cloudflare.com/sign-up.

• Cloudflare R2-beheerdersrol. Raadpleeg de documentatie over Cloudflare-rollen.

• CREATE STORAGE CREDENTIAL privilege op de Unity Catalog-metastore gekoppeld aan de werkruimte. Accountbeheerders en metastore-beheerders hebben deze bevoegdheid standaard.

Een R2-bucket configureren

1. Maak een Cloudflare R2-bucket.

   U kunt het Cloudflare-dashboard of het hulpprogramma Cloudflare Wrangler gebruiken.

   Zie de documentatie Cloudflare R2 'Aan de slag' of de Wrangler-documentatie.

2. Maak een R2 API-token en pas dit toe op de bucket.

   Raadpleeg de documentatie voor Cloudflare R2-API-verificatie.

   Stel de volgende tokeneigenschappen in:

   • Machtigingen: Object lezen en schrijven.

     Deze machtiging verleent lees- en schrijftoegang, die vereist is wanneer u R2-opslag als replicatiedoel gebruikt, zoals beschreven in Cloudflare R2-replica's gebruiken of opslag migreren naar R2.

     Als u alleen-lezentoegang van Azure Databricks wilt afdwingen naar de R2-bucket, kunt u in plaats daarvan een token maken dat alleen-lezentoegang verleent. Dit kan echter onnodig zijn, omdat u de opslagreferentie kunt markeren als alleen-lezen en alle schrijftoegang die door deze machtiging wordt verleend, wordt genegeerd.

   • (optioneel) TTL: de duur dat u de bucketgegevens wilt delen met de gegevensontvangers.

   • (optioneel) filteren van IP-adressen van clients: selecteer deze optie als u de netwerktoegang tot opgegeven IP-adressen van geadresseerden wilt beperken. Als deze optie is ingeschakeld, moet u de IP-adressen van de geadresseerden opgeven en moet u het NAT-IP-adres van het Databricks-besturingsvlak voor de werkruimteregio toestaan.

   Zie Azure Databricks-besturingsvlakadressen.

3. Kopieer de R2 API-tokenwaarden:

   • Toegangssleutel-id
   • Geheime toegangssleutel

   Belangrijk

   Tokenwaarden worden slechts eenmaal weergegeven.

4. Ga op de startpagina van R2 naar Accountgegevens en kopieer de R2-account-id.

De opslagreferentie maken

1. Meld u in Azure Databricks aan bij uw werkruimte.

2. Klik op Catalogus.

3. Klik op de knop Externe gegevens > , ga naar het tabblad Referenties en selecteer Referentie maken.

4. Selecteer opslaggegevens.

5. Selecteer een referentietype van Cloudflare API-token.

6. Voer een naam in voor de referentie en de volgende waarden die u hebt gekopieerd toen u de R2-bucket hebt geconfigureerd:

   • Account-id
   • Toegangssleutel-id
   • Geheime toegangssleutel

7. (Optioneel) Als u wilt dat gebruikers alleen-lezentoegang hebben tot de externe locaties die gebruikmaken van deze opslagreferentie, selecteert u in geavanceerde optiesalleen-lezenselecteren.

   Selecteer deze optie niet als u de opslagreferentie wilt gebruiken voor toegang tot R2-opslag die u als replicatiedoel gebruikt, zoals beschreven in Cloudflare R2-replica's gebruiken of opslag migreren naar R2.

   Zie Een opslagreferentie markeren als alleen-lezen voor meer informatie.

8. Klik op Create.

9. In het dialoogvenster Opslagreferentie gemaakt, kopieer de Externe ID.

10. (Optioneel) Koppel de opslagreferentie aan specifieke werkruimten.

    Standaard kan een opslagreferentie worden gebruikt door elke bevoegde gebruiker in elke werkruimte die is gekoppeld aan de metastore. Als u alleen toegang vanuit specifieke werkruimten wilt toestaan, gaat u naar het tabblad Werkruimten en wijst u werkruimten toe. Zie (Optioneel) Een opslagreferentie toewijzen aan specifieke werkruimten.

Volgende stap: de externe locatie maken

Zie Een externe locatie maken om cloudopslag te verbinden met Azure Databricks.