Criar uma credencial de armazenamento para se conectar ao Cloudflare R2

Este artigo descreve como criar uma credencial de armazenamento no Catálogo do Unity para se conectar ao Cloudflare R2. O armazenamento de objetos Cloudflare R2 não incorre em valores a serem pagos pela saída. A replicação ou migração de dados compartilhados para R2 permite compartilhar dados usando o Delta Sharing sem incorrer em cobrança de valores de saída.

Uma credencial de armazenamento contém uma credencial de nuvem de longo prazo que fornece acesso ao armazenamento em nuvem. Você faz referência às credenciais de armazenamento, juntamente com o caminho de armazenamento em nuvem, ao criar locais externos no Catálogo do Unity para controlar o acesso ao armazenamento externo.

Para obter mais informações sobre credenciais de armazenamento e locais externos, consulte Conectar-se ao armazenamento de objetos de nuvem usando o Catálogo do Unity.

Para obter informações sobre outras opções de armazenamento em nuvem compatíveis com o Catálogo do Unity, consulte as opções de armazenamento em nuvem compatíveis com o Catálogo do Unity.

Requisitos

• Workspace do Databricks habilitado para Catálogo do Unity.

• Databricks Runtime 14.3 ou superior ou SQL warehouse 2024.15 ou superior.

  Se você encontrar a mensagem de erro No FileSystem for scheme "r2”, sua computação provavelmente estará em uma versão sem suporte.

• Conta do Cloudflare. Consulte https://dash.cloudflare.com/sign-up.

• Função de administrador do Cloudflare R2. Veja a documentação de funções do Cloudflare.

• Privilégio CREATE STORAGE CREDENTIAL no metastore do Catálogo do Unity anexado ao workspace. Os administradores de conta e administradores de metastore têm esse privilégio por padrão.

Configurar um bucket R2

1. Crie um bucket Cloudflare R2.

   Você pode usar o painel cloudflare ou a ferramenta Cloudflare Wrangler.

   Consulte a documentação de introdução do Cloudflare R2 ou a documentação do Wrangler.

2. Crie um Token de API R2 e aplique-o ao bucket.

   Consulte a documentação de autenticação da API do Cloudflare R2.

   Defina as seguintes propriedades de token:

   • Permissões: leitura e gravação de objeto.

     Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como um destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para r2.

     Se você quiser impor o acesso somente leitura do Azure Databricks ao bucket R2, poderá criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, pois você pode marcar a credencial de armazenamento como somente leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.

   • TTL (opcional): o período de tempo pelo qual você deseja compartilhar os dados do bucket com os destinatários de dados.

   • (opcional) Filtragem de Endereço IP do Cliente: selecione essa opção se você deseja limitar o acesso à rede a endereços IP do destinatário especificados. Se essa opção estiver habilitada, você deverá especificar os endereços IP dos destinatários e permitir a adição do endereço IP NAT do plano de controle do Databricks à lista de permissões para a região do workspace.

   Confira Endereços do painel de controle do Azure Databricks.

3. Copie os valores de token de API R2:

   • ID da Chave de Acesso
   • Chave de Acesso do Segredo

   Importante

   Os valores de token são mostrados apenas uma vez.

4. Na página inicial do R2, acesse Detalhes da conta e copie a ID da conta R2.

Criar a credencial de armazenamento

1. No Azure Databricks, faça logon em seu workspace.

2. Clique no Catálogo.

3. Clique no botão Dados >externos, vá para a guia Credenciais e selecione Criar credencial.

4. Selecione Credencial de armazenamento.

5. Selecione um Tipo de Credencial de Token de API do Cloudflare.

6. Insira um nome para a credencial e os seguintes valores copiados quando você configurou o bucket R2:

   • ID da Conta
   • ID da Chave de Acesso
   • Chave de acesso do segredo

7. (Opcional) Se você quiser que os usuários tenham acesso somente leitura aos locais externos que usam essa credencial de armazenamento, em Opções avançadas, selecione Somente leitura.

   Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que você está usando como um destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2.

   Para obter mais informações, confira Marcar uma credencial de armazenamento como somente leitura.

8. Clique em Criar.

9. Na caixa de diálogo Credencial de armazenamento criada, copie a ID externa.

10. (Opcional) Associe a credencial de armazenamento a workspaces específicos.

    Por padrão, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer workspace anexado ao metastore. Se você quiser permitir o acesso somente de workspaces específicos, acesse a guia Workspaces e atribua os workspaces. Confira (Opcional) Atribuir uma credencial de armazenamento a workspaces específicos.

Próxima etapa: criar a localização externa

Confira Crie um local externo para conectar o armazenamento em nuvem ao Azure Databricks.