Criar uma credencial de armazenamento para se conectar ao Cloudflare R2

Este artigo descreve como criar uma credencial de armazenamento no Unity Catalog para se conectar ao Cloudflare R2. O armazenamento de objetos do Cloudflare R2 não incorre em taxas de saída. Replicar ou migrar dados que você compartilha para o R2 permite que você compartilhe dados entre nuvens e regiões sem incorrer em taxas de saída.

Uma credencial de armazenamento contém uma credencial de nuvem de longo prazo que fornece acesso ao armazenamento em nuvem. Você faz referência a credenciais de armazenamento, juntamente com o caminho de armazenamento em nuvem, ao criar locais externos no Unity Catalog para controlar o acesso ao armazenamento externo.

Para obter mais informações sobre credenciais de armazenamento e locais externos, consulte Conectar-se ao armazenamento de objetos na nuvem usando o Unity Catalog.

Para obter informações sobre outras opções de armazenamento em nuvem suportadas pelo Unity Catalog, consulte Opções de armazenamento em nuvem suportadas pelo Unity Catalog.

Requisitos

• Espaço de trabalho Databricks ativado para o Unity Catalog.

• Databricks Runtime 14.3 ou superior ou SQL warehouse 2024.15 ou superior.

  Se você encontrar a mensagem No FileSystem for scheme "r2”de erro , sua computação provavelmente está em uma versão não suportada.

• Conta Cloudflare. Consulte https://dash.cloudflare.com/sign-up.

• Função de administrador do Cloudflare R2. Consulte a documentação de funções da Cloudflare.

• CREATE STORAGE CREDENTIAL privilégio no metastore do Unity Catalog associado ao espaço de trabalho. Os administradores de conta e os administradores de metastore têm esse privilégio por padrão.

Configurar um bucket R2

1. Crie um repositório do Cloudflare R2.

   Você pode usar o painel da Cloudflare ou a ferramenta Cloudflare Wrangler.

   Consulte a documentação "Introdução" do Cloudflare R2 ou a documentação do Wrangler.

2. Crie um token de API R2 e aplique-o ao bucket.

   Consulte a documentação de autenticação da API do Cloudflare R2.

   Defina as seguintes propriedades de token:

   • Permissões: Ler & Gravar Objetos.

     Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

     Caso pretenda impor o acesso apenas de leitura do Azure Databricks ao bucket R2, pode, em vez disso, criar um token que conceda apenas acesso de leitura. No entanto, isso pode ser desnecessário, porque você pode marcar a credencial de armazenamento como somente leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.

   • (Opcional) TTL: O período de tempo que você deseja compartilhar os dados do bucket com os destinatários dos dados.

   • (Opcional) Filtragem de Endereço IP do Cliente: Selecione se deseja limitar o acesso à rede aos endereços IP de destinatários especificados. Se essa opção estiver habilitada, você deverá especificar os endereços IP dos destinatários e permitir o endereço IP NAT do plano de controle Databricks para a região do espaço de trabalho.

   Consulte Endereços do plano de controlo do Azure Databricks.

3. Copie os valores do token da API R2:

   • ID da chave de acesso
   • Chave de acesso secreta

   Importante

   Os valores de token são mostrados apenas uma vez.

4. Na página inicial do R2, vá para Detalhes da conta e copie o ID da conta R2.

Criar a credencial de armazenamento

1. No Azure Databricks, inicie sessão na sua área de trabalho.

2. Clique no Catálogo.

3. Clique no botão Dados >Externos, vá ao separador Credenciais e selecione Criar credencial.

4. Selecione Credencial de armazenamento.

5. Selecione um Tipo de Credencial de Token de API da Cloudflare.

6. Insira um nome para a credencial e os seguintes valores que você copiou quando configurou o bucket R2:

   • ID da conta
   • ID da chave de acesso
   • Chave de acesso secreta

7. (Opcional) Se desejar que os usuários tenham acesso somente leitura aos locais externos que usam essa credencial de armazenamento, em Opções avançadas , selecione Somente leitura.

   Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que está usando como destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

   Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente de leitura.

8. Clique em Criar.

9. Na caixa de diálogo Credencial de armazenamento criada, copie a ID externa.

10. (Opcional) Associe a credencial de armazenamento a espaços de trabalho específicos.

    Por padrão, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer espaço de trabalho anexado ao metastore. Se você quiser permitir o acesso apenas de espaços de trabalho específicos, vá para a guia Espaços de trabalho e atribua espaços de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos.

Próximo passo: criar o local externo

Consulte Criar um local externo para conectar o armazenamento em nuvem ao Azure Databricks.