Criar uma credencial de armazenamento para se conectar ao Armazenamento do Azure Data Lake

Esta página descreve como criar credenciais de armazenamento no Catálogo Unity para se conectar ao Armazenamento do Azure Data Lake. Para obter informações sobre outras opções de armazenamento em nuvem suportadas pelo Unity Catalog, consulte Opções de armazenamento em nuvem suportadas pelo Unity Catalog.

Uma credencial de armazenamento contém uma credencial de nuvem de longo prazo que fornece acesso ao armazenamento em nuvem. Você faz referência a credenciais de armazenamento, juntamente com o caminho de armazenamento em nuvem, ao criar locais externos no Unity Catalog para controlar o acesso ao armazenamento externo.

Criar uma credencial de armazenamento que acesse o Armazenamento do Azure Data Lake

Você pode usar uma identidade gerida do Azure ou um principal de serviço como a identidade que autoriza o acesso ao seu container de armazenamento. Identidades gerenciadas são altamente recomendadas. Eles têm o benefício de permitir que o Unity Catalog aceda a contas de armazenamento protegidas por regras de rede, o que não é possível utilizando principais de serviço, e eliminam a necessidade de gerir e renovar segredos. Se quiser usar um principal de serviço, consulte Criar armazenamento gerido do Unity Catalog usando um principal de serviço (legado).

Requisitos

No Azure Databricks:

• Espaço de trabalho do Azure Databricks ativado para o Unity Catalog.
• CREATE STORAGE CREDENTIAL privilégio no metastore do Unity Catalog associado ao espaço de trabalho. Os administradores de conta e os administradores de metastore têm esse privilégio por padrão.

No seu locatário do Azure:

• Um contentor de armazenamento do Azure Data Lake Storage. Para evitar cobranças de saída, isso deve estar na mesma região do espaço de trabalho a partir do qual você deseja acessar os dados.

  A conta do Azure Data Lake Storage deve ter um namespace hierárquico.

• Colaborador ou Proprietário de um grupo de recursos do Azure.

• Proprietário, ou um utilizador com a função de Administrador de Acesso de Utilizador do Azure RBAC na conta de armazenamento.

Criar a credencial de armazenamento

1. No portal do Azure, crie um conector de acesso do Azure Databricks e atribua-lhe permissões no contêiner de armazenamento que você gostaria de acessar, usando as instruções em Configurar uma identidade gerenciada para o Catálogo Unity.

   Um conector de acesso do Azure Databricks é um recurso primário do Azure que permite conectar identidades gerenciadas a uma conta do Azure Databricks. Para adicionar a credencial de armazenamento, você deve ter a função de Colaborador ou superior no recurso do conector de acesso no Azure.

   Anote o ID de recurso do conector de acesso.

2. Inicie sessão no seu espaço de trabalho do Azure Databricks ativado para o Unity Catalog como um utilizador que tem o CREATE STORAGE CREDENTIAL privilégio.

   As funções de administrador de metastore e administrador de conta incluem esse privilégio.

3. Clique no Catálogo.

4. Clique no botão Dados >Externos, vá ao separador Credenciais e selecione Criar credencial.

5. Selecione Credencial de armazenamento.

6. Selecione um tipo de credencial do Azure Managed Identity.

7. Insira um nome para a credencial e insira o ID de recurso do conector de acesso no formato:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

8. (Opcional) Se você criou o conector de acesso usando uma identidade gerenciada atribuída pelo usuário, insira a ID do recurso da identidade gerenciada no campo ID de identidade gerenciada atribuída pelo usuário, no formato:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
   

9. (Opcional) Se desejar que os utilizadores tenham acesso somente leitura aos locais externos que usam esta credencial de armazenamento, selecione Somente leitura. Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.

10. Clique em Criar.

11. (Opcional) Associe a credencial de armazenamento a espaços de trabalho específicos.

    Por padrão, qualquer usuário privilegiado pode usar a credencial de armazenamento em qualquer espaço de trabalho anexado ao metastore. Se você quiser permitir o acesso apenas de espaços de trabalho específicos, vá para a guia Espaços de trabalho e atribua espaços de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos.

12. Crie um local externo que faça referência a essa credencial de armazenamento.

(Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos

Por padrão, uma credencial de armazenamento é acessível a partir de todos os espaços de trabalho no metastore. Isso significa que, se um usuário tiver recebido um privilégio (como CREATE EXTERNAL LOCATION) nessa credencial de armazenamento, ele poderá exercer esse privilégio de qualquer espaço de trabalho anexado ao metastore. Se você usar espaços de trabalho para isolar o acesso aos dados do usuário, convém permitir o acesso a uma credencial de armazenamento somente de espaços de trabalho específicos. Esse recurso é conhecido como vinculação de espaço de trabalho ou isolamento de credenciais de armazenamento.

Um caso de uso típico para vincular uma credencial de armazenamento a espaços de trabalho específicos é o cenário no qual um administrador de nuvem configura uma credencial de armazenamento usando uma credencial de conta de nuvem de produção e você deseja garantir que os usuários do Azure Databricks usem essa credencial para criar locais externos somente no espaço de trabalho de produção.

Para obter mais informações sobre a associação de espaços de trabalho, consulte (Opcional) Atribuir um local externo a espaços de trabalho específicos e Limitar o acesso do catálogo a espaços de trabalho específicos.

Vincular uma credencial de armazenamento a um ou mais espaços de trabalho

Para atribuir uma credencial de armazenamento a espaços de trabalho específicos, você pode usar o Gerenciador de Catálogos ou a CLI do Databricks.

Permissões necessárias: Administrador do Metastore, proprietário da credencial de armazenamento ou MANAGE na credencial de armazenamento.

Explorador de Catálogos

1. Faça login em um espaço de trabalho vinculado ao metastore.

2. Na barra lateral, clique no Catálogo.

3. Clique no botão Dados >Externos e vá ao separador Credenciais.

4. Selecione a credencial de armazenamento e vá para o separador Espaços de trabalho.

5. Na guia Espaços de trabalho, desmarque a caixa de seleção Todos os espaços de trabalho têm acesso.

   Se sua credencial de armazenamento já estiver vinculada a um ou mais espaços de trabalho, essa caixa de seleção já estará desmarcada.

6. Clique em Atribuir a espaços de trabalho e insira ou encontre os espaços de trabalho que deseja atribuir.

Para revogar o acesso, vá para a guia Espaços de trabalho, selecione o espaço de trabalho e clique em Revogar. Para permitir o acesso a partir de todos os espaços de trabalho, marque a caixa de seleção Todos os espaços de trabalho têm acesso.

CLI

Há dois grupos de comandos da CLI do Databricks e duas etapas necessárias para atribuir uma credencial de armazenamento a um espaço de trabalho.

Nos exemplos a seguir, substitua <profile-name> pelo nome do seu perfil de configuração de autenticação do Azure Databricks. Ele deve incluir o valor de um token de acesso pessoal, além do nome da instância do espaço de trabalho e do ID do espaço de trabalho onde você gerou o token de acesso pessoal. Consulte Autenticação de token de acesso pessoal (preterida).

1. Use o storage-credentials comando do grupo de update comandos para definir as credenciais de isolation mode armazenamento como ISOLATED:

   databricks storage-credentials update <my-storage-credential> \
   --isolation-mode ISOLATED \
   --profile <profile-name>
   

   O padrão isolation-mode é OPEN para todos os espaços de trabalho anexados ao metastore.

2. Use o workspace-bindings comando do grupo de update-bindings comandos para atribuir os espaços de trabalho à credencial de armazenamento:

   databricks workspace-bindings update-bindings storage-credential <my-storage-credential> \
   --json '{
     "add": [{"workspace_id": <workspace-id>}...],
     "remove": [{"workspace_id": <workspace-id>}...]
   }' --profile <profile-name>
   

   Utilize as propriedades "add" e "remove" para adicionar ou remover associações de espaço de trabalho.

   Nota

   A vinculação somente leitura (BINDING_TYPE_READ_ONLY) não está disponível para credenciais de armazenamento. Portanto, não há razão para definir binding_type a vinculação de credenciais de armazenamento.

Para listar todas as atribuições de espaço de trabalho para uma credencial de armazenamento, use o workspace-bindings comando do grupo de get-bindings comandos:

databricks workspace-bindings get-bindings storage-credential <my-storage-credential> \
--profile <profile-name>

Desvincular uma credencial de armazenamento de um espaço de trabalho

As instruções para revogar o acesso do espaço de trabalho a uma credencial de armazenamento usando o Gerenciador de Catálogos ou o grupo de comandos da workspace-bindings CLI estão incluídas em Vincular uma credencial de armazenamento a um ou mais espaços de trabalho.

Próximos passos

• Exibir, atualizar, excluir e conceder permissão a outros usuários para usar uma credencial de armazenamento. Consulte Gerenciar credenciais de armazenamento.

• Defina locais externos usando uma credencial de armazenamento. Consulte Criar um local externo para conectar o armazenamento em nuvem ao Azure Databricks.