Conectar-se a um local externo raiz do DBFS (herdado)

Esta página descreve como se conectar a um local externo de armazenamento raiz do DBFS (Databricks File System ). Depois de se conectar, você pode controlar o acesso a objetos no armazenamento raiz do DBFS usando o Catálogo do Unity.

Embora o Databricks recomende não armazenar dados no armazenamento raiz do DBFS, seu workspace pode fazer isso devido a práticas herdadas. Por exemplo, o metastore do Azure Databricks Hive herdado e local do workspace pode ter armazenado dados na raiz do DBFS. Siga este guia para se conectar à raiz DBFS criando primeiro um objeto de credencial de armazenamento que permite o acesso à raiz DBFS e, em seguida, um objeto de local externo que define o caminho para a raiz DBFS. Esses objetos permitem que você se conecte ao metastore do Hive herdado para que sua equipe possa trabalhar com suas tabelas metastore do Hive usando o Catálogo do Unity. Consulte a federação de metastore do Hive: habilite o Catálogo do Unity para controlar as tabelas registradas em um metastore do Hive e habilite a federação de metastore do Hive para um metastore do Hive de área de trabalho legada.

Antes de começar

Para criar um local externo para a raiz DBFS, você deve ter uma credencial de armazenamento definida no Catálogo do Unity que dê acesso ao local de armazenamento em nuvem da raiz do DBFS. Se você ainda não tiver um, o sistema poderá criar um para você durante o processo de criação do local externo.

Requisitos de permissões:

• Você deve ter os privilégios CREATE STORAGE CREDENTIAL e CREATE EXTERNAL LOCATION no metastore. Os administradores do Metastore têm esses privilégios por padrão.

  Note

  Se uma credencial de armazenamento para o local de armazenamento da raiz do DBFS já existir, o usuário que cria o local externo não precisará de CREATE STORAGE CREDENTIAL, mas precisará de CREATE EXTERNAL LOCATION tanto na credencial de armazenamento quanto no metastore.

• Você deve ser um administrador de workspace para que o sistema crie a credencial de armazenamento para você durante a criação do local externo.

  Você não precisará ser um administrador de workspace se já existir uma credencial de armazenamento que dê acesso ao local de armazenamento raiz do DBFS e você tiver CREATE EXTERNAL LOCATION na credencial de armazenamento e no metastore.

Criar o local externo

Você pode usar o Gerenciador de Catálogos para criar um local externo para a raiz DBFS.

1. Na barra lateral, clique no Catálogo.

2. Clique em Dados externos > e crie um local externo.

3. Digite um Nome de localização externa.

4. Para o tipo de armazenamento, selecione Raiz do DBFS.

   A URL e os campos de subcaminho são preenchidos com o caminho de armazenamento em nuvem para a raiz DBFS.

   Important

   Ao criar uma localização externa para o diretório raiz do DBFS, você deve usar o subcaminho para o diretório raiz do DBFS, não o caminho para todo o bucket. A URL e o subcaminho são preenchidos previamente com user/hive/warehouse, que é o local de armazenamento padrão para tabelas metastore do Hive. Se você quiser um controle de acesso detalhado aos dados na raiz do DBFS, poderá criar locais externos separados para sub-caminhos dentro da raiz do DBFS.

   Warning

   Sua raiz DBFS pode ser armazenada no Azure Blob Storage em vez do Azure Data Lake Storage. Esses locais são acessados usando o wasb driver, que não permite controles de diretório ou de nível de arquivo. Portanto, o Catálogo do Unity pode impor o controle de acesso somente no nível do contêiner, o que significa que os usuários com acesso a esse local externo poderão acessar outros dados no mesmo contêiner se estiverem usando recursos de computação com modo de acesso dedicado (antigo modo de acesso de usuário único). Para evitar isso, imponha o uso de recursos de computação do modo de acesso padrão (antigo modo de acesso compartilhado), sql warehouses ou computação sem servidor.

5. Selecione uma credencial de armazenamento que conceda acesso ao local de armazenamento em nuvem raiz do DBFS ou, se nenhuma tiver sido definida, clique em + Criar nova credencial de armazenamento.

   Uma credencial de armazenamento é criada automaticamente quando você salva o local externo.

6. (Opcional) Adicione um comentário.

7. (Opcional) Clique em Opções avançadas e habilite o modo Fallback.

   O modo de recuperação destina-se a cenários de migração de cargas de trabalho herdadas. Consulte Habilitar modo de fallback em locais externos.

8. Clique em Criar.

9. Vá para a guia Permissões para conceder permissão para usar o local externo.

   1. Selecione Conceder.
   2. Selecione usuários, grupos ou entidades de serviço no campo Principais e selecione o privilégio que deseja conceder.
   3. Selecione Conceder.

10. (Opcional) Defina os workspaces que podem acessar esse local externo.

    Por padrão, usuários em qualquer espaço de trabalho que utiliza este metastore do Unity Catalog podem receber acesso aos dados neste local. Você pode limitar o acesso a espaços de trabalho específicos. O Databricks recomenda limitar o acesso ao workspace no qual a raiz do DBFS está.

    Veja Associar um local externo a um ou mais workspaces.