Configurar o Compartilhamento Delta na sua conta (para provedores)

Esta página descreve como configurar o Compartilhamento Delta no Azure Databricks para provedores de dados (organizações que desejam usar o compartilhamento Delta para compartilhar dados com segurança).

Se você for um destinatário de dados (uma organização que recebe dados compartilhados por meio do Compartilhamento Delta), consulte Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários).

A configuração inicial do provedor inclui as seguintes etapas:

1. Habilitar o Delta Sharing em um metastore no Unity Catalog.
2. (Opcional) Instale a CLI do Catálogo do Unity.
3. Conceda privilégios para criar e gerenciar compartilhamentos e destinatários.
4. Configurar auditorias das atividades do Delta Sharing.
5. Configure o tempo de vida (TTL) da materialização de dados.
6. Configurar o acesso à rede de armazenamento.

Requirements

Como um provedor de dados que está configurando sua conta do Azure Databricks para poder compartilhar dados, você deve ter:

• Pelo menos um workspace do Azure Databricks que esteja habilitado para o Unity Catalog.

  Você não precisa migrar todos os workspaces para o Unity Catalog para aproveitar o suporte do Databricks para provedores do Compartilhamento Delta. Veja Se preciso do Catálogo do Unity para usar o Delta Sharing?.

  Os destinatários não precisam ter um espaço de trabalho habilitado no Catálogo do Unity.

• Função de administrador da conta para habilitar o Compartilhamento Delta no metastore do Catálogo do Unity e para habilitar o log de auditoria.

• Função de administrador de metastore ou os privilégios CREATE SHARE e CREATE RECIPIENT. Consulte as funções de administrador.

  Note

  Se o workspace foi habilitado automaticamente para o Catálogo do Unity, talvez você não tenha um administrador de metastore. No entanto, por padrão, os administradores de workspace nesses workspaces têm os privilégios CREATE SHARE e CREATE RECIPIENT no metastore.

  Para obter mais informações, consulte Habilitação automática do Catálogo do Unity e privilégios de administrador do Workspace quando os workspaces são habilitados automaticamente para o Catálogo do Unity.

• Uma configuração de armazenamento em nuvem que permite o acesso à rede do destinatário.

Habilitar o Compartilhamento Delta em um metastore

Não é necessário habilitar o Compartilhamento Delta no metastore para usar o Compartilhamento Delta apenas a fim de compartilhar dados com usuários em outros metastores do Catálogo do Unity em sua conta. O compartilhamento de metastore para metastore dentro de uma única conta do Azure Databricks está ativado por padrão.

Caso contrário, siga estas etapas para cada metastore do Unity Catalog que gerencia os dados que você planeja compartilhar por meio do Delta Sharing.

1. Como administrador de conta do Azure Databricks, faça logon no console da conta.

2. Na barra lateral, clique no Catálogo.

3. Clique no nome de um metastore para abrir os detalhes dele.

4. Clique na caixa de seleção ao lado de Permitir o Compartilhamento Delta com partes fora da sua organização.

5. Configure o tempo de vida do token do destinatário.

   Essa configuração define o período de tempo após o qual todos os tokens de destinatário expiram e devem ser regenerados. Os tokens de destinatário são usados somente no protocolo de compartilhamento aberto . Os tokens são válidos por um máximo de um ano após a criação.

   Note

   O tempo de vida do token de destinatários existentes não é atualizado automaticamente ao alterar o tempo de vida do token de destinatário padrão para um metastore. Para aplicar um novo tempo de vida de token a um determinado destinatário, é necessário girar o token. Consulte Gerenciar os tokens de destinatário.

   Para definir o tempo de vida do token do destinatário padrão:

   1. Confirme se a expiração de Set está habilitada (esse é o padrão).
   2. Insira um número de segundos, minutos, horas ou dias e selecione a unidade de medida. Os tokens são válidos por um máximo de um ano após a criação.
   3. Clique em Habilitar.

   Para obter mais informações, consulte as considerações de segurança para tokens.

6. Ao compartilhar com um destinatário do Azure Databricks que não está em sua conta, insira um nome de organização.

   Note

   Especificar um nome de organização legível ajuda os destinatários a identificar seus provedores de compartilhamento e os objetos de provedor correspondentes na lista de provedores do destinatário.

7. Clique em Habilitar.

(Opcional) Instalar a CLI do Catálogo do Unity

Para gerenciar compartilhamentos e destinatários, use o Catalog Explorer, comandos SQL ou a CLI do Unity Catalog. A CLI é executada no ambiente local e não exige recursos de computação do Azure Databricks.

Para instalar a CLI, consulte o que é a CLI do Databricks?.

Conceder permissão para criar e gerenciar compartilhamentos e destinatários

Os administradores da Metastore têm a capacidade de criar e gerenciar compartilhamentos e destinatários, incluindo a concessão de compartilhamentos aos destinatários. Muitas tarefas de provedor podem ser delegadas por um administrador de metastore usando os seguintes privilégios:

• CREATE SHARE no metastore concede a capacidade de criar compartilhamentos.
• CREATE RECIPIENT no metastore concede a capacidade de criar destinatários.
• USE RECIPIENT no metastore concede a capacidade de listar e exibir detalhes para todos os destinatários no metastore.
• USE SHARE no metastore concede a capacidade de listar e exibir detalhes de todos os compartilhamentos no metastore.
• USE RECIPIENT, USE SHARE, e SET SHARE PERMISSION combinados dão a um usuário a capacidade de conceder acesso de compartilhamento aos destinatários.
• O administrador do metastore tem a capacidade de transferir a propriedade de qualquer compartilhamento.
• Os proprietários de compartilhamentos e destinatários podem atualizar esses objetos e conceder compartilhamentos aos destinatários. Os criadores de objetos recebem a propriedade por padrão, mas a propriedade pode ser transferida.
• Os proprietários de compartilhamentos podem adicionar tabelas e volumes aos compartilhamentos, desde que tenham o acesso SELECT às tabelas e acesso READ VOLUME aos volumes.

Para obter detalhes, consulte privilégios do Catálogo do Unity e objetos securitáveis e as permissões listadas para as tarefas de Delta Sharing descritas.

Habilitar a criação de logs de auditoria

Como administrador de conta do Azure Databricks, é necessário habilitar a criação de logs de auditoria para capturar eventos do Compartilhamento Delta, como:

• Quando alguém cria, modifica, atualiza ou exclui um compartilhamento ou um destinatário
• Quando um destinatário acessa um link de ativação e baixa a credencial (somente compartilhamento aberto)
• Quando um destinatário acessa dados
• Quando a credencial de um destinatário é girada ou expira (somente compartilhamento aberto)

Para habilitar a criação de logs de auditoria, siga as instruções em Referência de log de diagnóstico.

Para obter informações detalhadas sobre como os eventos de compartilhamento Delta são registrados em log, consulte Auditar e monitorar o compartilhamento de dados.

Configurar o TTL da materialização de dados

Como administrador de conta do Azure Databricks ou do metastore, você pode configurar o TTL da materialização de dados, que determina por quanto tempo um resultado materializado fica em cache. As materializações ocorrem quando um destinatário consulta exibições dinâmicas compartilhadas, exibições materializadas, tabelas de streaming e tabelas estrangeiras. Por padrão, o TTL é de oito horas. O cache em si será removido por materialização após três horas adicionais, fornecendo tempo extra para que as consultas existentes sejam concluídas.

Para alterar esse valor, faça o seguinte:

1. No workspace do Azure Databricks, clique no Catálogo para abrir o Gerenciador de Catálogos.

2. Na parte superior do painel Catálogo, clique no e selecione Compartilhamento Delta.

   Como alternativa, na página Acesso rápido, clique no botão Compartilhamento Delta >.

3. Na guia Compartilhado comigo , clique no nome da sua organização no canto superior direito.

4. Clique em Exibir configurações de Compartilhamento Delta.

5. Para TTL de Materialização, insira o valor desejado.

Permitir o acesso à rede para o armazenamento

Se o armazenamento em nuvem subjacente estiver configurado com controles de acesso, adicione a rede do destinatário à lista de permissões para que eles possam ler tabelas compartilhadas.

Para obter detalhes, consulte Configurar firewalls do Armazenamento do Azure e redes virtuais e configurar um firewall para acesso de computação sem servidor.