Configurar a Partilha Delta para a sua conta (para fornecedores)

Esta página descreve como configurar o Compartilhamento Delta no Azure Databricks para provedores de dados (organizações que desejam usar o Compartilhamento Delta para compartilhar dados com segurança).

Se você for um destinatário de dados (uma organização que recebe dados compartilhados usando o Compartilhamento Delta), consulte Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários).

A configuração inicial do provedor inclui as seguintes etapas:

1. Habilite o compartilhamento delta em um metastore do Unity Catalog.
2. (Opcional) Instale a CLI do Unity Catalog.
3. Conceda privilégios para criar e gerenciar compartilhamentos e destinatários.
4. Configurar auditorias das atividades de Compartilhamento Delta.
5. Configure o time-to-live (TTL) da materialização de dados.
6. Configure o acesso à rede de armazenamento.

Requirements

Como um provedor de dados que está configurando sua conta do Azure Databricks para poder compartilhar dados, você deve ter:

• Pelo menos um espaço de trabalho do Azure Databricks que está habilitado para o Unity Catalog.

  Você não precisa migrar todos os seus espaços de trabalho para o Unity Catalog para aproveitar o suporte a Databricks para provedores de compartilhamento Delta. Veja Preciso do Unity Catalog para usar o Delta Sharing?.

  Os destinatários não precisam ter um espaço de trabalho habilitado para Catálogo Unity.

• Função de administrador da conta para ativar o Delta Sharing para o seu metastore do Catálogo Unity e para ativar o registo de auditoria.

• Função de administrador do Metastore ou os privilégios CREATE SHARE e CREATE RECIPIENT. Consulte Funções de administrador.

  Note

  Se seu espaço de trabalho foi habilitado para o Unity Catalog automaticamente, talvez você não tenha um administrador de metastore. No entanto, os administradores de espaço de trabalho nesses espaços de trabalho têm os privilégios de CREATE SHARE e CREATE RECIPIENT no metastore por padrão.

  Para obter mais informações, consulte Ativação automática do Unity Catalog e privilégios de administrador do espaço de trabalho quando os espaços de trabalho são ativados para o Unity Catalog automaticamente.

• Uma configuração de armazenamento em nuvem que permite o acesso à rede a partir do destinatário.

Habilitar o compartilhamento delta em um metastore

Você não precisa habilitar o Compartilhamento Delta em seu metastore se pretende usar o Compartilhamento Delta apenas para compartilhar dados com usuários em outros metastores do Unity Catalog em sua conta. A partilha entre metastores numa única conta do Azure Databricks está ativada por predefinição.

Caso contrário, siga estas etapas para cada metastore do Unity Catalog que gerencia os dados que você planeja compartilhar usando o Compartilhamento Delta.

1. Como administrador de conta do Azure Databricks, inicie sessão na consola da conta.

2. Na barra lateral, clique no Catálogo.

3. Clique no nome de um metastore para abrir seus detalhes.

4. Clique na caixa de seleção ao lado de Permitir compartilhamento delta com partes fora da sua organização.

5. Configure o tempo de vida do token de destinatário.

   Essa configuração define o período de tempo após o qual todos os tokens de destinatário expiram e devem ser regenerados. Os tokens de destinatário são usados apenas no protocolo de compartilhamento aberto. Os tokens são válidos por um máximo de um ano após a criação.

   Note

   O tempo de vida do token de destinatário para destinatários existentes não é atualizado automaticamente quando você altera o tempo de vida do token de destinatário padrão para um metastore. Para aplicar um novo tempo de vida do token a um determinado destinatário, você deve girar o token dele. Consulte Gerenciar tokens de destinatário.

   Para definir o tempo de vida do token de destinatário padrão:

   1. Confirme se a configuração de expiração está ativada (isto é o padrão).
   2. Insira um número de segundos, minutos, horas ou dias e selecione a unidade de medida. Os tokens são válidos por um máximo de um ano após a criação.
   3. Clique em Ativar.

   Para obter mais informações, consulte Considerações de segurança para tokens.

6. Ao compartilhar com um destinatário do Azure Databricks que não esteja em sua conta, insira um nome da organização.

   Note

   Especificar um nome de organização legível ajuda os destinatários a identificar seus provedores de compartilhamento e os objetos de provedor correspondentes na lista de provedores do destinatário.

7. Clique em Ativar.

(opcional) Instalar a CLI do catálogo Unity

Para gerenciar compartilhamentos e destinatários, você pode usar o Gerenciador de Catálogos, comandos SQL ou a CLI do Catálogo Unity. A CLI é executada em seu ambiente local e não requer recursos de computação do Azure Databricks.

Para instalar a CLI, consulte O que é a CLI do Databricks?.

Conceder permissão para criar e gerenciar compartilhamentos e destinatários

Os administradores da Metastore têm a capacidade de criar e gerenciar compartilhamentos e destinatários, incluindo a concessão de compartilhamentos aos destinatários. Muitas tarefas do provedor podem ser delegadas por um administrador de metastore usando os seguintes privilégios:

• CREATE SHARE no metastore concede a capacidade de criar compartilhamentos.
• CREATE RECIPIENT no metastore é concedida a capacidade de criar destinatários.
• USE RECIPIENT oferece a capacidade de listar e visualizar detalhes de todos os beneficiários no metastore.
• USE SHARE no metastore concede a capacidade de listar e visualizar detalhes de todos os compartilhamentos no metastore.
• USE RECIPIENT, USE SHARE, e SET SHARE PERMISSION combinados dão ao usuário a capacidade de conceder acesso de compartilhamento aos destinatários.
• O administrador da metastore tem a capacidade de transferir a propriedade de qualquer ação.
• Os proprietários de compartilhamentos e os destinatários podem atualizar esses objetos e conceder compartilhamentos aos destinatários. Os criadores de objetos recebem propriedade por padrão, mas a propriedade pode ser transferida.
• Os proprietários de compartilhamentos podem adicionar tabelas e volumes aos compartilhamentos, desde que tenham acesso SELECT às tabelas e READ VOLUME acesso aos volumes.

Para obter detalhes, consulte Privilégios do catálogo Unity e objetos protegíveis e as permissões listadas para as tarefas de compartilhamento delta descritas.

Habilitar o log de auditoria

Como administrador de conta do Azure Databricks, você deve habilitar o log de auditoria para capturar eventos de Compartilhamento Delta, como:

• Quando alguém cria, modifica, atualiza ou exclui um compartilhamento ou um destinatário
• Quando um destinatário acessa um link de ativação e baixa a credencial (somente compartilhamento aberto)
• Quando um destinatário acessa dados
• Quando a credencial de um destinatário é alterada ou expira (apenas partilha aberta)

Para habilitar o registo de auditoria, siga as instruções em Referência do log de diagnóstico.

Para obter informações detalhadas sobre como os eventos de Compartilhamento Delta são registrados, consulte Auditar e monitorar o compartilhamento de dados.

Configurar TTL de materialização de dados

Como administrador de conta do Azure Databricks ou de metastore, pode configurar o tempo de vida útil de materialização de dados, que determina por quanto tempo um resultado materializado é armazenado em cache. As materializações ocorrem quando um destinatário consulta visualizações dinâmicas compartilhadas, exibições materializadas, tabelas de streaming e tabelas estrangeiras. Por padrão, o TTL é de oito horas. O cache em si será removido por materialização após mais três horas, fornecendo tempo extra para que as consultas existentes sejam concluídas.

Para alterar esse valor, faça o seguinte:

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo para abrir o Catalog Explorer.

2. Na parte superior do painel Catálogo , clique no ícone de engrenagem e selecione Compartilhamento Delta.

   Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

3. No separador Partilhado comigo , clique no nome da sua organização no canto superior direito.

4. Clique em Exibir configurações de compartilhamento delta.

5. Para TTL de Materialização, insira o valor TTL desejado.

Permitir o acesso da rede ao armazenamento

Se o armazenamento em nuvem subjacente estiver configurado com controles de acesso, adicione a rede do destinatário à lista de permissões para que ele possa ler tabelas compartilhadas.

Para obter detalhes, consulte Configurar firewalls de armazenamento do Azure e redes virtuais e Configurar um firewall para acesso de computação sem servidor.