Acessar dados compartilhados com você usando o Delta Sharing (para destinatários)

Este artigo mostra como acessar dados que foram compartilhados com você usando o Delta Sharing.

Delta Sharing e Recetores de Dados

O Delta Sharing é um padrão aberto para compartilhamento seguro de dados. Um usuário do Databricks, conhecido como um provedor de dados neste contexto, pode usar o Compartilhamento Delta no Azure Databricks para compartilhar dados com uma pessoa ou grupo fora de sua organização, chamado de destinatário de dados.

Compartilhamento de Databricks para Databricks e compartilhamento aberto

A forma como você acessa os dados depende se você mesmo é um usuário do Databricks e se seu provedor de dados configurou ou não os dados que estão sendo compartilhados com você para compartilhamento de Databricks para Databricks ou compartilhamento aberto.

No modelo Databricks-to-Databricks, você deve ser um usuário em um espaço de trabalho Databricks habilitado para o Unity Catalog. Um membro da sua equipe fornece ao provedor de dados um identificador exclusivo para o metastore do Unity Catalog, e o provedor de dados usa isso para criar uma conexão de compartilhamento segura. Os dados compartilhados ficam disponíveis para acesso em seu espaço de trabalho. Se necessário, um membro da sua equipe configura o controle de acesso granular nesses dados.

No modelo de compartilhamento aberto, você pode usar qualquer ferramenta que desejar (incluindo Databricks) para acessar os dados compartilhados. O fornecedor de dados envia-lhe um URL de ativação ou uma ligação de portal através de um canal seguro. Segue-o para transferir um ficheiro de credenciais ou um URL que lhe permite aceder aos dados que foram partilhados consigo.

Os dados compartilhados não são fornecidos diretamente pelo Databricks, mas por provedores de dados em execução no Azure Databricks.

Tenha acesso aos dados partilhados consigo

A forma como acede aos dados depende se o seu fornecedor de dados partilhou dados consigo utilizando o protocolo de partilha aberto ou o protocolo de partilha Databricks-to-Databricks. Consulte Compartilhamento de Databricks para Databricks e compartilhamento aberto.

Obtenha acesso no modelo Databricks-to-Databricks

No modelo Databricks-to-Databricks:

1. O provedor de dados envia instruções para localizar um identificador exclusivo para o metastore do Unity Catalog associado ao seu espaço de trabalho Databricks e você o envia para eles.

   O identificador de compartilhamento é uma cadeia de caracteres que consiste na nuvem, região e UUID (o identificador exclusivo do metastore), no formato <cloud>:<region>:<uuid>. Por exemplo, aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.

   Para obter o identificador de compartilhamento usando o Gerenciador de Catálogos:

   1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo.

   2. Na parte superior do painel Catálogo , clique no ícone de engrenagem e selecione Compartilhamento Delta.

      Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

   3. Na guia Compartilhado comigo, clique no nome da organização de compartilhamento do Databricks no canto superior direito e selecione Copiar identificador de compartilhamento.

   Para obter o identificador de compartilhamento usando um bloco de anotações ou uma consulta SQL do Databricks, use a função CURRENT_METASTORESQL padrão. Se utilizar um computador portátil, este deverá operar no padrão ou no modo de acesso dedicado no espaço de trabalho que usará para aceder aos dados partilhados.

   SELECT CURRENT_METASTORE();
   

2. O provedor de dados cria:

   • Um destinatário na conta Databricks para representar si e os utilizadores na sua organização que acederão aos dados.
   • Um compartilhamento, que é uma representação das tabelas, volumes e exibições a serem compartilhados com você.

3. Você acessa os dados compartilhados com você. Você ou alguém da sua equipe pode, se necessário, configurar o acesso a dados granulares nesses dados para seus usuários. Consulte Leia dados partilhados usando o Partilhamento Delta de Databricks para Databricks (para os destinatários).

Obtenha acesso no modelo de compartilhamento aberto

No modelo de partilha aberta:

1. O provedor de dados cria:

   • Um destinatário na conta Databricks para representar si e os utilizadores na sua organização que acederão aos dados.
   • Um compartilhamento, que é uma representação das tabelas e partições a serem compartilhadas com você.

2. O fornecedor de dados envia-lhe um URL de ativação (através de um canal seguro) ou um URL do portal. Siga o link para descarregar um ficheiro de credenciais ou um URL que lhe permite aceder aos dados partilhados consigo.

   Ambos os tokens de portador e credenciais de cliente OAuth são suportados.

   Importante

   Não compartilhe o link de ativação com ninguém. Você pode baixar um arquivo de credenciais apenas uma vez. Se você visitar o link de ativação novamente depois que o arquivo de credenciais já tiver sido baixado, o botão Baixar arquivo de credenciais será desativado.

   Se você perder o link de ativação antes de usá-lo, entre em contato com o provedor de dados.

3. Armazene o arquivo de credenciais em um local seguro.

   Não compartilhe o arquivo de credenciais com ninguém fora do grupo de usuários que deve ter acesso aos dados compartilhados. Se você precisar compartilhá-lo com alguém em sua organização, o Databricks recomenda o uso de um gerenciador de senhas.

Ler os dados partilhados

A forma como você lê os dados que foram compartilhados com segurança com você usando o Compartilhamento Delta depende se você recebeu um arquivo de credenciais (o modelo de compartilhamento aberto) ou se está usando um espaço de trabalho Databricks e forneceu ao provedor de dados seu identificador de compartilhamento (o modelo Databricks para Databricks).

Ler dados compartilhados usando um arquivo de credenciais (compartilhamento aberto)

Se os dados tiverem sido compartilhados com você usando o protocolo de compartilhamento aberto Delta Sharing com tokens de portador, use o arquivo de credenciais baixado para autenticar na conta do provedor de dados e ler os dados compartilhados. O acesso persiste enquanto o token subjacente for válido e o provedor continuar a compartilhar os dados. Os provedores gerenciam a expiração e a rotação do token. Os tokens são válidos por um máximo de um ano após a criação. As atualizações dos dados estão disponíveis para você quase em tempo real. Você pode ler e fazer cópias dos dados compartilhados, mas não pode modificar os dados de origem.

Para saber como acessar e ler dados compartilhados usando o arquivo de credenciais no Azure Databricks, Apache Spark, pandas e Power BI, consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing com tokens de portador (para destinatários).

Ler dados compartilhados usando uma federação OIDC (compartilhamento aberto)

Se os dados tiverem sido compartilhados com você usando o protocolo de compartilhamento aberto Delta Sharing com federação OIDC, use a URL que lhe foi enviada para se autenticar na conta do provedor de dados e ler os dados compartilhados. O acesso persiste enquanto o provedor continuar a compartilhar os dados. As atualizações dos dados estão disponíveis para você quase em tempo real. Você pode ler e fazer cópias dos dados compartilhados, mas não pode modificar os dados de origem.

Para saber como acessar e ler dados compartilhados usando o fluxo de federação de tokens OIDC no Tableau e no Power BI, consulte Receber compartilhamentos Delta usando a federação Open ID Connect (OIDC) em um fluxo de usuário para máquina (compartilhamento aberto). Para saber como aceder e ler dados partilhados usando o fluxo de federação de tokens OIDC numa aplicação cliente Python, consulte Receber partilhas Delta Sharing usando um cliente Python e a federação Open ID Connect (OIDC) num fluxo máquina-a-máquina (partilha aberta).

Ler dados compartilhados usando o compartilhamento de Databricks para Databricks

Se os dados tiverem sido compartilhados com você usando o modelo Databricks-to-Databricks, nenhum arquivo de credencial será necessário para acessar os dados compartilhados. O Databricks cuida da conexão segura e os dados compartilhados são automaticamente detetáveis em seu espaço de trabalho Databricks.

Para saber como localizar, ler e gerir esses dados partilhados no seu espaço de trabalho Databricks, consulte Ler dados partilhados usando o Databricks-to-Databricks Delta Sharing (para destinatários).

Auditar o uso de dados compartilhados

Se você tiver acesso a um espaço de trabalho do Azure Databricks, poderá usar os logs de auditoria do Azure Databricks para entender quem em sua organização está acessando quais dados usando o Compartilhamento Delta. Consulte Auditar e monitorar o compartilhamento de dados.

Próximos passos

• Saiba mais sobre o Azure Databricks
• Saiba mais sobre o Delta Sharing
• Saiba mais sobre o Catálogo Unity