Ler dados compartilhados usando o Compartilhamento Delta de Databricks para Databricks (para destinatários)

Esta página descreve como ler dados compartilhados com você usando o protocolo Databricks-to-Databricks Delta Sharing, onde o Databricks gerencia uma conexão segura para compartilhamento de dados. Ao contrário do protocolo de compartilhamento aberto Delta Sharing, o protocolo Databricks-to-Databricks não requer um arquivo de credencial (segurança baseada em token).

O compartilhamento de Databricks para Databricks requer que você, como destinatário, atenda aos dois requisitos a seguir:

• Você tem acesso a um espaço de trabalho Databricks habilitado para o Unity Catalog.
• O provedor está usando o protocolo Databricks-to-Databricks Delta Sharing, não o protocolo de compartilhamento aberto, que fornece um arquivo de credencial.

Se qualquer um dos requisitos não for atendido, consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing com tokens de portador (para destinatários).

Como posso disponibilizar dados partilhados à minha equipa?

Para ler dados e cadernos que foram partilhados consigo usando o protocolo Databricks-to-Databricks, deve ser um utilizador num espaço de trabalho Databricks com o Unity Catalog ativado. Um membro de sua equipe fornece ao provedor de dados um identificador exclusivo para seu metastore do Unity Catalog, e o provedor de dados usa esse identificador para criar uma conexão de compartilhamento segura com sua organização. Em seguida, os dados compartilhados ficam disponíveis para acesso de leitura em seu espaço de trabalho. As atualizações que o provedor de dados faz para as tabelas, exibições, volumes e partições compartilhadas são refletidas em seu espaço de trabalho quase em tempo real.

Para ler os dados que foram partilhados consigo:

1. Um usuário da sua equipe encontra o compartilhamento — o contêiner para as tabelas, exibições, volumes e blocos de anotações que foram compartilhados com você — e usa esse compartilhamento para criar um catálogo — o contêiner de nível superior para todos os dados no Databricks Unity Catalog.
2. Um usuário da sua equipe concede ou nega acesso ao catálogo e aos objetos dentro do catálogo (esquemas, tabelas, exibições e volumes) aos membros da sua equipe.
3. Você lê os dados nas tabelas, exibições e volumes aos quais tem acesso, da mesma forma que qualquer ativo de dados no Databricks com acesso somente de leitura (SELECT ou READ VOLUME).
4. Você pode visualizar e clonar blocos de anotações no compartilhamento, desde que tenha o USE CATALOG privilégio no catálogo.

Permissões necessárias

Para poder listar e visualizar detalhes sobre todos os provedores e compartilhamentos de provedores, você deve ser um administrador de metastore ou ter o USE PROVIDER privilégio. Outros usuários têm acesso apenas aos provedores e compartilhamentos que possuem.

Para criar um catálogo a partir de uma partilha de fornecedor, deve ser um administrador de metastore, um utilizador que tenha os privilégios CREATE CATALOG e USE PROVIDER para o metastore do Unity Catalog, ou um utilizador que tenha o privilégio CREATE CATALOG e propriedade do objeto do fornecedor.

A capacidade de conceder acesso somente leitura aos esquemas (bancos de dados), tabelas, exibições e volumes no catálogo criado a partir do compartilhamento segue a hierarquia de privilégios típica do Unity Catalog. A capacidade de visualizar cadernos no catálogo criado a partir da partilha requer o USE CATALOG privilégio no catálogo. Consulte Gerir permissões para esquemas, tabelas e volumes num catálogo Delta Sharing.

Ver fornecedores e partilhas

Para começar a ler os dados que foram compartilhados com você por um provedor de dados, você precisa saber o nome do provedor e compartilhar objetos armazenados em seu metastore do Unity Catalog depois que o provedor tiver compartilhado dados com você.

O objeto provider representa o metastore do Unity Catalog, a plataforma de nuvem e a região da organização que compartilhou os dados com você.

O objeto share representa as tabelas, volumes e exibições que o provedor compartilhou com você.

Ver todos os fornecedores que partilharam dados consigo

Para exibir uma lista de provedores de dados disponíveis, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Unity do Databricks ou o SHOW PROVIDERS comando SQL em um bloco de anotações do Azure Databricks ou o editor de consultas do Databricks SQL.

Permissões necessárias: Você deve ser um administrador de metastore ou ter o USE PROVIDER privilégio. Outros utilizadores têm acesso apenas aos fornecedores e partilhas de fornecedores que possuem.

Para obter detalhes, consulte Exibir provedores.

Ver detalhes do fornecedor

Para exibir detalhes sobre um provedor, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Databricks Unity ou o DESCRIBE PROVIDER comando SQL em um bloco de anotações do Azure Databricks ou o editor de consultas Databricks SQL.

Permissões necessárias: Você deve ser um administrador de metastore, ter o USE PROVIDER privilégio ou possuir o objeto do provedor.

Para obter detalhes, consulte Exibir detalhes do provedor.

Ver partilhas

Para exibir os compartilhamentos que um provedor compartilhou com você, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Unity do Databricks ou o SHOW SHARES IN PROVIDER comando SQL em um bloco de anotações do Azure Databricks ou no editor de consultas do Databricks SQL.

Permissões necessárias: Você deve ser um administrador de metastore, ter o USE PROVIDER privilégio ou possuir o objeto do provedor.

Para obter detalhes, consulte Exibir compartilhamentos que um provedor compartilhou com você.

Acessar dados em uma tabela ou volume compartilhado

Para ler dados em uma tabela ou volume compartilhado:

1. Um usuário privilegiado deve criar um catálogo a partir do compartilhamento que contém a tabela ou o volume. Pode ser um administrador do metastore, um utilizador que tenha ambos os privilégios CREATE CATALOG e USE PROVIDER para o metastore do Unity Catalog, ou um utilizador que tenha o privilégio CREATE CATALOG e a propriedade do objeto do provedor.
2. Este utilizador ou um utilizador com os mesmos privilégios deve conceder-lhe acesso à tabela ou volume partilhado.
3. Você pode acessar a tabela ou o volume da mesma forma que faria com qualquer outro ativo de dados registrado em seu metastore do Catálogo Unity.

Criar um catálogo a partir de uma partilha

Para tornar os dados de um compartilhamento acessíveis à sua equipe, você deve criar um catálogo a partir do compartilhamento ou montar o compartilhamento em um catálogo compartilhado existente. Para criar um catálogo a partir de um compartilhamento, você pode usar o Gerenciador de Catálogos, a CLI do Catálogo Databricks Unity ou comandos SQL em um bloco de anotações do Azure Databricks ou no editor de consultas Databricks SQL. Para montar o compartilhamento em um catálogo compartilhado existente, você pode usar o Gerenciador de Catálogos.

Permissões necessárias para criar um catálogo: um administrador de metastore, um utilizador que tenha os privilégios CREATE CATALOG e USE PROVIDER para o seu metastore do Unity Catalog, ou um utilizador que tenha o privilégio CREATE CATALOG e a propriedade do objeto do provedor.

Permissões necessárias para montar a partilha num catálogo existente: um utilizador deve ter o privilégio USE PROVIDER ou a propriedade do objeto do fornecedor e deve também ou possuir o catálogo de partilha existente ou ter ambos os privilégios MANAGE e USE CATALOG no catálogo de partilha existente.

Explorador de Catálogos

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo para abrir o Catalog Explorer.

2. Na parte superior do painel Catálogo , clique no ícone de engrenagem e selecione Compartilhamento Delta.

   Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

3. Na guia Compartilhado comigo , localize e selecione o provedor.

4. Encontre a partilha desejada e clique em Montar no catálogo na linha da partilha.

5. Selecione Criar um novo catálogo ou Montar no catálogo existente para adicionar o ativo de dados a um catálogo existente.

6. Insira um nome para o seu novo catálogo ou escolha a que catálogo já existente adicionar o compartilhamento.

7. Clique em Criar ou Montar.

Como alternativa, ao abrir o Gerenciador de Catálogos, você pode clicar em + > Criar Catálogo no canto superior direito para criar um catálogo compartilhado. Consulte Criar catálogos.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

O catálogo criado a partir de uma partilha é do tipo Delta Sharing. Você pode visualizar o tipo na página de detalhes do catálogo no Catalog Explorer ou executando o comando DESCRIBE CATALOG SQL num bloco de anotações ou numa consulta SQL do Databricks. Todos os catálogos compartilhados são listados em Catálogo > compartilhado no painel esquerdo do Gerenciador de Catálogos.

Um catálogo Delta Sharing pode ser gerenciado da mesma forma que catálogos regulares em um metastore Unity Catalog. Você pode visualizar, atualizar e excluir um catálogo de Compartilhamento Delta usando o Explorador de Catálogos, a CLI do Databricks, e usando os comandos SHOW CATALOGS, DESCRIBE CATALOG, ALTER CATALOG e DROP CATALOG SQL.

A estrutura de namespace de 3 níveis em um catálogo Delta Sharing criado a partir de um compartilhamento é a mesma de um catálogo regular no Unity Catalog: catalog.schema.table ou catalog.schema.volume.

Os dados de tabela e volume num catálogo partilhado são apenas de leitura, o que significa que é possível executar operações de leitura, como:

• DESCRIBE, SHOW, e SELECT para tabelas.
• DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>', e COPY INTO para volumes.

Os cadernos num catálogo partilhado podem ser visualizados e clonados por qualquer utilizador com USE CATALOG no catálogo.

Os modelos em um catálogo compartilhado podem ser lidos e carregados para inferência por qualquer usuário com os seguintes privilégios: EXECUTE privilégio no modelo registrado, mais USE SCHEMA e USE CATALOG privilégios no esquema e catálogo que contém o modelo.

Gerenciar permissões para esquemas, tabelas e volumes em um catálogo de Compartilhamento Delta

Por padrão, o criador do catálogo é o proprietário de todos os objetos de dados em um catálogo de Compartilhamento Delta e pode gerenciar permissões para qualquer um deles.

Os privilégios são herdados de forma descendente, embora alguns espaços de trabalho ainda possam estar no modelo de segurança antigo que não suporta a herança. Consulte Modelo de herança. Qualquer usuário que tenha recebido o SELECT privilégio no catálogo terá o SELECT privilégio em todos os esquemas e tabelas do catálogo, a menos que esse privilégio seja revogado. Da mesma forma, qualquer usuário que tenha recebido o READ VOLUME privilégio no catálogo terá o READ VOLUME privilégio em todos os volumes do catálogo, a menos que esse privilégio seja revogado. Não é possível conceder privilégios que dão acesso de gravação ou atualização a um catálogo de Compartilhamento Delta ou a objetos nesse catálogo.

O proprietário do catálogo pode delegar a propriedade de objetos de dados a outros usuários ou grupos, concedendo a esses usuários a capacidade de gerenciar as permissões e os ciclos de vida do objeto.

Para obter informações detalhadas sobre como gerenciar privilégios em objetos de dados usando o Unity Catalog, consulte Gerenciar privilégios no Unity Catalog.

Ler dados numa tabela partilhada

Você pode ler dados em uma tabela compartilhada usando qualquer uma das ferramentas disponíveis para você como um usuário do Azure Databricks: Catalog Explorer, blocos de anotações, consultas SQL, a CLI do Databricks e APIs REST do Databricks. Tem de ter o privilégio SELECT na tabela.

Ler dados em uma tabela externa compartilhada ou esquema estrangeiro

Você pode ler dados em uma tabela externa compartilhada ou esquema estrangeiro usando qualquer uma das ferramentas disponíveis para você como um usuário do Azure Databricks: Explorador de Catálogo, notebooks, consultas SQL, a CLI do Databricks e APIs REST do Databricks. Você deve ter o privilégio SELECT na tabela externa compartilhada ou no esquema externo.

Há custos adicionais ao acessar uma tabela estrangeira compartilhada ou esquema estrangeiro. Para obter informações sobre como os custos de compartilhamento são calculados, consulte Como incorrer e verificar os custos de compartilhamento delta?.

Ler dados em um volume compartilhado

Você pode ler dados em um volume compartilhado usando qualquer uma das ferramentas disponíveis para você como um usuário do Azure Databricks: Catalog Explorer, blocos de anotações, consultas SQL, a CLI do Databricks e APIs REST do Databricks. Você deve ter o READ VOLUME privilégio sobre o volume.

Leia dados protegidos pela ABAC e aplique as políticas da ABAC

O controle de acesso baseado em atributos (ABAC) é um modelo de governança de dados que fornece controle de acesso flexível, escalável e centralizado no Azure Databricks.

Os administradores de conta do lado do destinatário devem ativar o Controlo de Acesso Baseado em Atributos para Partilha Delta nas pré-visualizações da consola de conta para ler tabelas partilhadas que estão protegidas por políticas ABAC. Isso garante que os resultados da consulta estejam corretos. Caso contrário, existe o risco de os dados não serem corretamente controlados.

Crie políticas ABAC para tabelas partilhadas, esquemas e catálogos criados a partir de uma partilha. As visões materializadas são suportadas com limitações. Não se podem criar políticas ABAC para tabelas de streaming partilhadas ou visualizações materializadas. Para configurar políticas ABAC, consulte Criar e gerir políticas de controlo de acesso baseadas em atributos (ABAC).

Carregar um modelo compartilhado para inferência

Para obter detalhes sobre como carregar um modelo compartilhado e usá-lo para inferência em lote , consulte Carregar versão do modelo por alias para cargas de trabalho de inferência.

Consultar os dados do histórico de uma tabela

Se o histórico for partilhado junto com a tabela, você poderá consultar os dados da tabela a partir de uma versão ou data/hora. Requer Databricks Runtime 12.2 LTS ou superior.

Por exemplo:

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Além disso, se o feed de dados de alteração (CDF) estiver habilitado com a tabela, você poderá consultar o CDF. A versão e o carimbo de data/hora são suportados:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Para obter mais informações sobre o feed de dados de alteração, consulte Usar o feed de dados de alteração do Delta Lake no Azure Databricks.

Consultar uma tabela usando o Apache Spark Structured Streaming

Se uma tabela for compartilhada com o histórico, você poderá usá-la como fonte para o Spark Structured Streaming. Requer Databricks Runtime 12.2 LTS ou superior.

Opções suportadas:

• ignoreDeletes: Ignore transações que excluem dados.
• ignoreChanges: Reprocesse as atualizações se os arquivos foram reescritos na tabela de origem devido a uma operação de alteração de dados, como UPDATE, MERGE INTO, DELETE (dentro de partições) ou OVERWRITE. Linhas inalteradas ainda podem ser emitidas. Por conseguinte, os seus destinatários finais devem ser capazes de lidar com duplicados. As remoções não são propagadas nas etapas subsequentes. ignoreChanges engloba ignoreDeletes. Portanto, se tu usares ignoreChanges, o teu fluxo não será interrompido por exclusões ou atualizações na tabela de origem.
• startingVersion: A versão da tabela compartilhada para começar. Todas as alterações de tabela a partir desta versão (inclusive) serão lidas pela origem de transmissão.
• startingTimestamp: A data e hora a partir da qual iniciar. Todas as alterações de tabela confirmadas no ou após o carimbo de data/hora (inclusive) serão lidas pela origem de streaming. Exemplo: "2023-01-01 00:00:00.0"
• maxFilesPerTrigger: O número de novos arquivos a serem considerados em cada microlote.
• maxBytesPerTrigger: A quantidade de dados que são processados em cada microlote. Esta opção define um "soft max", o que significa que um lote processa aproximadamente essa quantidade de dados e pode processar mais do que o limite, a fim de fazer a consulta de streaming avançar nos casos em que a menor unidade de entrada é maior do que esse limite.
• readChangeFeed: Stream lê a alimentação de dados de alteração da tabela partilhada.

Opções não suportadas:

• Trigger.availableNow

Exemplos de consultas de streaming estruturado

Scala

spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")

Python

spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Se o feed de dados de alteração (CDF) estiver ativado na tabela, poderá realizar a leitura contínua do CDF.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Aplicar filtros de linha e máscaras de coluna

Para aplicar filtros de linha e máscaras de coluna em tabelas e tabelas estrangeiras compartilhadas pelo provedor de dados, consulte Aplicar manualmente filtros de linha e máscaras de coluna. Não é possível aplicar máscaras de colunas a tabelas de streaming ou exibições materializadas.

Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitados

Os vetores de exclusão são um recurso de otimização de armazenamento que seu provedor pode habilitar em tabelas Delta compartilhadas. Consulte O que são vetores de exclusão?.

O Azure Databricks também dá suporte ao mapeamento de colunas para tabelas Delta. ** Consulte Renomear e remover colunas utilizando o mapeamento de colunas no Delta Lake.

Se seu provedor compartilhou uma tabela com vetores de exclusão ou mapeamento de coluna habilitados, você poderá executar leituras em lote na tabela usando um SQL warehouse ou um cluster executando o Databricks Runtime 14.1 ou superior. As consultas CDF e streaming requerem o Databricks Runtime 14.2 ou superior.

Você pode executar consultas em lote tal como estão, porque estas podem ser resolvidas responseFormat automaticamente com base nos recursos da tabela compartilhada.

Para ler um feed de dados de alteração (CDF) ou para executar consultas de streaming em tabelas partilhadas com vetores de eliminação ou mapeamento de coluna ativados, deve-se definir a opção adicional responseFormat=delta.

Os exemplos a seguir mostram consultas em lote, CDF e streaming:

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Ler tabelas Iceberg partilhadas e geridas

Ler tabelas Iceberg gerenciadas compartilhadas é o mesmo que ler tabelas compartilhadas, com estas exceções:

Apoio na partilha aberta:

As instruções neste artigo se concentram na leitura de dados compartilhados usando interfaces de usuário do Azure Databricks, especificamente sintaxe e interfaces do Catálogo Unity. Devido à limitação do suporte avançado de recursos Delta para conectores de Compartilhamento Delta, não há suporte para consultar tabelas Iceberg gerenciadas compartilhadas usando Python, Tableau e Power BI.

Alterar feed de dados:

Não há suporte para feed de dados de alteração em tabelas Iceberg geridas.

Limitações do Azure Databricks Iceberg:

Aplicam-se limitações da tabela Iceberg e da tabela Iceberg gerenciada. Veja as limitações da tabela Iceberg.

Ler visões partilhadas

Ler vistas partilhadas é o mesmo que ler tabelas partilhadas, com estas exceções:

Restrições de visualizações partilhadas:

• As vistas partilhadas suportam apenas um subconjunto de funções e operadores incorporados no Databricks. Consulte Funções suportadas em vistas partilhadas Databricks-Databricks.
• Os destinatários não podem consultar mais de 20 visualizações partilhadas numa consulta no compartilhamento de Databricks para Databricks. As visualizações compartilhadas não podem ser de mais de cinco compartilhamentos de provedores diferentes.
• Quando o fornecedor é da mesma conta, ou quando usa computação serverless numa conta diferente, não pode consultar múltiplas vistas dependentes do mesmo fornecedor numa única consulta. Por exemplo, se view1 depende de view2 do lado do fornecedor e ambas as vistas forem partilhadas consigo, não pode referenciar view1 e view2 na mesma consulta.

Requisitos de nomenclatura:

O nome do catálogo que você usa para o catálogo compartilhado que contém o modo de exibição não pode ser o mesmo que qualquer catálogo de provedor que contenha uma tabela referenciada pelo modo de exibição. Por exemplo, se o modo de exibição compartilhado estiver contido em seu test catálogo e uma das tabelas do provedor referenciadas nesse modo de exibição estiver contida no catálogo do test provedor, a consulta resultará em um erro de conflito de namespace. Consulte Criar um catálogo a partir de um compartilhamento.

Tempo limite do resultado da consulta:

Se você não tiver acesso direto aos dados subjacentes, o Azure Databricks executará a materialização instantânea ao consultar a exibição. Quando esta materialização demora mais de 5 minutos, a consulta expira. Mude para computação sem servidor para evitar essa limitação.

História e streaming:

Não é possível consultar o histórico ou usar uma vista como fonte de streaming.

Ver suporte na partilha aberta:

As instruções neste artigo se concentram na leitura de dados compartilhados usando interfaces de usuário do Azure Databricks, especificamente sintaxe e interfaces do Catálogo Unity. Você também pode consultar exibições compartilhadas usando ferramentas Apache Spark, Python e BI, como Tableau e Power BI.

Costs:

Para obter informações sobre como os custos de compartilhamento são calculados, consulte Como incorrer e verificar os custos de compartilhamento delta?.

Ler tabelas de streaming compartilhadas e visualizações materializadas

Ler tabelas de streaming compartilhadas e visualizações materializadas é o mesmo que ler tabelas compartilhadas, com estas exceções:

Apoio na partilha aberta:

As instruções neste artigo se concentram na leitura de dados compartilhados usando interfaces de usuário do Azure Databricks, especificamente sintaxe e interfaces do Catálogo Unity. Você também pode consultar tabelas de streaming compartilhadas e exibições materializadas usando ferramentas Apache Spark, Python e BI, como Tableau e Power BI.

Limitações de SQL:

• A current_recipient função não é suportada.
• O DESCRIBE EXTENDED comando não é suportado.

Mapeamento de colunas:

Se estiver a utilizar computação clássica ao receber uma partilha de uma conta diferente do Azure Databricks, deve especificar o responseFormat como abaixo ao consultar uma exibição materializada ou tabelas de streaming com mapeamento de colunas.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Se você estiver usando computação clássica ao compartilhar dentro da mesma conta do Azure Databricks ou computação sem servidor em qualquer cenário, poderá consultar sem restrições.

Costs:

Para obter informações sobre como os custos de compartilhamento são calculados, consulte Como incorrer e verificar os custos de compartilhamento delta?.

Exceções específicas da visão materializada

History:

Não é possível consultar o histórico.

Refresh:

Não é possível acessar o status de atualização e a agenda de atualização da exibição materializada.

Ver e transmitir a criação de tabelas:

Não é possível criar tabelas de streaming em exibições materializadas compartilhadas.

Exceções específicas das tabelas de transmissão

History:

O histórico de consultas está disponível nas seguintes circunstâncias de compartilhamento de Databricks para Databricks:

• Você está usando computação sem servidor ao compartilhar com uma conta diferente do Azure Databricks.

• Você está usando computação sem servidor ou clássica ao compartilhar dentro da mesma conta do Azure Databricks.

Para obter mais informações sobre cálculos diferentes, consulte Computação.

Refresh:

Não é possível acessar o status de atualização e a agenda de atualização da tabela de streaming.

Leia as UDFs Python partilhadas

Ler UDFs partilhados em Python é o mesmo que ler tabelas partilhadas. Depois de criar um novo catálogo para a partilha ou montá-la num catálogo existente, pode aceder e usar o UDF em Python.

Ler recursos partilhadosFeatureSpecs

Ler partilhado FeatureSpecs é o mesmo que ler tabelas partilhadas. Depois de criar um novo catálogo para a partilha ou montar a partilha num catálogo existente, pode implementar o FeatureSpec no endpoint de serviço desejado. Para aprender a criar um endpoint, veja Criar um endpoint.

Se o seu fornecedor atualizar uma nova dependência com FeatureSpec, mas não a partilhar consigo, o seu modelo falhará. Contacte o seu fornecedor de dados para verificar novas dependências.

Antes de servir o FeatureSpec, deve criar uma loja online e publicar as tabelas dependentes no seu espaço de trabalho. Para saber como criar lojas online e publicar a tabela, veja Databricks Online Feature Stores.

Ler blocos de notas partilhados

Para visualizar e clonar arquivos de bloco de anotações compartilhados, você pode usar o Gerenciador de Catálogos.

Limitação de armazenamento: Se o seu armazenamento utilizar Pontos de Extremidade Privados, não poderá ler blocos de notas partilhados.

Permissões necessárias: Proprietário ou usuário do catálogo com o USE CATALOG privilégio no catálogo criado a partir do compartilhamento.

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo.

2. No painel esquerdo, expanda o menu Catálogo , localize e selecione o catálogo criado a partir do compartilhamento.

3. Na guia Outros ativos , você verá todos os arquivos de bloco de anotações compartilhados.

4. Clique no nome de um arquivo de bloco de anotações compartilhado para visualizá-lo.

5. (Opcional) Clique no botão Clonar para importar o arquivo de bloco de anotações compartilhado para seu espaço de trabalho.

   1. Na caixa de diálogo Clonar em, insira, opcionalmente, um Novo nome e selecione a pasta do espaço de trabalho para a qual deseja clonar o ficheiro de caderno.
   2. Clique em Clonar.
   3. Depois que o bloco de anotações for clonado, uma caixa de diálogo será exibida para informar que ele foi clonado com êxito. Clique em revelar no editor de bloco de anotações na caixa de diálogo para visualizá-lo no editor de bloco de anotações.

   Consulte Notebooks Databricks.

Desmontar um compartilhamento

Desmonte um compartilhamento para remover o ativo de dados de seu catálogo.

Permissões necessárias: Utilizador com os privilégios USE CATALOG e MANAGE no catálogo partilhado.

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo para abrir o Catalog Explorer.

2. Na parte superior do painel Catálogo , clique no ícone de engrenagem e selecione Compartilhamento Delta.

   Como alternativa, na página Acesso rápido , clique no botão Compartilhamento Delta > .

3. Na guia Compartilhado comigo , localize e selecione o provedor.

4. Clique no na linha de compartilhamento.

5. Clique em Desmontar compartilhamento.

6. Clique em Desmontar.