Federação Lakehouse para compartilhamento de arquivos do Salesforce Data 360

Esta página descreve como ler dados no Salesforce Data 360 (anteriormente Data Cloud) usando o conector de compartilhamento de arquivos.

Qual conector do Salesforce devo usar?

O Databricks oferece vários conectores para o Salesforce. Há dois conectores de cópia zero: o conector de compartilhamento de arquivos do Salesforce Data 360 e o conector de federação de consultas do Salesforce Data 360. Eles permitem que você consulte dados no Salesforce Data 360 sem movê-los. Há também um conector de ingestão do Salesforce que copia dados de vários produtos Salesforce.

A tabela a seguir resume as diferenças entre os conectores do Salesforce no Databricks:

Antes de começar

Requisitos do espaço de trabalho:

• Espaço de trabalho habilitado para o Unity Catalog.

Requisitos de computação:

• Ligação de rede da sua instância de computação Databricks para a API do Salesforce Data 360 e os buckets S3 públicos do Salesforce Data 360 onde os dados estão armazenados. Consulte as recomendações de rede para a Lakehouse Federation.
• Os clusters do Azure Databricks devem usar o Databricks Runtime 16.3 ou superior e o modo de acesso padrão.
• Os armazéns SQL devem ser Pro ou Serverless.

Permissões necessárias:

• Para criar uma conexão, você deve ser um administrador de metastore ou um usuário com o privilégio de CREATE CONNECTION no metastore do Unity Catalog anexado ao espaço de trabalho.
• Para criar um catálogo estrangeiro, você deve ter a permissão CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio de CREATE FOREIGN CATALOG na conexão.

Os requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Criar uma conexão e um catálogo externo

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Gerenciador de Catálogos ou o comando CREATE CONNECTION SQL em um bloco de anotações do Azure Databricks ou no editor de consultas Databricks SQL.

Permissões necessárias: administrador do Metastore ou usuário com o CREATE CONNECTION privilégio.

Explorador de Catálogos

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo.

2. Na parte superior do painel Catálogo, clique no ícone Adicionar e selecione Adicionar uma conexão no menu.

   Como alternativa, na página Acesso rápido , clique no botão Dados externos > , vá para a guia Conexões e clique em Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão, insira um Nome da conexãoque seja fácil de usar .

4. Selecione um tipo de conexão do Compartilhamento de arquivos do Salesforce Data 360.

5. (Opcional) Adicione um comentário.

6. Clique em Criar conexão.

7. Na página Autenticação , insira as seguintes propriedades para sua instância de compartilhamento de arquivos do Salesforce Data 360:

   • Ponto de extremidade específico do locatário: por exemplo, https://mvsw0mbrmqzdcyj-m02t0mrsh1.pc-rnd.c360a.salesforce.com
   • ID do locatário principal: por exemplo, core/falcontest8-core4sdb26/00DVF000001E16v2AC

8. Na página Noções básicas do catálogo, insira um nome para o catálogo estrangeiro. Um catálogo estrangeiro espelha um banco de dados em um sistema de dados externo para que você possa consultar e gerenciar o acesso aos dados nesse banco de dados usando o Azure Databricks e o Unity Catalog.

9. (Opcional) Clique em Testar conexão para confirmar se ela funciona.

10. Clique em Criar o catálogo.

11. Na página Access , selecione os espaços de trabalho onde os utilizadores podem aceder ao catálogo que criou. Você pode selecionar Todos os espaços de trabalho têm acesso ou clicar em Atribuir a espaços de trabalho, selecionar os espaços de trabalho e clicar em Atribuir.

12. Altere o Proprietário que poderá gerenciar o acesso a todos os objetos no catálogo. Comece a digitar um principal na caixa de texto e, em seguida, clique no principal nos resultados apresentados.

13. Conceder privilégios e no catálogo. Selecionar Conceder:

    a) Especifique os Principals que terão acesso aos objetos no catálogo. Comece a digitar um principal na caixa de texto e, em seguida, clique no principal nos resultados apresentados. a) Selecione as predefinições de privilégio para conceder a cada principal. Todos os usuários da conta recebem BROWSE por padrão.

    • Selecione Leitor de Dados no menu suspenso para conceder privilégios read a objetos no catálogo.
    • Selecione Editor de Dados no menu suspenso para conceder privilégios read e modify sobre objetos no catálogo.
    • Selecione manualmente os privilégios a conceder.

    a) Clique em Conceder.

14. Clique em Next.

15. Na página Metadados, especifique pares de chave-valor das etiquetas. Para obter mais informações, consulte Aplicar tags a objetos protegíveis do Unity Catalog.

16. (Opcional) Adicione um comentário.

17. Clique em Salvar.

18. Anote o Account URL e o Connection URL. Você precisará desses valores para criar um destino de compartilhamento de dados no Salesforce.

SQL

1. Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

   CREATE CONNECTION <connection-name> TYPE SALESFORCE_DATA_CLOUD_FILE_SHARING
   OPTIONS (
       tenant_specific_endpoint '<tenant_specific_endpoint>',
       core_tenant_id '<core_tenant_id>'
   );
   

2. Vá para a página de conexão da conexão recém-criada e anote o Account URL e o Connection URL. Você precisará desses valores para criar um destino de compartilhamento de dados no Salesforce.

Criar um destino de compartilhamento de dados no Salesforce

Crie um destino de compartilhamento de dados no Salesforce usando o Account URL e o Connection URL que você recuperou na etapa anterior.

Consulte Criar um destino de compartilhamento de dados (Databricks) na documentação do Salesforce.

Mapeamentos de tipo de dados

Ao utilizar o Salesforce Data 360 File Sharing para ler dados no Spark, os tipos de dados são mapeados da seguinte maneira:

Limitações

• O conector não pode ser usado com clusters de usuário único.