Federação Lakehouse para Compartilhamento de Arquivos do Salesforce Data 360

Esta página descreve como ler dados no Salesforce Data 360 (antigo Data Cloud) usando o conector de compartilhamento de arquivos.

Qual conector do Salesforce devo usar?

O Databricks oferece vários conectores para o Salesforce. Há dois conectores de cópia zero: o conector de compartilhamento de arquivos Salesforce Data 360 e o conector de federação de consulta Salesforce Data 360. Elas permitem que você consulte dados no Salesforce Data 360 sem movê-los. Há também um conector de ingestão do Salesforce que copia dados de vários produtos salesforce.

A tabela a seguir resume as diferenças entre os conectores do Salesforce no Databricks:

Antes de começar

Requisitos de área de trabalho:

• Espaço de trabalho habilitado para o Unity Catalog.

Requisitos de computação:

• Conectividade de rede de seu recurso de computação do Databricks à API Salesforce Data 360 e aos buckets públicos S3 do Salesforce Data 360 onde os dados residem. Confira Recomendações de rede para a Federação de Lakehouse.
• Os clusters do Azure Databricks devem usar o Databricks Runtime 16.3 ou superior e o modo de acesso padrão.
• Os Warehouses SQL devem ser Pro ou Sem Servidor.

Permissões necessárias:

• Para criar uma conexão, você deve ser um administrador de metastore ou um usuário com o privilégio de CREATE CONNECTION no metastore do Unity Catalog anexado ao espaço de trabalho.
• Para criar um catálogo estrangeiro, você deve ter a permissão CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio CREATE FOREIGN CATALOG na conexão.

Requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Criar uma conexão e um catálogo externo

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Gerenciador de Catálogos ou o comando SQL CREATE CONNECTION em um notebook do Azure Databricks ou no editor de consultas SQL do Databricks.

Permissões necessárias: administrador do metastore ou usuário que possua o privilégio CREATE CONNECTION.

Gerenciador de Catálogos

1. No workspace do Azure Databricks, clique no Catálogo.

2. Na parte superior do painel Catálogo, clique no ícone Adicionar e selecione Adicionar uma conexão no menu.

   Como alternativa, na página Acesso rápido, clique no botão Dados externos >, vá até a guia Conexões e clique em Criar conexão.

3. Na página Noções básicas sobre conexão do assistente Configurar conexão, insira um Nome de conexão amigável.

4. Selecione um tipo de conexão de compartilhamento de arquivo Salesforce Data 360.

5. (Opcional) Adicione um comentário.

6. Clique em Criar conexão.

7. Na página Autenticação , insira as seguintes propriedades para sua instância de Compartilhamento de Arquivos do Salesforce Data 360:

   • Endpoint específico do inquilino: por exemplo, https://mvsw0mbrmqzdcyj-m02t0mrsh1.pc-rnd.c360a.salesforce.com
   • ID do locatário principal: por exemplo, core/falcontest8-core4sdb26/00DVF000001E16v2AC

8. Na página Noções básicas sobre o Catálogo, insira um nome para o catálogo estrangeiro. Um catálogo estrangeiro espelha um banco de dados em um sistema de dados externo para que você possa consultar e gerenciar o acesso aos dados nesse banco de dados usando o Azure Databricks e o Catálogo do Unity.

9. (Opcional) Clique em Testar conectividade para confirmar se está funcionando.

10. Clique em Criar catálogo.

11. Na página Access, selecione os workspaces nos quais os usuários podem acessar o catálogo que você criou. Você pode selecionar Todas as áreas de trabalho têm acesso ou clicar em Atribuir aos workspaces, selecionar as áreas de trabalho e então clicar em Atribuir.

12. Altere o Proprietário que poderá gerenciar o acesso a todos os objetos do catálogo. Comece a digitar uma entidade de segurança na caixa de texto e clique na entidade de segurança nos resultados retornados.

13. Conceda Privilégios no catálogo. Selecione o botão Conceder:

    um. Especifique as Entidades de segurança que terão acesso aos objetos do catálogo. Comece a digitar uma entidade de segurança na caixa de texto e clique na entidade de segurança nos resultados retornados. um. Selecione as Predefinições de privilégio a conceder a cada usuário. Todos os usuários da conta recebem BROWSE como padrão.

    • Selecione Leitor de Dados no menu suspenso para conceder privilégios read em objetos no catálogo.
    • Selecione Editor de Dados no menu suspenso para conceder os privilégios read e modify em objetos no catálogo.
    • Selecione manualmente os privilégios a serem concedidos.

    um. Selecione Conceder.

14. Clique em Próximo.

15. Na página Metadados, especifique os pares chave-valor dos rótulos. Para obter mais informações, consulte Aplicar etiquetas a objetos securitizáveis do Catálogo Unity.

16. (Opcional) Adicione um comentário.

17. Clique em Salvar.

18. Anote de Account URL e Connection URL. Você precisará desses valores para criar um destino de compartilhamento de dados no Salesforce.

SQL

1. Execute o comando a seguir em um notebook ou no editor de SQL do Databricks.

   CREATE CONNECTION <connection-name> TYPE SALESFORCE_DATA_CLOUD_FILE_SHARING
   OPTIONS (
       tenant_specific_endpoint '<tenant_specific_endpoint>',
       core_tenant_id '<core_tenant_id>'
   );
   

2. Vá para a página da conexão recém-criada e anote o Account URL e o Connection URL. Você precisará desses valores para criar um destino de compartilhamento de dados no Salesforce.

Criar um destino de compartilhamento de dados no Salesforce

Crie um destino de compartilhamento de dados no Salesforce usando o Account URL e o Connection URL que você recuperou na etapa anterior.

Consulte Criar um destino de compartilhamento de dados (Databricks) na documentação do Salesforce.

Mapeamentos de tipo de dados

Quando você lê do Salesforce Data 360 File Sharing to Spark, os tipos de dados são mapeados da seguinte maneira:

Limitações

• O conector não pode ser usado com clusters de usuário único.