Conectar-se a fontes de ingestão gerenciadas

Saiba como criar conexões no Gerenciador de Catálogos que armazenam detalhes de autenticação para fontes de ingestão gerenciadas do Lakeflow Connect. Qualquer usuário com os privilégios USE CONNECTION ou ALL PRIVILEGES na conexão pode criar pipelines de ingestão gerenciados de fontes como o Salesforce e o SQL Server.

Um usuário administrador precisa concluir as etapas deste artigo se os usuários que criarão pipelines:

• são usuários não administradores.
• usará APIs do Databricks, SDKs do Databricks, a CLI do Databricks ou pacotes de ativos do Databricks.

Essas interfaces exigem que os usuários especifiquem uma conexão existente ao criar um pipeline.

Como alternativa, os usuários administradores podem criar uma conexão e um pipeline ao mesmo tempo na interface do usuário de ingestão de dados. Consulte Conectores gerenciados no Lakeflow Connect.

Lakeflow Connect vs. Lakehouse Federation

A Federação do Lakehouse permite que você consulte fontes de dados externas sem mover seus dados. Quando você tiver uma escolha entre o Lakeflow Connect e a Lakehouse Federation, escolha a Lakehouse Federation para relatórios ocasionais ou trabalhos de prova de conceito em seus pipelines ETL. Confira O que é Federação do Lakehouse?.

Requisitos de privilégio

Os privilégios de usuário necessários para se conectar a uma fonte de ingestão gerenciada dependem da interface escolhida:

• Interface do usuário de ingestão de dados

  Os usuários administradores podem criar uma conexão e um pipeline ao mesmo tempo. Esse assistente de ingestão de ponta a ponta só está disponível na interface do usuário. Nem todos os conectores de ingestão gerenciada dão suporte à criação de pipeline baseada em interface gráfica.

• Gerenciador de Catálogos

  O uso do Explorador do Catálogo separa a criação de conexões da criação de pipelines. Isso permite que os administradores criem conexões para usuários não administradores criarem pipelines.

  Se os usuários que criarão pipelines forem usuários não administradores ou planejarem usar APIs do Databricks, os SDKs do Databricks, a CLI do Databricks ou os Pacotes de Ativos do Databricks, um administrador deverá primeiro criar a conexão no Gerenciador de Catálogos. Essas interfaces exigem que os usuários especifiquem uma conexão existente ao criar um pipeline.

Confluence

Para criar uma conexão Confluence no Catalog Explorer, faça o seguinte:

1. Conclua a configuração de origem. Use os detalhes de autenticação obtidos para criar a conexão.

2. No workspace do Azure Databricks, clique em Catalogar > Conexões de dados > externos > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , insira um nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Confluence.

5. No menu suspenso tipo autenticação, selecione OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Próximo.

8. Na página Autenticação , insira as seguintes credenciais:

   • Domínio: o nome de domínio da instância de Confluence (por exemplo, your-domain.atlassian.net). Não inclua https:// ou www.
   • Segredo do cliente: o segredo da configuração original.
   • ID do cliente: a ID do cliente da configuração de origem.

9. Clique em Entrar com Confluence.

   Você é redirecionado para a página de autorização do Atlassian.

10. Insira suas credenciais do Confluence e conclua o processo de autenticação.

    Você é redirecionado para o workspace do Azure Databricks.

11. Clique em Criar conexão.

Dados Brutos do Google Analytics

A interface do usuário do Databricks dá suporte apenas ao OAuth para conexões GA4. Em vez disso, você pode usar a autenticação básica criando a conexão usando APIs do Databricks.

Interface do usuário do Databricks

1. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.
2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.
3. No menu suspenso Tipo de conexão , selecione Dados Brutos do Google Analytics.
4. (Opcional) Adicione um comentário.
5. Clique em Próximo.
6. Na página Autenticação , clique em Entrar no Google e entre com suas credenciais de conta do Google.
7. No prompt para permitir que o Lakeflow Connect acesse sua conta do Google, clique em Permitir.
8. Clique em Criar conexão.

Databricks APIs

O exemplo a seguir mostra como criar uma conexão com GA4 usando a autenticação básica com uma chave JSON da conta de serviço. O Databricks recomenda executar o código a seguir localmente para evitar que seu token de acesso pessoal e sua conta de serviço sejam registrados na ação runCommand dos logs de auditoria. Se os logs de auditoria detalhados estiverem habilitados, criar a conexão em um notebook do Azure Databricks com credenciais de texto sem formatação poderá torná-los visíveis para qualquer pessoa com acesso à system.access.audit tabela ou aos logs de auditoria brutos.

curl -X POST \
 "${DATABRICKS_INSTANCE}/api/2.1/unity-catalog/connections" \
 -H "Authorization: Bearer ${TOKEN}" \
 -H "Content-Type: application/json" \
 -d "{
\"name\": \"YOUR_CONNECTION_NAME\",
\"connection_type\": \"GA4_RAW_DATA\",
\"options\": {
\"service_account_json\": $(jq -Rs '.' service_account.json)
},
\"comment\": \"GA4 Raw Data connection for managed ingestion\"
}"

Anúncios Meta

Pré-requisitos

Configure o Meta Ads como uma fonte de dados.

Crie uma conexão

1. No Gerenciador de Catálogos, clique em Adicionar e selecione Adicionar uma conexão.
2. No menu suspenso Tipo de conexão , selecione Meta Marketing.
3. Insira um nome para a conexão.
4. No campo ID do Aplicativo , insira a ID do aplicativo do aplicativo Meta.
5. No campo Segredo do Aplicativo , insira o Segredo do Aplicativo do aplicativo Meta.
6. Clique em Autenticar e criar conexão.
7. Na janela autenticação meta, entre com sua conta do Meta e conceda as permissões solicitadas.
8. Depois que a autenticação for bem-sucedida, a conexão será criada.

MySQL

Pré-requisitos

Conclua a configuração de origem. Você usará os detalhes de autenticação obtidos para criar a conexão.

Criar conexão

1. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.

2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

3. No menu suspenso Tipo de conexão , selecione MySQL.

4. (Opcional) Adicione um comentário.

5. Clique em Próximo.

6. Na página Autenticação , insira o seguinte:

   • Host: especifique o nome de domínio MySQL.
   • Usuário e senha: insira as credenciais de logon do MySQL do usuário de replicação.

7. Clique em Criar conexão.

No momento, o botão Testar Conexão falha para usuários criados com caching_sha2_password ou sha256_password mesmo quando as credenciais estão corretas. Esse é um problema conhecido.

PostgreSQL

Pré-requisitos

Configurar o PostgreSQL para ingestão no Azure Databricks

Criar conexão

1. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.
2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.
3. No menu suspenso Tipo de conexão , selecione PostgreSQL.
4. (Opcional) Adicione um comentário.
5. Clique em Próximo.
6. Na página Autenticação , para Host, especifique o nome de domínio PostgreSQL.
7. Para Usuário e Senha, insira as credenciais de logon do PostgreSQL do usuário de replicação.
8. Clique em Criar conexão.

Salesforce

O Lakeflow Connect dá suporte à ingestão de dados da Plataforma Salesforce. O Databricks também oferece um conector de cópia zero na Federação Lakehouse para executar consultas federadas no Salesforce Data 360 (anteriormente Data Cloud).

Pré-requisitos

O Salesforce aplica restrições de uso a aplicativos conectados. As permissões na tabela a seguir são necessárias para uma autenticação de primeira hora bem-sucedida. Se você não tiver essas permissões, o Salesforce bloqueará a conexão e exigirá que um administrador instale o aplicativo conectado do Databricks.

Para obter contexto, consulte Prepare for Connected App Usage Restrictions Change na documentação do Salesforce.

Crie uma conexão

Para criar uma conexão de ingestão do Salesforce no Catalog Explorer, faça o seguinte:

1. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.

2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

3. No menu suspenso Tipo de conexão , selecione Salesforce.

4. (Opcional) Adicione um comentário.

5. Clique em Próximo.

6. Se estiver fazendo a ingestão de uma conta de área restrita do Salesforce, defina É área restrita como true.

7. Clique em Entrar com o Salesforce.

   Você é redirecionado para o Salesforce.

8. Se você estiver ingerindo de uma área restrita do Salesforce, clique em Usar Domínio Personalizado, forneça a URL da área restrita e clique em Continuar.

   

   

9. Insira suas credenciais do Salesforce e clique em Fazer logon. O Databricks recomenda fazer logon como um usuário do Salesforce dedicado à ingestão do Databricks.

   Importante

   Para fins de segurança, autentique-se somente se você clicou em um link do OAuth 2.0 na interface do usuário do Azure Databricks.

10. Depois de retornar ao assistente de ingestão, clique em Criar conexão.

ServiceNow

As etapas para criar uma conexão do ServiceNow no Catalog Explorer dependem do método OAuth escolhido. Os seguintes métodos são suportados:

• U2M OAuth (recomendado)
• Credenciais de senha do proprietário do recurso OAuth (ROPC)

O Databricks recomenda usar o OAuth U2M porque é a abordagem mais segura.

U2M OAuth (recomendado)

1. Conclua a configuração de origem. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione ServiceNow.

5. No menu suspenso Tipo de autenticação, selecione OAuth (recomendado).

6. (Opcional) Adicione um comentário.

7. Clique em Próximo.

8. Na página Autenticação , insira o seguinte:

   • URL da instância: URL da instância do ServiceNow.
   • Escopo OAuth: deixe o valor padrão useraccount.
   • Segredo do cliente: o segredo do cliente que você obteve na configuração de origem.
   • ID do cliente: a ID do cliente que você obteve na configuração de origem.

9. Clique em Entrar com o ServiceNow.

10. Entre usando suas credenciais do ServiceNow.

    Você é redirecionado para o workspace do Azure Databricks.

11. Clique em Criar conexão.

ROPC

1. Conclua a configuração de origem. Use os detalhes de autenticação obtidos para criar a conexão.

2. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione ServiceNow.

5. No menu suspenso Tipo de Autenticação, selecione Senha do Proprietário do Recurso OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Próximo.

8. Na página Autenticação , insira o seguinte:

   • Usuário: seu nome de usuário do ServiceNow.
   • Senha: sua senha do ServiceNow.
   • URL da instância: URL da instância do ServiceNow.
   • ID do cliente: a ID do cliente que você obteve na configuração de origem.
   • Segredo do cliente: o segredo do cliente que você obteve na configuração de origem.

9. Clique em Criar conexão.

Netsuite

O conector do NetSuite usa a autenticação baseada em token.

Pré-requisitos

Conclua a configuração de origem. Você usará os detalhes de autenticação obtidos para criar a conexão.

Crie uma conexão

Para criar uma conexão de ingestão do NetSuite no Catalog Explorer, faça o seguinte:

1. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.

2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

3. No menu suspenso Tipo de conexão , selecione NetSuite.

4. (Opcional) Adicione um comentário.

5. Clique em Próximo.

6. Na página Autenticação , insira as seguintes credenciais:

   • Chave do Consumidor: a chave do consumidor OAuth da integração do NetSuite.
   • Segredo do consumidor: o segredo do consumidor OAuth da integração do NetSuite.
   • ID do token: a ID do token de acesso para o usuário do NetSuite.
   • Segredo do token: o segredo do token de acesso para o usuário do NetSuite.
   • ID da função: O ID interno da função do integrador do Data Warehouse no NetSuite.
   • Host: o nome do host da URL JDBC do NetSuite.
   • Porta: o número da porta da URL JDBC do NetSuite.
   • ID da conta: o ID da conta obtido a partir da URL JDBC do NetSuite.

7. Clique em Testar conexão para verificar se você pode se conectar ao Netsuite.

8. Clique em Criar conexão.

SharePoint

Há suporte para os seguintes métodos de autenticação:

• OAuth M2M (versão prévia pública)
• OAuth U2M
• OAuth com atualização de token de forma manual

Na maioria dos cenários, o Databricks recomenda OAuth de máquina a máquina (M2M). Permissões do conector de escopos M2M para um site específico. No entanto, se você quiser definir o escopo das permissões para corresponder ao que o usuário autenticado pode acessar, escolha o OAuth de usuário para máquina (U2M). Ambos os métodos oferecem atualização de token automatizada e segurança aumentada.

M2M

1. Conclua a configuração de origem. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No workspace do Azure Databricks, clique em Catalogar > Conexões de dados > externos > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Microsoft SharePoint.

5. No menu suspenso de Tipo de autenticação, selecione OAuth Machine to Machine.

6. (Opcional) Adicione um comentário.

7. Clique em Próximo.

8. Na página Autenticação , insira as seguintes credenciais para seu aplicativo de ID do Microsoft Entra:

   • Segredo do Cliente: o segredo do cliente que você recuperou na configuração de origem.
   • ID do cliente: a ID do cliente que você recuperou na configuração de origem.
   • Domínio: A URL da instância do SharePoint no seguinte formato: https://MYINSTANCE.sharepoint.com
   • ID do locatário: a ID do locatário que você recuperou na configuração de origem.

9. Clique em Entrar com o Microsoft SharePoint.

   Uma nova janela é aberta. Depois de entrar com suas credenciais do SharePoint, as permissões que você está concedendo ao aplicativo Entra ID são mostradas.

10. Clique em Aceitar.

    Uma mensagem autorizada com êxito é exibida e você é redirecionado para o workspace do Azure Databricks.

11. Clique em Criar conexão.

U2M

1. Conclua a configuração de origem. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No workspace do Azure Databricks, clique em Catalogar > Conexões de dados > externos > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Microsoft SharePoint.

5. No menu suspenso tipo autenticação, selecione OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Próximo.

8. Na página Autenticação , insira as seguintes credenciais para seu aplicativo de ID do Microsoft Entra:

   • Segredo do Cliente: o segredo do cliente que você recuperou na configuração de origem.
   • ID do cliente: a ID do cliente que você recuperou na configuração de origem.
   • Escopo OAuth: deixe o escopo OAuth definido como o valor pré-preenchido: https://graph.microsoft.com/Sites.Read.All offline_access
   • Domínio: A URL da instância do SharePoint no seguinte formato: https://MYINSTANCE.sharepoint.com
   • ID do locatário: a ID do locatário que você recuperou na configuração de origem.

   

9. Clique em Entrar com o Microsoft SharePoint.

   Uma nova janela é aberta. Depois de entrar com suas credenciais do SharePoint, as permissões que você está concedendo ao aplicativo Entra ID são mostradas.

10. Clique em Aceitar.

    Uma mensagem autorizada com êxito é exibida e você é redirecionado para o workspace do Azure Databricks.

11. Clique em Criar conexão.

Token de atualização manual

1. Conclua a configuração de origem. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No workspace do Azure Databricks, clique em Catalogar > Conexões de dados > externos > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Microsoft SharePoint.

5. No menu suspenso tipo de autenticação, selecione Token de atualização OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Próximo.

8. Na página Autenticação , insira as seguintes credenciais para seu aplicativo de ID do Microsoft Entra:

   • ID do locatário: a ID do locatário que você recuperou na configuração de origem.
   • ID do cliente: a ID do cliente que você recuperou na configuração de origem.
   • Segredo do Cliente: o segredo do cliente que você recuperou na configuração de origem.
   • Token de atualização: um token de atualização que você recuperou durante a configuração de origem.

   

9. Clique em Criar conexão.

SQL Server

Para criar uma conexão do Microsoft SQL Server no Catalog Explorer, faça o seguinte:

1. No workspace do Azure Databricks, clique em Catálogo > Dados Externos > Conexões.
2. Clique em Criar conexão.
3. Insira um Nome de conexão exclusivo.
4. Para Tipo de conexão, selecione SQL Server.
5. Para Host, especifique o nome de domínio do SQL Server.
6. Para Usuário e Senha, insira suas credenciais de logon do SQL Server.
7. Clique em Criar.

Relatórios do Workday

Para criar uma conexão de Relatórios do Workday no Gerenciador de Catálogos, faça o seguinte:

1. Criar credenciais de acesso do Workday. Para obter instruções, consulte Configurar relatórios do Workday para ingestão.
2. No workspace do Azure Databricks, clique em Catálogo > Locais externos > Conexões > Criar conexão.
3. Para obter o Nome da conexão, insira um nome exclusivo para a conexão do Workday.
4. Para obter o Tipo de conexão, selecione Relatórios do Workday.
5. Para o tipo de autenticação, selecione Token de Atualização OAuth ou Nome de usuário e senha (autenticação básica) e clique em Avançar.
6. (Token de atualização OAuth) Na página Autenticação , insira a ID do cliente, o segredo do cliente e o token de atualização obtido na configuração de origem.
7. (Autenticação básica) Insira seu nome de usuário e senha do Workday.
8. Clique em Criar conexão.

Próxima etapa

Depois de criar uma conexão com a fonte de ingestão gerenciada no Explorador do Catálogo, qualquer usuário com privilégios USE CONNECTION ou ALL PRIVILEGES na conexão pode criar um pipeline de ingestão das seguintes maneiras:

• Assistente de ingestão (somente conectores compatíveis)
• Pacotes de ativos do Databricks
• Databricks APIs
• Databricks SDKs
• CLI do Databricks

Para obter instruções sobre como criar um pipeline, consulte a documentação do conector gerenciado.