Conectar-se ao Infoworks

O Infoworks DataFoundry é um sistema automatizado de orquestração e operações de dados empresariais que é executado nativamente no Azure Databricks e aproveita todo o poder do Azure Databricks para fornecer uma solução fácil para integração de dados — um primeiro passo importante na operacionalização do seu data lake. O DataFoundry não apenas automatiza a ingestão de dados, mas também automatiza a funcionalidade chave que deve acompanhar a ingestão para estabelecer uma base para análises. A integração de dados com o DataFoundry automatiza:

• Ingestão de dados: de todas as fontes de dados empresariais e externas
• Sincronização de dados: CDC para manter os dados sincronizados com a fonte
• Governança de dados: catalogação, linhagem, gerenciamento de metadados, auditoria e histórico

Aqui estão as etapas para usar o Infoworks com o Azure Databricks.

Etapa 1: Gerar um token de acesso pessoal Databricks

O Infoworks autentica com o Azure Databricks usando um token de acesso pessoal do Azure Databricks.

Etapa 2: Configurar um cluster para dar suporte às necessidades de integração

O Infoworks gravará dados em um caminho de Armazenamento do Azure Data Lake e o cluster de integração do Azure Databricks lerá dados desse local. Portanto, o cluster de integração requer acesso seguro ao caminho de Armazenamento do Azure Data Lake.

Acesso seguro ao caminho de armazenamento do Azure Data Lake

Para proteger o acesso aos dados no Azure Data Lake Storage (ADLS), você pode usar uma chave de acesso da conta de armazenamento do Azure (recomendado) ou uma entidade de serviço do Microsoft Entra ID.

Usar uma chave de acesso da conta de armazenamento do Azure

Você pode configurar uma chave de acesso de conta de armazenamento no cluster de integração como parte da configuração do Spark. Certifique-se de que a conta de armazenamento tenha acesso ao contêiner e ao sistema de arquivos ADLS usados para preparar dados e ao contêiner e sistema de arquivos ADLS onde você deseja gravar as tabelas Delta Lake. Para configurar o cluster de integração para usar a chave, siga as etapas em Conectar ao Armazenamento do Azure Data Lake e ao Armazenamento de Blobs.

Usar uma entidade de serviço do Microsoft Entra ID

Você pode configurar um principal de serviço no cluster de integração do Azure Databricks como parte das definições da configuração do Spark. Verifique se a entidade de serviço tem acesso ao contentor ADLS usado para preparação de dados e ao contentor ADLS onde pretende escrever as tabelas Delta. Para configurar o cluster de integração para usar a entidade de serviço, siga os passos em Aceder ao ADLS com entidade de serviço.

Especificar a configuração do cluster

1. Ajuste o Modo de Cluster para Padrão .

2. Defina a versão do tempo de execução do Databricks como uma versão do tempo de execução do Databricks.

3. Habilite gravações otimizadas e compactação automática adicionando as seguintes propriedades à sua configuração do Spark:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Configure seu cluster dependendo de suas necessidades de integração e dimensionamento.

Para obter detalhes de configuração de cluster, consulte Referência de configuração de computação.

Veja Obter detalhes de conexão para um recurso de computação do Azure Databricks os passos para encontrar a URL JDBC e o caminho HTTP.

Etapa 3: Obter detalhes de conexão JDBC e ODBC para se conectar a um cluster

Para conectar um cluster do Azure Databricks ao Infoworks, você precisa das seguintes propriedades de conexão JDBC/ODBC:

• JDBC URL
• Caminho HTTP

Etapa 4: Obter o Infoworks para Azure Databricks

Vá para Infoworks para saber mais e obter uma demonstração.

Recursos adicionais

Suporte