Copiar dados do Vertica usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia em um pipeline do Azure Data Factory ou do Synapse Analytics para copiar dados do Vertica. Ele se baseia no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Capacidades suportadas

Este conector Vertica é compatível com as seguintes funcionalidades:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes/destinos pela atividade de cópia, consulte a tabela de armazenamentos de dados suportados.

O serviço fornece um driver interno para habilitar a conectividade, portanto, você não precisa instalar manualmente nenhum driver usando esse conector.

Para a versão 2.0, você precisa instalar um driver ODBC Vertica manualmente. Para a versão 1.0, o serviço fornece um driver interno para habilitar a conectividade, portanto, você não precisa instalar manualmente nenhum driver.

Pré-requisitos

Se o seu armazenamento de dados estiver localizado dentro de uma rede no local, uma rede virtual do Azure ou uma Amazon Virtual Private Cloud, precisa configurar um ambiente de execução de integração auto-hospedado para se conectar a ele. Se você usar a versão 2.0, sua versão de tempo de execução de integração auto-hospedada deve ser 5.44.8984.1 ou superior.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Para a versão 1.0

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar a funcionalidade de runtime de integração de rede virtual gerida na Azure Data Factory para aceder à rede local sem necessidade de instalar e configurar um runtime de integração auto-hospedado.

Instale o driver ODBC Vertica para a versão 2.0

Para usar o conector Vertica com a versão 2.0, siga estas etapas para instalar o driver ODBC Vertica na máquina que executa o runtime de Integração auto-hospedado:

1. Baixe a configuração do cliente Vertica para driver ODBC de Client Drivers | OpenText™ Vertica™. Tome a configuração do sistema Windows como exemplo:

   

2. Abra o .exe baixado para iniciar o processo de instalação. 

   

3. Selecione o driver ODBC na lista de componentes Vertica e, em seguida, selecione Next para iniciar a instalação.

   

4. Depois que o processo de instalação for concluído com êxito, você pode ir para Iniciar -> Administrador de Fonte de Dados ODBC para confirmar a instalação bem-sucedida.

   

Começar

Você pode criar um pipeline com atividade de cópia usando o SDK do .NET, o SDK do Python, o Azure PowerShell, a API REST ou o modelo do Azure Resource Manager. Consulte o Tutorial de atividade de cópia para obter instruções passo a passo para criar um pipeline com uma atividade de cópia.

Criar um serviço vinculado ao Vertica usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Vertica na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de Dados do Azure
   • Sinapse do Azure

   

2. Procure Vertica e selecione o conector Vertica.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir entidades do Data Factory específicas para o conector Vertica.

Propriedades do serviço vinculado

Se utilizar a versão 2.0, as seguintes propriedades são suportadas para o serviço de ligação Vertica:

Exemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar senha no Cofre da Chave do Azure

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Se você usar a versão 1.0, as seguintes propriedades são suportadas:

Exemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados Vertica.

Para copiar dados do Vertica, defina a propriedade type do conjunto de dados como VerticaTable. As seguintes propriedades são suportadas:

Exemplo

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copiar

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte Vertica.

Vertica como fonte

Para copiar dados do Vertica, defina o tipo de origem na atividade de cópia como VerticaSource. As seguintes propriedades são suportadas na seção de fonte da atividade de cópia.

Exemplo:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Propriedades da atividade de consulta

Para saber detalhes sobre as propriedades, consulte a Atividade de Pesquisa.

Atualize o conector Vertica

Aqui estão as etapas que ajudam você a atualizar sua versão do Vertica:

1. Instale um driver ODBC Vertica seguindo as etapas em Pré-requisitos.
2. Na página Editar o serviço vinculado, selecione a versão 2.0 e configure o serviço vinculado consultando as Propriedades do serviço vinculado.
3. Utilize um runtime de integração auto-hospedado com a versão 5.44.8984.1 ou superior. O tempo de execução de integração do Azure não é suportado pela versão 2.0.

Diferenças entre Vertica versão 2.0 e versão 1.0

O conector Vertica versão 2.0 oferece novas funcionalidades e é compatível com a maioria dos recursos da versão 1.0. A tabela abaixo mostra as diferenças de recursos entre a versão 2.0 e a versão 1.0.

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte armazenamentos de dados suportados.