Copiar dados de e para o Oracle usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade de cópia no Azure Data Factory para copiar dados de/para um banco de dados Oracle. Ele se baseia na Visão geral da atividade Copy.

Funcionalidades com suporte

Há suporte para este conector do Oracle para as seguintes funcionalidades:

① Tempo de execução de integração do Azure ② Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados que têm suporte como fontes ou coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

Especificamente, este conector Oracle suporta:

• As seguintes versões de um banco de dados Oracle para a versão 2.0:
  • Oracle Database 19c e versões superiores
  • Oracle Database 18c e superior
  • Oracle Database 12c e versões superiores
  • Oracle Database 11g e superior
• As seguintes versões de um banco de dados Oracle para a versão 1.0:
  • Oracle 19c R1 (19.1) e superior
  • Oracle 18c R1 (18.1) e superior
  • Oracle 12c R1 (12.1) e superior
  • Oracle 11g R1 (11.1) e superior
  • Oracle 10g R1 (10.1) e superior
  • Oracle 9i R2 (9.2) e superior
  • Oracle 8i R3 (8.1.7) e superior
  • Serviço Oracle Database Cloud Exadata
• Cópia paralela de uma origem do Oracle. Veja a seção Cópia paralela da Oracle para obter detalhes.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

O integration runtime fornece um driver interno do Oracle. Portanto, você não precisa instalar manualmente um driver quando você copia dados de e para Oracle.

Introdução

Para executar a atividade Copy com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta de Cópia de Dados
• Portal do Azure
• SDK do .NET
• SDK do Python
• PowerShell do Azure
• REST API
• Modelo do Azure Resource Manager

Criar um serviço vinculado ao Oracle usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Oracle na interface do usuário do portal do Microsoft Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados. Depois, clique em Novo:

   • Fábrica de dados do Azure
   • Azure Synapse

   

2. Pesquise por Oracle e selecione o conector Oracle.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades específicas do conector Oracle.

Propriedades do serviço vinculado

O conector Oracle versão 2.0 dá suporte ao TLS 1.3. Consulte esta seção para atualizar sua versão do conector Oracle da versão 1.0 para uma versão mais recente. Para obter detalhes sobre as propriedades, consulte as seções correspondentes.

• Versão 2.0
• versão 1.0

Versão 2.0

O serviço vinculado Oracle dá suporte às seguintes propriedades ao aplicar a versão 2.0:

Você pode definir as seguintes propriedades de conexão adicionais no serviço vinculado, dependendo do seu caso.

Exemplo:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a senha no Azure Key Vault

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "authenticationType": "<authentication type>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Configuração da propriedade server

Para a propriedade server, você pode especificar em um dos três formatos a seguir:

A lista a seguir mostra os parâmetros com suporte usados em server. Se você usar parâmetros que não estão na lista a seguir, sua conexão falhará.

• Ao usar o runtime de integração do Azure:

  HOST
  PORTO
  PROTOCOLO
  SERVICE_NAME
  SID
  INSTANCE_NAME
  SERVER
  CONNECT_TIMEOUT
  RETRY_COUNT
  RETRY_DELAY
  SSL_VERSION
  SSL_SERVER_DN_MATCH
  Nome de Domínio do Certificado do Servidor SSL (SSL_SERVER_CERT_DN)

• Ao usar o runtime de integração auto-hospedada:

  HOST
  PORTO
  PROTOCOLO
  ENABLE
  TEMPO_DE_EXPIRAÇÃO
  FAILOVER
  BALANCEAMENTO_DE_CARGA
  RECV_BUF_SIZE
  SDU
  SEND_BUF_SIZE
  SOURCE_ROUTE
  TIPO_DE_SERVIÇO
  COLOCATION_TAG
  CONNECTION_ID_PREFIX
  FAILOVER_MODE
  GLOBAL_NAME
  HS
  INSTANCE_NAME
  LIMITES DA PISCINA
  POOL_CONNECTION_CLASS
  NOME_DA_PISCINA
  Pureza_da_Piscina
  RDB_DATABASE
  SHARDING_KEY
  SHARDING_KEY_ID
  SUPER_SHARDING_KEY
  SERVER
  SERVICE_NAME
  SID
  TUNNEL_SERVICE_NAME
  AUTENTICAÇÃO_DO_CLIENTE_SSL
  SSL_CERTIFICATE_ALIAS
  SSL_CERTIFICATE_THUMBPRINT
  SSL_VERSION
  SSL_SERVER_DN_MATCH
  Nome de Domínio do Certificado do Servidor SSL (SSL_SERVER_CERT_DN)
  LOCALIZAÇÃO_DA_CARTEIRA
  CONNECT_TIMEOUT
  RETRY_COUNT
  RETRY_DELAY
  TRANSPORT_CONNECT_TIMEOUT
  RECV_TIMEOUT
  COMPRESSÃO
  NÍVEIS_DE_COMPRESSÃO

Versão 1.0

O serviço vinculado oracle dá suporte às seguintes propriedades ao aplicar a versão 1.0:

Se tiver várias instâncias do Oracle para o cenário de failover, você poderá criar o serviço vinculado do Oracle e preencher o host primário, a porta, o nome de usuário, a senha, etc., e adicionar novas “Propriedades de conexão adicionais” com o nome de propriedade sendo AlternateServers e o valor sendo (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>). Preste atenção aos colchetes e aos dois pontos (:) como separador. Por exemplo, o seguinte valor de servidores alternativos define dois servidores de banco de dados alternativos para failover de conexão: (HostName=AccountingOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Mais propriedades de conexão que você pode definir na cadeia de conexão de acordo com o caso:

Para habilitar a criptografia na conexão do Oracle, há duas opções:

• Para usar criptografia DES triplo (3DES) e criptografia AES (Advanced Encryption Standard), no lado do servidor Oracle, vá para Oracle Advanced Security (OAS) e defina as configurações de criptografia. Para obter detalhes, veja esta documentação da Oracle. O conector Oracle ADF (Application Development Framework) negocia automaticamente o método de criptografia para usar aquele que você configura no OAS ao estabelecer a conexão com o Oracle.

• Para usar o TLS, configure truststore para obter autenticação do servidor SSL aplicando um dos três métodos a seguir:

  • Método 1 (recomendado):

    1. Instale o certificado TLS/SSL importando-o para o repositório de certificados local. O driver Oracle interno é capaz de carregar o certificado necessário do repositório de certificados.

    2. No serviço, configure a cadeia de conexão Oracle com EncryptionMethod=1.

  • Método 2:

    1. Obtenha as informações do certificado TLS/SSL. Obtenha as informações de certificado codificadas em DER (Distinguished Encoding Rules) ou PEM (Privacy Enhanced Mail) do certificado TLS/SSL.

       openssl x509 -inform (DER|PEM) -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -text
       

    2. No serviço, configure a cadeia de conexão Oracle com EncryptionMethod=1 e o valor correspondente de TrustStore. Por exemplo, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore= data:// -----BEGIN CERTIFICATE-----<certificate content>-----END CERTIFICATE-----

       Observação

       • O valor do campo TrustStore deve ser prefixado com data://.
       • Ao especificar conteúdo para vários certificados, especifique o conteúdo de cada certificado entre -----BEGIN CERTIFICATE----- e -----END CERTIFICATE-----. O número de traços (-----) deve ser o mesmo antes e depois de BEGIN CERTIFICATE e de END CERTIFICATE. Por exemplo:
         -----BEGIN CERTIFICATE-----<certificate content 1>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 2>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 3>-----END CERTIFICATE-----
       • O campo TrustStore dá suporte a conteúdo de até 8.192 caracteres de comprimento.

  • Método 3:

    1. Crie o arquivo truststore com criptografias fortes, como AES256.

       openssl pkcs12 -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -keypbe AES-256-CBC -certpbe AES-256-CBC -nokeys -export
       

    2. Coloque o arquivo truststore no computador de runtime de integração auto-hospedada. Por exemplo, coloque o arquivo em C:\MyTrustStoreFile.

    3. No serviço, configure a cadeia de conexão Oracle com EncryptionMethod=1 e o valor correspondente de TrustStore/TrustStorePassword. Por exemplo, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Exemplo:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a senha no Azure Key Vault

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados do Oracle. Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira Conjuntos de dados.

Para copiar dados do/para o Oracle, defina a propriedade type do conjunto de dados como OracleTable. Há suporte para as seguintes propriedades.

Exemplo:

{
    "name": "OracleDataset",
    "properties":
    {
        "type": "OracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Esta seção fornece uma lista das propriedades com suporte pela fonte e pelo coletor Oracle. Para obter uma lista completa das seções e propriedades disponíveis para definir as atividades, veja Pipelines.

Oracle como fonte

Para copiar dados do Oracle, defina o tipo de fonte na atividade de cópia como OracleSource. As propriedades a seguir têm suporte na seção source da atividade de cópia.

Exemplo: copiar dados usando uma consulta básica sem partição

"activities":[
    {
        "name": "CopyFromOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Oracle como coletor

Para copiar dados para o Oracle, defina o tipo de coletor na atividade de cópia como OracleSink. As propriedades a seguir têm suporte na seção sink da atividade de cópia.

Exemplo:

"activities":[
    {
        "name": "CopyToOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Oracle output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OracleSink"
            }
        }
    }
]

Cópia paralela do Oracle

O conector do Oracle fornece particionamento de dados interno para copiar dados do Oracle em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, o serviço executa consultas paralelas com relação à sua fonte do Oracle para carregar dados por partições. O grau paralelo é controlado pela configuração do parallelCopies na atividade de cópia. Por exemplo, ao definir parallelCopies como quatro, o serviço gera e executa simultaneamente quatro consultas com base na opção de partição especificada e nas configurações, e cada consulta recupera uma parte dos dados do banco de dados do Oracle.

É recomendável habilitar a cópia paralela com o particionamento de dados, especialmente quando você carrega grandes quantidades de dados do banco de dados Oracle. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, recomendamos gravá-los em uma pasta como vários arquivos (apenas especifique o nome da pasta) para ter um desempenho melhor do que gravar em um arquivo.

Exemplo: consulta com partições físicas

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Exemplo: consulta com a partição do intervalo dinâmico

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Mapeamento de tipo de dados para o Oracle

Quando você copia dados de e para o Oracle, os mapeamentos de tipo de dados provisórios a seguir são usados no serviço. Para saber mais sobre como a atividade de cópia mapeia o tipo de dados e esquema de origem para o coletor, consulte Mapeamentos de tipo de dados e esquema.

NUMBER(p,s) é mapeado para o tipo de dados de serviço provisório apropriado da versão 2.0, dependendo da precisão (p) e da escala (s):

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Atualizar o conector Oracle

Aqui estão as etapas que ajudam você a atualizar o conector Oracle:

1. Na página Editar serviço vinculado, selecione 2.0 em Versão e configure o serviço vinculado referindo-se às propriedades do serviço vinculado versão 2.0.

   Para as propriedades relacionadas à autenticação, incluindo nome de usuário e senha, especifique os valores originais nos campos correspondentes na versão 2.0. Outras propriedades de conexão, como host, porta e Oracle Service Name/Oracle SID na versão 1.0, agora são parâmetros da server propriedade na versão 2.0.

   Por exemplo, se você configurar o serviço vinculado da versão 1.0, conforme mostrado abaixo:

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "typeProperties": { 
               "connectionString": "host=oraclesample.com;port=1521;servicename=db1" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   }
   

   A configuração de serviço vinculado da versão 2.0 idêntica usando a Nomenclatura do Easy Connect (Plus) é:

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "oraclesample.com:1521/db1",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   A configuração de serviço vinculada da versão 2.0 (versão prévia) idêntica usando oDescritor do Conector é:

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST= oraclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   Dica

   O Azure Key Vault tem suporte para a server propriedade. Você pode editar o JSON do serviço vinculado para adicionar a referência do Azure Key Vault, conforme mostrado abaixo:
   

   Observe que:

   • Se você usar o Nome do Serviço Oracle na versão 1.0, poderá usar a Nomenclatura do Easy Connect (Plus) ou o Descritor do Conector como o formato do servidor na versão 2.0.

   • Se você usar o Oracle SID na versão 1.0, precisará usar o Descritor do Conector como o formato de servidor na versão 2.0.

   • Para algumas propriedades de conexão adicionais na versão 1.0, fornecemos propriedades ou parâmetros alternativos na server propriedade na versão 2.0. Você pode consultar a tabela abaixo para atualizar as propriedades da versão 1.0.

     Versão 1.0	Versão 2.0
     método de criptografia	PROTOCOL (parâmetro em server)
     tnsnamesfile	TNS_ADMIN (variável de ambiente com suporte no runtime de integração auto-hospedada)
     servername	servidor
     enablebulkload Valor: 1, 0	enableBulkLoad Valor: verdadeiro, falso
     fetchtswtzastimestamp Valor: 1, 0	fetchTswtzAsTimestamp Valor: verdadeiro, falso
     servidores alternativos	DESCRIPTION_LIST (parâmetro em server)
     ArraySize	fetchSize
     cachedcursorlimit	statementCacheSize
     connectionretrycount	RETRY_COUNT (parâmetro em server)
     initializationstring	initializationString
     tempo limite de login	CONNECT_TIMEOUT (parâmetro em server)
     versão do criptoprotocolo	SSL_VERSION (parâmetro em server)
     truststore	WALLET_LOCATION (parâmetro em server)

     Por exemplo, se você usar alternateservers na versão 1.0, poderá definir o DESCRIPTION_LIST parâmetro na propriedade do servidor na versão 2.0:

     Serviço vinculado da versão 1.0 usando alternateservers:

     {
         "name": "OracleV1",
         "properties": {
             "type": "Oracle",
             "typeProperties": {
                 "connectionString": "host=oraclesample.com;port=1521;servicename=db1;alternateservers=(HostName= oraclesample2.com:PortNumber=1521:SID=db2,HostName=255.201.11.24:PortNumber=1522:ServiceName=db3)"
             }
         }
     }
     

     Serviço vinculado da versão 2.0 idêntico usando o parâmetro DESCRIPTION_LIST no Descritor do Conector:

     {
         "name": "OracleV2",
         "properties": {
             "type": "Oracle",
             "version": "2.0",
             "typeProperties": {
                 "server": "(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=oraclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=oraclesample2.com)(PORT=1521))(CONNECT_DATA=(SID=db2)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=255.201.11.24)(PORT=1522))(CONNECT_DATA=(SERVICE_NAME=db3))))",
                 "username": "<user name>",  
                 "password": "<password>",  
                 "authenticationType": "<authentication type>" 
             }
         }
     }
     

2. O mapeamento de tipo de dados para o serviço vinculado Oracle versão 2.0 é diferente do da versão 1.0. Para saber mais sobre o mapeamento de tipo de dados mais recente, consulte o mapeamento de tipo de dados para Oracle.

   Uma propriedade supportV1DataTypes de conexão adicional na versão 2.0 pode reduzir as dificuldades de atualização causadas por alterações de tipo de dados. Definir essa propriedade para true garantir que o tipo de dados na versão 2.0 permaneça consistente com a versão 1.0.

Diferenças entre o Oracle versão 2.0 e a versão 1.0

O conector Oracle versão 2.0 oferece novas funcionalidades e é compatível com a maioria dos recursos da versão 1.0. A tabela a seguir mostra as diferenças de recursos entre a versão 2.0 e a versão 1.0.