Copiar dados do Amazon RDS for Oracle usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade de cópia no Azure Data Factory para copiar dados de um banco de dados do Amazon RDS for Oracle. Ele se baseia na visão geral da atividade de cópia.

Capacidades suportadas

Esse conector do Amazon RDS for Oracle é compatível com os seguintes recursos:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes ou coletores pela atividade de cópia, consulte a tabela Armazenamentos de dados suportados.

Especificamente, esse conector do Amazon RDS for Oracle é compatível:

• As seguintes versões de um banco de dados do Amazon RDS for Oracle para versão 2.0:
  • Amazon RDS para Oracle 19c e superior
  • Amazon RDS para Oracle 18c e superior
  • Amazon RDS para Oracle 12c e superior
  • Amazon RDS para Oracle 11g e superior
• As seguintes versões de um banco de dados do Amazon RDS for Oracle para a versão 1.0:
  • Amazon RDS for Oracle 19c R1 (19.1) e superior
  • Amazon RDS for Oracle 18c R1 (18.1) e superior
  • Amazon RDS for Oracle 12c R1 (12.1) e superior
  • Amazon RDS for Oracle 11g R1 (11.1) e superior
• Cópia paralela de uma fonte do Amazon RDS for Oracle. Consulte a seção Cópia paralela do Amazon RDS para Oracle para obter detalhes.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

O tempo de execução da integração fornece um driver integrado do Amazon RDS for Oracle. Portanto, não é necessário instalar manualmente um driver ao copiar dados do Amazon RDS for Oracle.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar dados
• portal do Azure
• SDK do .NET
• Python SDK
• Azure PowerShell
• API REST
• Modelo Azure Resource Manager

Criar um serviço vinculado ao Amazon RDS for Oracle usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Amazon RDS for Oracle na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de Dados do Azure
   • Sinapse do Azure

   

2. Pesquise por Amazon RDS for Oracle e selecione o conector do Amazon RDS for Oracle.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades específicas para o conector do Amazon RDS for Oracle.

Propriedades do serviço vinculado

O conector do Amazon RDS for Oracle versão 2.0 é compatível com TLS 1.3. Consulte esta seção para atualizar sua versão do conector do Amazon RDS for Oracle a partir da versão 1.0. Para obter os detalhes da propriedade, consulte as seções correspondentes.

• Versão 2.0
• Versão 1.0

Versão 2.0

O serviço vinculado do Amazon RDS for Oracle oferece suporte às seguintes propriedades ao aplicar a versão 2.0:

Mais propriedades de conexão que você pode definir no serviço vinculado de acordo com seu caso:

Exemplo:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar senha no Cofre da Chave do Azure

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "authenticationType": "<authentication type>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                }, 
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

server configuração da propriedade

Para a propriedade server, pode especificá-la num dos três formatos seguintes:

A lista a seguir mostra os parâmetros suportados usados no server. Se você usar parâmetros que não estão na lista a seguir, sua conexão falhará.

• Ao usar o tempo de execução de integração do Azure:

  ANFITRIÃO
  PORTO
  PROTOCOLO
  NOME_DO_SERVIÇO
  SID
  NOME_INSTÂNCIA
  SERVIDOR
  TEMPO_DE_CONEXÃO_ESGOTADO
  RETRY_COUNT
  ATRASO_DE_NOVA_TENTATIVA
  VERSÃO_SSL
  SSL_SERVER_DN_MATCH
  SSL_SERVER_CERT_DN

• Ao utilizar o ambiente de execução de integração autoalojado:

  ANFITRIÃO
  PORTO
  PROTOCOLO
  ATIVAR
  TEMPO_DE_EXPIRAÇÃO
  ATIVAÇÃO PÓS-FALHA
  Equilíbrio de carga
  RECV_BUF_SIZE
  SDU
  SEND_BUF_SIZE
  ROTA_FONTE
  TIPO_DE_SERVIÇO
  COLOCATION_TAG
  CONNECTION_ID_PREFIX
  MODO_DE_REDUNDÂNCIA
  GLOBAL_NAME
  SH
  NOME_INSTÂNCIA
  LIMITE DA PISCINA
  CLASSE_DE_CONEXÃO_DE_PISCINA
  NOME_DA_PISCINA
  PUREZA_DA_PISCINA
  RDB_DATABASE
  CHAVE_DE_FRAGMENTAÇÃO
  SHARDING_KEY_ID
  SUPER_SHARDING_KEY
  SERVIDOR
  NOME_DO_SERVIÇO
  SID
  TUNNEL_SERVICE_NAME
  AUTENTICAÇÃO_SSL_DO_CLIENTE
  Alias_Certificado_SSL
  IMPRESSÃO_DIGITAL_DO_CERTIFICADO_SSL
  VERSÃO_SSL
  SSL_SERVER_DN_MATCH
  SSL_SERVER_CERT_DN
  LOCALIZAÇÃO_CARTEIRA
  TEMPO_DE_CONEXÃO_ESGOTADO
  RETRY_COUNT
  ATRASO_DE_NOVA_TENTATIVA
  TRANSPORTE_CONECTAR_TEMPO_ESGOTADO
  RECV_TIMEOUT
  COMPRESSÃO
  NÍVEIS_DE_COMPRESSÃO

Versão 1.0

O serviço vinculado do Amazon RDS for Oracle oferece suporte às seguintes propriedades ao aplicar a versão 1.0:

Se você tiver várias instâncias do Amazon RDS for Oracle para cenário de failover, poderá criar o serviço vinculado do Amazon RDS for Oracle e preencher o host primário, a porta, o nome de usuário, a senha, etc., e adicionar uma nova "Propriedades de conexão adicionais" com o nome da propriedade como AlternateServers e o valor como (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>) - não perca os colchetes e preste atenção aos dois pontos (:) como separador. Como exemplo, o seguinte valor de servidores alternativos define dois servidores de banco de dados alternativos para failover de conexão: (HostName=AccountingAmazonRdsForOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Mais propriedades de conexão que você pode definir na cadeia de conexão por seu caso:

Para habilitar a criptografia na conexão do Amazon RDS for Oracle, você tem duas opções:

• Para usar o Triple-DES Encryption (3DES) e o Advanced Encryption Standard (AES), no lado do servidor do Amazon RDS for Oracle, vá para Oracle Advanced Security (OAS) e defina as configurações de criptografia. Para obter detalhes, consulte esta documentação da Oracle. O conector do Amazon RDS for Oracle Application Development Framework (ADF) negocia automaticamente o método de criptografia para usar aquele que você configura no OAS ao estabelecer uma conexão com o Amazon RDS for Oracle.

• Para usar TLS:

  1. Obtenha as informações do certificado TLS/SSL. Obtenha as informações de certificado codificadas em DER (Distinguished Encoding Rules) do seu certificado TLS/SSL e salve a saída (----- Begin Certificate ... End Certificate -----) como um arquivo de texto.

     openssl x509 -inform DER -in [Full Path to the DER Certificate including the name of the DER Certificate] -text
     

     Exemplo: extraia informações de certificado do DERcert.cer e salve a saída em cert.txt.

     openssl x509 -inform DER -in DERcert.cer -text
     Output:
     -----BEGIN CERTIFICATE-----
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXX
     -----END CERTIFICATE-----
     

  2. Construa o keystore ou truststore. O comando a seguir cria o truststore arquivo, com ou sem senha, no formato PKCS-12.

     openssl pkcs12 -in [Path to the file created in the previous step] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -nokeys -export
     

     Exemplo: Crie um arquivo PKCS12 truststore , chamado MyTrustStoreFile, com uma senha.

     openssl pkcs12 -in cert.txt -out MyTrustStoreFile -passout pass:ThePWD -nokeys -export  
     

  3. Coloque o truststore arquivo na máquina de IR auto-hospedada. Por exemplo, coloque o arquivo em C:\MyTrustStoreFile.

  4. No serviço, configure a cadeia de conexão do Amazon RDS para Oracle com EncryptionMethod=1 e o valor correspondenteTrustStore/TrustStorePassword. Por exemplo, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Exemplo:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar senha no Cofre da Chave do Azure

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Esta seção fornece uma lista de propriedades compatíveis com o conjunto de dados do Amazon RDS for Oracle. Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

Para copiar dados do Amazon RDS for Oracle, defina a propriedade type do conjunto de dados como AmazonRdsForOracleTable. As seguintes propriedades são suportadas.

Exemplo:

{
    "name": "AmazonRdsForOracleDataset",
    "properties":
    {
        "type": "AmazonRdsForOracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copy

Esta seção fornece uma lista de propriedades compatíveis com a origem do Amazon RDS for Oracle. Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Pipelines.

Amazon RDS for Oracle como origem

Para copiar dados do Amazon RDS for Oracle, defina o tipo de origem na atividade de cópia como AmazonRdsForOracleSource. As propriedades a seguir são suportadas na seção copiar fonte de atividade.

Exemplo: copiar dados usando uma consulta básica sem partição

"activities":[
    {
        "name": "CopyFromAmazonRdsForOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForOracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cópia paralela do Amazon RDS for Oracle

O conector do Amazon RDS for Oracle fornece particionamento de dados integrado para copiar dados do Amazon RDS for Oracle em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, o serviço executa consultas paralelas na origem do Amazon RDS for Oracle para carregar dados por partições. O grau paralelo é controlado pela parallelCopies configuração na atividade de cópia. Por exemplo, se você definir parallelCopies como quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção e nas configurações de partição especificadas, e cada consulta recuperará uma parte dos dados do banco de dados do Amazon RDS for Oracle.

Sugere-se que você habilite a cópia paralela com particionamento de dados, especialmente quando carrega uma grande quantidade de dados do banco de dados do Amazon RDS for Oracle. A seguir estão sugeridas configurações para diferentes cenários. Ao copiar dados para o armazenamento de dados baseado em arquivo, é recomendável gravar em uma pasta como vários arquivos (especifique apenas o nome da pasta), caso em que o desempenho é melhor do que gravar em um único arquivo.

Exemplo: consulta com partição física

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Exemplo: consulta com partição de intervalo dinâmico

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Mapeamento de tipo de dados para Amazon RDS for Oracle

Quando você copia dados de e para o Amazon RDS for Oracle, os mapeamentos de tipo de dados provisórios a seguir são usados no serviço. Para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o destino, consulte Mapeamentos de esquema e tipo de dados.

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Atualizar o conector do Amazon RDS for Oracle

Veja algumas etapas que ajudam a atualizar o conector do Amazon RDS for Oracle:

1. Na página Editar serviço vinculado , selecione a versão 2.0 e configure o serviço vinculado consultando as propriedades do serviço vinculado versão 2.0.

   Para as propriedades relacionadas à autenticação, incluindo nome de usuário e senha, especifique os valores originais nos campos correspondentes na versão 2.0. Outras propriedades de conexão, como host, porta e Amazon RDS for Oracle Service Name/Amazon RDS for Oracle SID na versão 1.0, agora são parâmetros da server propriedade na versão 2.0.

   Por exemplo, se você configurar o serviço vinculado versão 1.0 como mostrado abaixo:

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "typeProperties": { 
               "connectionString": "host=amazonrdsfororaclesample.com;port=1521;servicename=db1" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   }
   

   A configuração idêntica do serviço vinculado da versão 2.0 usando a nomenclatura Easy Connect (Plus) é:

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "amazonrdsfororaclesample.com:1521/db1",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   A configuração do serviço de ligação da versão 2.0 idêntica usando o descritor de conector é:

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST= amazonrdsfororaclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   Gorjeta

   O Azure Key Vault tem suporte para a server propriedade. Você pode editar o JSON do serviço vinculado para adicionar a referência do Cofre da Chave do Azure, conforme mostrado abaixo:
   

   Tenha em atenção que:

   • Se você usar o Nome do Serviço Oracle na versão 1.0, poderá usar o Easy Connect (Plus) Naming ou o Descritor do Conector como o formato do servidor na versão 2.0.

   • Se você usar o Oracle SID na versão 1.0, precisará usar o descritor do conector como o formato do servidor na versão 2.0.

   • Para algumas propriedades de conexão adicionais na versão 1.0, fornecemos propriedades ou parâmetros alternativos na propriedade na server versão 2.0. Você pode consultar a tabela abaixo para atualizar as propriedades da versão 1.0.

     Versão 1.0	Versão 2.0
     método de encriptação	PROTOCOLO (parâmetro em server)
     tnsnamesfile	TNS_ADMIN (variável de ambiente suportada no tempo de execução de integração auto-hospedada)
     nome do servidor	servidor
     EnableBulkload Valor: 1, 0	ativarCarregamentoEmMassa Valor: verdadeiro, falso
     fetchtswtzastimestamp Valor: 1, 0	fetchTswtzAsTimestamp (obter Tswtz como Timestamp) Valor: verdadeiro, falso
     Servidores alternativos	DESCRIPTION_LIST (parâmetro em server)
     tamanho do array	fetchSize
     limite de cursor em cache	tamanhoDaCacheDeDeclaração
     ContagemDeTentativasDeConexão	RETRY_COUNT (parâmetro em server)
     InitializationString	initializationString
     tempo limite de início de sessão	CONNECT_TIMEOUT (parâmetro em server)
     versão do protocolo criptográfico	SSL_VERSION (parâmetro em server)
     loja de confiança	WALLET_LOCATION (parâmetro em server)

     Por exemplo, se você usar alternateservers na versão 1.0, poderá definir o DESCRIPTION_LIST parâmetro na propriedade server na versão 2.0:

     Serviço vinculado da versão 1.0 usando alternateservers:

     {
         "name": "AmazonRdsForOracleV1",
         "properties": {
             "type": "AmazonRdsForOracle",
             "typeProperties": {
                 "connectionString": "host=amazonrdsfororaclesample.com;port=1521;servicename=db1;alternateservers=(HostName= amazonrdsfororaclesample2.com:PortNumber=1521:SID=db2,HostName=255.201.11.24:PortNumber=1522:ServiceName=db3)"
             }
         }
     }
     

     Versão idêntica 2.0 de serviço vinculado usando o parâmetro DESCRIPTION_LIST no descritor do conector.

     {
         "name": "AmazonRdsForOracleV2",
         "properties": {
             "type": "AmazonRdsForOracle",
             "version": "2.0",
             "typeProperties": {
                 "server": "(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=amazonrdsfororaclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=amazonrdsfororaclesample2.com)(PORT=1521))(CONNECT_DATA=(SID=db2)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=255.201.11.24)(PORT=1522))(CONNECT_DATA=(SERVICE_NAME=db3))))",
                 "username": "<user name>",  
                 "password": "<password>",  
                 "authenticationType": "<authentication type>" 
             }
         }
     }
     

2. O mapeamento de tipo de dados para o serviço vinculado do Amazon RDS for Oracle versão 2.0 é diferente do da versão 1.0. Para saber o mapeamento de tipo de dados mais recente, consulte Mapeamento de tipo de dados para o Amazon RDS for Oracle.

   Uma propriedade supportV1DataTypes de conexão adicional na versão 2.0 pode reduzir as dificuldades de atualização causadas por alterações de tipo de dados. Definir essa propriedade para true garantir que o tipo de dados na versão 2.0 permaneça consistente com a versão 1.0.

Diferenças entre o Amazon RDS for Oracle versão 2.0 e versão 1.0

O conector do Amazon RDS for Oracle versão 2.0 oferece novas funcionalidades e é compatível com a maioria dos recursos da versão 1.0. A tabela a seguir mostra as diferenças de recursos entre a versão 2.0 e a versão 1.0.

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.