Copiar dados de uma tabela SAP usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory e do Azure Synapse Analytics para copiar dados de uma tabela SAP. Para obter mais informações, consulte Visão geral da atividade de cópia.

Capacidades suportadas

Este conector de tabela SAP é suportado para os seguintes recursos:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista dos armazenamentos de dados suportados como fontes ou destinos pela atividade de cópia, consulte a tabela de Armazenamentos de Dados Suportados.

Especificamente, este conector de tabela SAP suporta:

• Copiando dados de uma tabela SAP em:

  • SAP ERP Central Component (SAP ECC) versão 7.01 ou posterior (em um recente SAP Support Package Stack lançado após 2015).
  • SAP Business Warehouse (SAP BW) versão 7.01 ou posterior (em um conjunto recente de pacotes de suporte SAP lançado após 2015).
  • SAP S/4HANA.
  • Outros produtos no SAP Business Suite versão 7.01 ou posterior (em um recente SAP Support Package Stack lançado após 2015).

• Copiar dados de uma tabela transparente SAP, uma tabela agrupada, uma tabela clusterizada e uma exibição.

• Copiar dados usando autenticação básica ou SNC (Secure Network Communications), se o SNC estiver configurado.

• Conectando-se a um servidor de aplicativos SAP ou servidor de mensagens SAP.

• Recuperação de dados via RFC padrão ou personalizada.

Para obter mais informações sobre o SNC, consulte Introdução ao SAP SNC para integrações RFC - Blog da SAP.

A versão 7.01 ou posterior refere-se à versão SAP NetWeaver em vez da versão SAP ECC. Por exemplo, o SAP ECC 6.0 EHP 7 em geral tem NetWeaver versão >=7.4. Caso você não tenha certeza sobre seu ambiente, aqui estão as etapas para confirmar a versão do seu sistema SAP:

1. Use SAP GUI para se conectar ao sistema SAP.
2. Vá para System ->Status.
3. Verifique a liberação do SAP_BASIS, verifique se ele é igual ou maior que 701.
   

Pré-requisitos

Para usar este conector de tabela SAP, você precisa:

• Configure um runtime de integração auto-hospedado (versão 3.17 ou posterior). Para mais informações, consulte Criar e configurar um runtime de integração auto-hospedado.

• Descarregue o Conector SAP de 64 bits para Microsoft .NET 3.0 do site da SAP e instale-o na máquina de runtime de integração auto-hospedada. Durante a instalação, certifique-se de selecionar a opção Instalar assemblies no GAC na janela Etapas de configuração opcionais.

  Instalar o SAP Connector para .NET

• O usuário SAP que está sendo usado no conector de tabela SAP deve ter as seguintes permissões:

  • Autorização para usar destinos de RFC (Remote Function Call).
  • Permissões para a atividade Execute do objeto de autorização S_SDSAUTH. Você pode consultar a Nota SAP 460089 para a maioria dos objetos de autorização. Certas RFCs são necessárias pelo conector NCo subjacente, como, por exemplo, RFC_FUNCTION_SEARCH.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar dados
• portal do Azure
• SDK do .NET
• Python SDK
• Azure PowerShell
• API REST
• Modelo Azure Resource Manager

Criar um serviço vinculado a uma tabela SAP usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado a uma tabela SAP na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de Dados do Azure
   • Sinapse do Azure

   

2. Pesquise SAP e selecione o conector de tabela SAP.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir as entidades específicas para o conector de tabela SAP.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado SAP BW Open Hub:

Exemplo 1: Conectar-se a um servidor de aplicativos SAP

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 2: Conectar-se a um servidor de mensagens SAP

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "messageServer": "<message server name>",
            "messageServerService": "<service name or port>",
            "systemId": "<system ID>",
            "logonGroup": "<logon group>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo 3: Conectar usando SNC

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            },
            "sncMode": 1,
            "sncMyName": "<SNC myname>",
            "sncPartnerName": "<SNC partner name>",
            "sncLibraryPath": "<SNC library path>",
            "sncQop": "8"
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Para obter mais informações sobre o SNC, consulte Introdução ao SAP SNC para integrações RFC - Blog da SAP.

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades para definir conjuntos de dados, consulte Datasets. A seção a seguir fornece uma lista das propriedades suportadas pelo conjunto de dados da tabela SAP.

Para copiar dados de e para o serviço vinculado SAP BW Open Hub, as seguintes propriedades são suportadas:

Exemplo

{
    "name": "SAPTableDataset",
    "properties": {
        "type": "SapTableResource",
        "typeProperties": {
            "tableName": "<SAP table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<SAP table linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa das seções e propriedades para definir atividades, consulte Pipelines. A seção a seguir fornece uma lista das propriedades suportadas pela fonte da tabela SAP.

Tabela SAP como origem

Para copiar dados de uma tabela SAP, as seguintes propriedades são suportadas:

No rfcTableOptions, você pode usar os seguintes operadores de consulta SAP comuns para filtrar as linhas:

Exemplo

"activities":[
    {
        "name": "CopyFromSAPTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SAP table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SapTableSource",
                "partitionOption": "PartitionOnInt",
                "partitionSettings": {
                     "partitionColumnName": "<partition column name>",
                     "partitionUpperBound": "2000",
                     "partitionLowerBound": "1",
                     "maxPartitionsNumber": 500
                 }
            },
            "sink": {
                "type": "<sink type>"
            },
            "parallelCopies": 4
        }
    }
]

Juntar tabelas SAP

Atualmente, o conector SAP Table suporta apenas uma única tabela com o módulo de função padrão. Para obter os dados associados de várias tabelas, você pode aproveitar a propriedade customRfcReadTableFunctionModule no conector SAP Table seguindo as etapas abaixo:

• Escreva um módulo de função personalizado, que pode tomar uma consulta como OPTIONS e aplicar sua própria lógica para recuperar os dados.
• Para o "Módulo de função personalizado", insira o nome do módulo de função personalizado.
• Para as "Opções de tabela RFC", especifique a instrução de junção de tabelas para utilizar no seu módulo de função como OPTIONS, tal como "<TABLE1> INNER JOIN <TABLE2> ON COLUMN0".

Abaixo encontra-se um exemplo:

Criar módulo de função personalizado

Para a tabela SAP, atualmente suportamos a propriedade customRfcReadTableFunctionModule na fonte de cópia, o que permite que você aproveite sua própria lógica e processe dados.

Como orientação rápida, aqui estão alguns requisitos para começar a usar o "Módulo de função personalizado":

• Definição:

  

• Exporte dados para uma das tabelas abaixo:

  

  

Abaixo estão ilustrações de como o conector de tabela SAP funciona com o módulo de funções personalizado.

1. Construa conexão com o servidor SAP via SAP NCO.

2. Invoque "Módulo de função personalizado" com os parâmetros definidos abaixo:

   • QUERY_TABLE: o nome da tabela definida no conjunto de dados da Tabela SAP;
   • Delimitador: o delimitador definido no SAP Table Source;
   • ROWCOUNT/Option/Fields: o Rowcount/Aggregated Option/Fields que você definiu na origem da tabela.

3. Obtenha o resultado e analise os dados das seguintes maneiras:

   1. Analise o valor na tabela Fields para obter os esquemas.

      

   2. Obtenha os valores da tabela de saída para ver qual tabela contém esses valores.

      

   3. Obtenha os valores no OUT_TABLE, analise os dados e escreva-os no coletor.

Mapeamentos de tipo de dados para uma tabela SAP

Quando você copia dados de uma tabela SAP, os mapeamentos a seguir são usados dos tipos de dados da tabela SAP para os tipos de dados provisórios usados no serviço. Para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o coletor, consulte Mapeamentos de esquema e tipo de dados.

Propriedades da atividade de consulta

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Conteúdos relacionados

Para obter uma lista dos armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte Armazenamentos de dados suportados.