Kopiowanie danych z i do usługi Salesforce W wersji 2 przy użyciu usługi Azure Data Factory lub Azure Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób używania działania kopiowania w potokach usługi Azure Data Factory i Usługi Azure Synapse do kopiowania danych z i do usługi Salesforce. Jest on oparty na artykule Omówienie działania kopiowania, który przedstawia ogólne omówienie działania kopiowania.

Obsługiwane możliwości

Ten łącznik usługi Salesforce jest obsługiwany w następujących funkcjach:

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Aby uzyskać listę magazynów danych obsługiwanych jako źródła lub ujścia, zobacz tabelę Obsługiwane magazyny danych.

W szczególności ten łącznik usługi Salesforce obsługuje następujące elementy:

• Wersje Salesforce Developer, Professional, Enterprise lub Unlimited.
• Kopiowanie danych z i do domeny niestandardowej (domena niestandardowa można skonfigurować zarówno w środowiskach produkcyjnych, jak i piaskownicy).

Możesz jawnie ustawić wersję interfejsu API używaną do odczytu/zapisu danych za pośrednictwem apiVersion właściwości w połączonej usłudze. Podczas kopiowania danych do usługi Salesforce łącznik używa interfejsu API BULK 2.0.

Prerequisites

• Uprawnienia interfejsu API muszą być włączone w usłudze Salesforce.

• Musisz skonfigurować portal Connected Apps w usłudze Salesforce odwołując się do tego oficjalnego dokumentu lub wskazówek krok po kroku w rekomendacji w tym artykule.

  Important

  • Użytkownik wykonywania musi mieć uprawnienie Tylko interfejs API.
  • Czas wygaśnięcia tokenu dostępu można zmienić za pomocą zasad sesji zamiast tokenu odświeżania.

Limity interfejsu API zbiorczego usługi Salesforce 2.0

Do wykonywania zapytań i pozyskiwania danych używamy interfejsu API zbiorczego usługi Salesforce 2.0. W przypadku zbiorczego interfejsu API 2.0 partie są tworzone automatycznie. Można przesłać maksymalnie 15 000 partii na okres 24-godzinny. Jeśli partie przekraczają limit, wystąpią błędy.

W przypadku zbiorczego interfejsu API 2.0 tylko zadania pozyskiwania zużywają partie. Zadania zapytań nie są wykonywane. Aby uzyskać szczegółowe informacje, zobacz How Requests are Processed in the Bulk API 2.0 Developer Guide (Jak żądania są przetwarzane w przewodniku dla deweloperów interfejsu API zbiorczego 2.0).

Aby uzyskać więcej informacji, zobacz sekcję "Ogólne limity" w temacie Limity dla deweloperów usługi Salesforce.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą pipeline'u, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• zestawu SDK platformy .NET
• Zestaw SDK dla języka Python
• Azure PowerShell
• API REST
• Szablon usługi Azure Resource Manager

Tworzenie połączonej usługi z usługą Salesforce przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z usługą Salesforce w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj pozycję Salesforce i wybierz łącznik Salesforce.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek specyficznych dla łącznika usługi Salesforce.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane w przypadku połączonej usługi Salesforce.

Przykład: Przechowywanie poświadczeń

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "SalesforceV2",
        "typeProperties": {
            "environmentUrl": "<environment URL>",
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "SecureString",
                "value": "<client secret>"
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Przykład: przechowywanie poświadczeń w usłudze Key Vault

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "SalesforceV2",
        "typeProperties": {
            "environmentUrl": "<environment URL>",
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": "<client ID>",
            "clientSecret": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client secret in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Przykład: przechowywanie poświadczeń w usłudze Key Vault, a także wartości environmentUrl i clientId

Dzięki przechowywaniu poświadczeń w usłudze Key Vault, a także wartości environmentUrl i clientId, możesz dłużej używać interfejsu użytkownika do edytowania ustawień. Pole wyboru Określ zawartość dynamiczną w formacie JSON musi być zaznaczone i musisz ręcznie wykonać tę konfigurację. Zaletą tego scenariusza jest możliwość uzyskania wszystkich ustawień konfiguracji z usługi Key Vault zamiast sparametryzowania niczego tutaj.

{
    "name": "SalesforceLinkedService",
    "properties": {
        "type": "SalesforceV2",
        "typeProperties": {
            "environmentUrl": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of environment URL in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "authenticationType": "OAuth2ClientCredentials",
            "clientId": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client ID in AKV>",
                "store": {
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                },
            },
            "clientSecret": {
                "type": "AzureKeyVaultSecret",
                "secretName": "<secret name of client secret in AKV>",
                "store":{
                    "referenceName": "<Azure Key Vault linked service>",
                    "type": "LinkedServiceReference"
                }
            },
            "apiVersion": "<API Version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz artykuł Zestawy danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych usługi Salesforce.

Aby skopiować dane z i do usługi Salesforce, ustaw właściwość type zestawu danych na SalesforceV2Object. Obsługiwane są następujące właściwości.

Example:

{
    "name": "SalesforceDataset",
    "properties": {
        "type": "SalesforceV2Object",
        "typeProperties": {
            "objectApiName": "MyTable__c"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Salesforce linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło i ujście usługi Salesforce.

Salesforce jako typ źródła

Aby skopiować dane z usługi Salesforce, ustaw typ źródła w działaniu kopiowania na salesforceV2Source. Poniższe właściwości są obsługiwane w sekcji źródła działania kopiowania.

Example:

"activities":[
    {
        "name": "CopyFromSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Salesforce input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SalesforceV2Source",
                "query": "SELECT Col_Currency__c, Col_Date__c, Col_Email__c FROM AllDataType__c",
                "includeDeletedObjects": false,
                "partitionOption": "AutoDetect"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Salesforce jako typ ujścia

Aby skopiować dane do usługi Salesforce, ustaw typ ujścia w działaniu kopiowania na salesforceV2Sink. Poniższe właściwości są obsługiwane w sekcji ujścia działania kopiowania.

Przykład: ujście usługi Salesforce w działaniu kopiowania

"activities":[
    {
        "name": "CopyToSalesforce",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Salesforce output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SalesforceV2Sink",
                "writeBehavior": "Upsert",
                "externalIdFieldName": "CustomerId__c",
                "writeBatchSize": 10000,
                "ignoreNullValues": true
            }
        }
    }
]

Mapowanie typów danych dla usługi Salesforce

Podczas kopiowania danych z usługi Salesforce następujące mapowania są używane z typów danych usługi Salesforce do typów danych tymczasowych w ramach usługi wewnętrznie. Aby dowiedzieć się, jak działanie kopiowania mapuje schemat źródłowy i typ danych na ujście, zobacz Mapowania schematu i typu danych.

Właściwości działania wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie Wyszukiwania.

Cykl życia i uaktualnianie łącznika Salesforce

W poniższej tabeli przedstawiono etap wydania i dzienniki zmian dla różnych wersji łącznika usługi Salesforce:

Uaktualnianie łącznika usługi Salesforce z wersji 1 do wersji 2

Poniżej przedstawiono kroki ułatwiające uaktualnienie łącznika usługi Salesforce:

1. Skonfiguruj połączone aplikacje w portalu usługi Salesforce, korzystając z sekcji Wymagania wstępne.

2. Utwórz nową połączoną usługę Salesforce i skonfiguruj ją, odwołując się do właściwości połączonej usługi. Należy również ręcznie zaktualizować istniejące zestawy danych, które opierają się na starej połączonej usłudze, edytując każdy zestaw danych, aby zamiast tego używać nowej połączonej usługi.

3. Jeśli używasz zapytania SQL w źródle działania kopiowania lub działania wyszukiwania odwołującego się do połączonej usługi V1, musisz przekonwertować je na zapytanie SOQL. Dowiedz się więcej na temat zapytań SOQL z usługi Salesforce jako typu źródłowego i języka SOQL (Salesforce Object Query Language).

4. Obsługa źródła operacji kopiowania z użyciem partitionOption. Aby uzyskać szczegółową konfigurację, zobacz Salesforce jako typ źródła.

5. Element readBehavior jest zastępowany elementem includeDeletedObjects w źródle aktywności kopiowania lub w aktywności wyszukiwania. Aby uzyskać szczegółową konfigurację, zobacz Salesforce jako typ źródła.

Treści powiązane

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz Obsługiwane magazyny danych.