Kopiowanie i przekształcanie danych w usłudze Azure Database for PostgreSQL przy użyciu usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób użycia działania kopiowania w potokach usługi Azure Data Factory i usługi Synapse Analytics w celu kopiowania danych z i do usługi Azure Database for PostgreSQL. I jak używać przepływu danych do przekształcania danych w usłudze Azure Database for PostgreSQL. Aby dowiedzieć się więcej, przeczytaj artykuły wprowadzające dotyczące usług Azure Data Factory i Synapse Analytics.

Ten łącznik jest przeznaczony dla usługi Azure Database for PostgreSQL. Aby skopiować dane z ogólnej bazy danych PostgreSQL znajdującej się lokalnie lub w chmurze, użyj łącznika PostgreSQL.

Obsługiwane możliwości

Ten łącznik usługi Azure Database for PostgreSQL jest obsługiwany dla następujących funkcji:

(1) Środowisko uruchomieniowe Azure (2) Lokalne środowisko uruchomieniowe

Trzy działania działają na pojedynczym serwerze usługi Azure Database for PostgreSQL, serwerze elastycznym i usłudze Azure Cosmos DB for PostgreSQL.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą pipeline'u, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• zestawu SDK platformy .NET
• Zestaw SDK dla języka Python
• Azure PowerShell
• API REST
• Szablon usługi Azure Resource Manager

Tworzenie połączonej usługi z usługą Azure Database for PostgreSQL przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z usługą Azure Database for PostgreSQL w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie wybierz pozycję Nowe:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj PostgreSQL i wybierz łącznik dla Azure Database for PostgreSQL.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika usługi Azure Database for PostgreSQL.

Właściwości połączonej usługi

Łącznik usługi Azure Database for PostgreSQL w wersji 2.0 obsługuje tryby Transport Layer Security (TLS) 1.3 i wiele trybów protokołu SSL (Secured Socket Layer). Zapoznaj się z tą sekcją , aby uaktualnić wersję łącznika usługi Azure SQL Database z wersji 1.0. Aby uzyskać informacje szczegółowe dotyczące nieruchomości, zobacz odpowiednie sekcje.

• Wersja 2.0
• w wersji 1.0

Wersja 2.0

Następujące właściwości są obsługiwane w przypadku połączonej usługi Azure Database for PostgreSQL w przypadku zastosowania wersji 2.0:

uwierzytelnianie podstawowe

Przykład:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Przykład:

Przechowywanie hasła w usłudze Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Uwierzytelnianie tożsamości zarządzanej, nadanej przez system

Obszar roboczy fabryki danych lub usługi Synapse może być skojarzony z tożsamością zarządzaną przypisaną przez system , która reprezentuje usługę podczas uwierzytelniania w innych zasobach na platformie Azure. Tej tożsamości zarządzanej można użyć do uwierzytelniania usługi Azure Database for PostgreSQL. Wyznaczona fabryka lub obszar roboczy usługi Synapse mogą uzyskiwać dostęp do danych lub do bazy danych oraz kopiować je przy użyciu tej tożsamości.

Aby użyć tożsamości zarządzanej przypisanej przez system, wykonaj następujące kroki:

1. Fabrykę danych lub obszar roboczy usługi Synapse można skojarzyć z tożsamością zarządzaną przypisaną przez system. Dowiedz się więcej, Generowanie tożsamości zarządzanej przypisanej przez system

2. Dane Azure dla PostgreSQL z przypisaną przez system zarządzaną tożsamością Włączone.

   

3. W zasobie usługi Azure Database for PostgreSQL w obszarze Zabezpieczenia

   1. Wybierz Uwierzytelnianie

   2. Wybierz metodę uwierzytelniania: tylko uwierzytelnianie Entra firmy Microsoft lub uwierzytelnianie PostgreSQL i Microsoft Entra.

   3. Wybierz + Dodaj administratorów Microsoft Entra

   4. Dodaj tożsamość zarządzaną przypisaną przez system dla zasobu usługi Azure Data Factory jako jednego z administratorów Microsoft Entra

      

4. Skonfigurować połączoną usługę bazy danych Azure dla PostgreSQL.

Przykład:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "SystemAssignedManagedIdentity"
        }
    }
}

Uwierzytelnianie zarządzanej tożsamości przypisanej przez użytkownika

Obszar roboczy fabryki danych lub usługi Synapse może być skojarzony z tożsamością zarządzaną przypisaną przez użytkownika , która reprezentuje usługę podczas uwierzytelniania w innych zasobach na platformie Azure. Tej tożsamości zarządzanej można użyć do uwierzytelniania usługi Azure Database for PostgreSQL. Wyznaczona fabryka lub obszar roboczy usługi Synapse mogą uzyskiwać dostęp do danych lub do bazy danych oraz kopiować je przy użyciu tej tożsamości.

Aby użyć uwierzytelniania tożsamości zarządzanej przypisanej przez użytkownika, oprócz właściwości ogólnych opisanych w poprzedniej sekcji, określ następujące właściwości:

Należy również wykonać następujące czynności:

1. Pamiętaj, aby utworzyć zasób tożsamości zarządzanej przypisanej przez użytkownika w witrynie Azure Portal. Aby dowiedzieć się więcej, zobacz Zarządzanie tożsamościami zarządzanymi przypisanymi przez użytkownika

2. Przypisz tożsamość zarządzaną przypisaną przez użytkownika do zasobu Azure Database for PostgreSQL

   1. W zasobie serwera usługi Azure Database for PostgreSQL w obszarze Zabezpieczenia

   2. Wybierz Uwierzytelnianie

   3. Sprawdź, czy metoda uwierzytelniania to tylko uwierzytelnianie Microsoft Entra czy uwierzytelnianie PostgreSQL i Microsoft Entra

   4. Wybierz łącze + Dodaj administratorów Microsoft Entra i wybierz przypisaną przez użytkownika tożsamość zarządzaną.

      

3. Przypisywanie tożsamości zarządzanej przypisanej przez użytkownika do zasobu usługi Azure Data Factory

   1. Wybierz Ustawienia, a następnie Tożsamości zarządzane

   2. Na karcie Przypisano użytkownika. Wybierz link + Dodaj i wybierz tożsamość zarządzaną przez użytkownika.

      

4. Skonfigurować połączoną usługę bazy danych Azure dla PostgreSQL.

Przykład:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "<your credential>",
                "type": "CredentialReference"
            }
        }
    }
}

Uwierzytelnianie głównego elementu usługi

Przykład:

Klucz Service Principal

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalKey": "<service principal key>"
        }
    }
}

Przykład:

Certyfikat podmiotu usługi

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalEmbeddedCert": "<service principal certificate>",
            "servicePrincipalEmbeddedCertPassword": "<service principal embedded certificate password>"
        }
    }
}

Wersja 1.0

Podczas stosowania wersji 1.0 obsługiwane są następujące właściwości połączonej usługi Azure Database for PostgreSQL:

Typowy parametry połączenia to host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>. Poniżej przedstawiono więcej właściwości, które można ustawić dla danego przypadku:

Przykład:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>"
        }
    }
}

Przykład:

Przechowywanie hasła w usłudze Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz Zestawy danych. Ta sekcja zawiera listę właściwości obsługiwanych przez usługę Azure Database for PostgreSQL w zestawach danych.

Aby skopiować dane z usługi Azure Database for PostgreSQL, ustaw właściwość type zestawu danych na AzurePostgreSqlTable. Obsługiwane są następujące właściwości:

Przykład:

{
    "name": "AzurePostgreSqlDataset",
    "properties": {
        "type": "AzurePostgreSqlTable",
        "linkedServiceName": {
            "referenceName": "<AzurePostgreSql linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz Potoki i działania. Ta sekcja zawiera listę właściwości obsługiwanych przez źródło usługi Azure Database for PostgreSQL.

Usługa Azure Database for PostgreSql jako źródło

Aby skopiować dane z usługi Azure Database for PostgreSQL, ustaw typ źródła w działaniu kopiowania na AzurePostgreSqlSource. Następujące właściwości są obsługiwane w sekcji źródło działania kopiowania:

Przykład:

"activities":[
    {
        "name": "CopyFromAzurePostgreSql",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<AzurePostgreSql input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzurePostgreSqlSource",
                "query": "<custom query e.g. SELECT * FROM mytable>",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database for PostgreSQL jako ujście

Aby skopiować dane do usługi Azure Database for PostgreSQL, ustaw typ ujścia w działaniu kopiowania na sqlSink. Następujące właściwości są obsługiwane w sekcji ujścia działania kopiowania:

Przykład 1. Polecenie kopiowania

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeMethod": "CopyCommand",
                "writeBatchSize": 1000000
            }
        }
    }
]

Przykład 2: Aktualizacja lub wstawianie danych

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSQLSink",
                "writeMethod": "Upsert",
                "upsertSettings": {
                    "keys": [
                        "<column name>"
                    ]
                },
            }
        }
    }
]

Aktualizuj lub dodaj dane

Działanie kopiowania obsługuje operacje upsert w sposób natywny. Aby wykonać operację upsert, użytkownik powinien podać kolumny kluczy, które są kluczami podstawowymi lub unikatowymi. Jeśli użytkownik nie udostępnia kolumn kluczy, zostaną użyte kolumny klucza podstawowego w tabeli ujścia. Działanie kopiowania spowoduje zaktualizowanie kolumn innych niż klucz w tabeli ujścia, w której wartości kolumny klucza są zgodne z wartościami w tabeli źródłowej; w przeciwnym razie wstawi nowe dane.

Kopiowanie równoległe z usługi Azure Database for PostgreSQL

Łącznik usługi Azure Database for PostgreSQL w działaniu kopiowania zapewnia wbudowane partycjonowanie danych w celu równoległego kopiowania danych. Opcje partycjonowania danych można znaleźć na karcie Źródło działania kopiowania.

Po włączeniu kopii partycjonowanej działanie kopiowania uruchamia zapytania równoległe względem źródła usługi Azure Database for PostgreSQL w celu załadowania danych według partycji. Stopień równoległości jest kontrolowany przez ustawienie parallelCopies na działaniu kopiowania. Jeśli na przykład ustawisz parallelCopies na cztery, usługa równocześnie generuje i uruchamia cztery zapytania w oparciu o określoną opcję partycji i ustawienia, a każde zapytanie pobiera część danych z bazy danych Azure dla PostgreSQL.

Zaleca się włączenie kopiowania równoległego przy użyciu partycjonowania danych, szczególnie w przypadku ładowania dużej ilości danych z usługi Azure Database for PostgreSQL. Poniżej przedstawiono sugerowane konfiguracje dla różnych scenariuszy. Podczas kopiowania danych do magazynu danych opartego na plikach zaleca się zapisanie w folderze jako wielu plików (tylko określenie nazwy folderu), w którym przypadku wydajność jest lepsza niż zapisywanie w jednym pliku.

Najlepsze rozwiązania dotyczące ładowania danych z opcją partycji:

1. Wybierz charakterystyczną kolumnę jako kolumnę partycji (np. klucz podstawowy lub unikatowy klucz), aby uniknąć niesymetryczności danych.
2. Jeśli tabela ma wbudowaną partycję, użyj opcji partycji "Partycje fizyczne tabeli", aby uzyskać lepszą wydajność.
3. Jeśli używasz środowiska Azure Integration Runtime do kopiowania danych, możesz ustawić większe wartości "Jednostki integracji danych (DIU)" (>4), aby korzystać z większych zasobów obliczeniowych. Sprawdź odpowiednie dla danego przypadku scenariusze.
4. Stopień równoległości kopiowania steruje numerami partycji, a ustawienie tej liczby zbyt dużej czasami wpływa negatywnie na wydajność. Zaleca się ustawienie tej liczby jako (DIU lub liczba samodzielnie hostowanych węzłów IR) * (2 do 4).

Przykład: pełne załadowanie z dużej tabeli z fizycznymi partycjami

"source": {
    "type": "AzurePostgreSqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Przykład: zapytanie z dynamicznym zakresem partycji

"source": {
    "type": "AzurePostgreSqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Mapowanie właściwości przepływu danych

Podczas przekształcania danych w przepływie mapowania danych można odczytywać i zapisywać w tabelach z usługi Azure Database for PostgreSQL. Aby uzyskać więcej informacji, zobacz transformację źródła i transformację ujścia w przepływach danych mapowania. Możesz użyć zestawu danych usługi Azure Database for PostgreSQL lub wbudowanego zestawu danych jako typu źródła i ujścia.

Przekształcanie źródła

Poniższa tabela zawiera listę właściwości obsługiwanych przez źródło usługi Azure Database for PostgreSQL. Te właściwości można edytować na karcie Opcje źródła.

Przykład skryptu źródłowego usługi Azure Database for PostgreSQL

Jeśli używasz usługi Azure Database for PostgreSQL jako typu źródła, skojarzony skrypt przepływu danych to:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzurePostgreSQLSource

Przekształcenie zlewu

W poniższej tabeli wymieniono właściwości obsługiwane przez odbiornik bazy danych Azure Database for PostgreSQL. Te właściwości można edytować na karcie Opcje przetwarzania.

• Włącz wyodrębnianie przyrostowe: Wybierz tę opcję, aby poinformować usługę ADF, że ma przetwarzać tylko wiersze, które uległy zmianie od momentu ostatniego uruchomienia potoku.

• Kolumna inkrementalna: podczas korzystania z funkcji ekstrakcji inkrementalnej należy wybrać kolumnę daty/czasu lub kolumnę liczbową, której chcesz używać jako znacznika w tabeli źródłowej.

• Rozpocznij odczytywanie od początku: Ustawienie tej opcji w przypadku wyodrębniania przyrostowego powoduje, że podczas pierwszego uruchomienia potoku z włączonym wyodrębnieniem przyrostowym usługa ADF odczytuje wszystkie wiersze.

Przykładowy skrypt ujścia usługi Azure Database for PostgreSQL

Jeśli używasz usługi Azure Database for PostgreSQL jako typu ujścia, skojarzony skrypt przepływu danych to:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzurePostgreSqlSink

Działanie skryptu

Aby uzyskać więcej informacji na temat działania skryptu, zobacz Działanie skryptu.

Właściwości czynności wyszukiwania

Aby uzyskać więcej informacji na temat właściwości, zobacz Aktywność wyszukiwania.

Uaktualnianie łącznika usługi Azure Database for PostgreSQL

Na stronie Edytowanie połączonej usługi wybierz pozycję 2.0 w obszarze Wersja i skonfiguruj połączoną usługę, odwołując się do właściwości połączonej usługi w wersji 2.0.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz Obsługiwane magazyny danych.