Kopiowanie danych z bazy danych MariaDB przy użyciu usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano, jak używać operacji kopiowania przy użyciu potoku usługi Azure Data Factory lub Synapse Analytics do kopiowania danych z MariaDB. Opiera się na artykule przeglądzie czynności kopiowania, w którym przedstawiono ogólny zarys tej czynności.

Obsługiwane możliwości

Ten łącznik MariaDB jest obsługiwany dla następujących możliwości:

(1) Środowisko uruchomieniowe Azure (2) Środowisko uruchomieniowe z hostowaniem własnym

Aby uzyskać listę magazynów danych obsługiwanych jako źródła/ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność, dlatego nie trzeba ręcznie instalować żadnego sterownika przy użyciu tego łącznika.

Ten łącznik obsługuje obecnie bazę danych MariaDB w wersji 10.x, 11.x w łączniku MariaDB w wersji 2.0 i 10.0 do 10.5 dla wersji 1.0.

Wymagania wstępne

Jeśli magazyn danych znajduje się w sieci lokalnej, wirtualnej sieci Azure lub Amazon Virtual Private Cloud, należy skonfigurować własne Integration Runtime, aby się z nim połączyć.

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć środowiska Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP środowiska Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji środowiska Integration Runtime zarządzanej sieci wirtualnej w usłudze Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania własnego środowiska Integration Runtime.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą pipeline'u, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• zestawu SDK platformy .NET
• Zestaw SDK dla języka Python
• Azure PowerShell
• API REST
• Szablon usługi Azure Resource Manager

Tworzenie połączonej usługi z bazą danych MariaDB przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z bazą danych MariaDB w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj Marię i wybierz konektor MariaDB.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika MariaDB.

Właściwości połączonej usługi

Jeśli używasz wersji 2.0, następujące właściwości są obsługiwane dla połączonej usługi MariaDB:

Przykład:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Przykład: przechowywanie hasła w usłudze Azure Key Vault

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "server": "<server>",
            "port": "<port>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName>"
            },
            "driverVersion": "v2",
            "sslMode": <sslmode>,
            "useSystemTrustStore": <UseSystemTrustStore>
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Jeśli używasz wersji 1.0, obsługiwane są następujące właściwości:

Przykład:

{
    "name": "MariaDBLinkedService",
    "properties": {
        "type": "MariaDB",
        "typeProperties": {
            "connectionString": "Server=<host>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Pełna lista sekcji i właściwości dostępnych do definiowania zestawów danych znajduje się w artykule dotyczącym zestawów danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych MariaDB.

Aby skopiować dane z MariaDB, ustaw właściwość "type" zestawu danych na MariaDBTable. W tym typie zestawu danych nie ma dodatkowej właściwości specyficznej dla typu.

Przykład

{
    "name": "MariaDBDataset",
    "properties": {
        "type": "MariaDBTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MariaDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz Pipelines artykuł. Ta sekcja zawiera listę właściwości obsługiwanych przez źródło mariaDB.

MariaDB jako źródło

Aby skopiować dane z bazy danych MariaDB, ustaw typ źródła w działaniu kopiowania na MariaDBSource. Następujące właściwości są obsługiwane w sekcji źródło działania kopiowania:

Przykład:

"activities":[
    {
        "name": "CopyFromMariaDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MariaDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MariaDBSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Mapowanie typu danych dla bazy danych MariaDB

Podczas kopiowania danych z bazy danych MariaDB następujące mapowania są używane z typów danych MariaDB do tymczasowych typów danych używanych przez usługę wewnętrznie. Zobacz Mapowania schematu i typu danych, aby dowiedzieć się, jak działanie kopiowania mapuje schemat źródłowy i typ danych na miejsce docelowe.

Właściwości czynności wyszukiwania

Aby poznać szczegóły dotyczące właściwości, sprawdź Aktywność wyszukiwania.

Uaktualnianie łącznika MariaDB

Poniżej przedstawiono kroki ułatwiające uaktualnienie łącznika MariaDB:

1. Na stronie Edytowanie połączonej usługi wybierz pozycję 2.0 w obszarze Wersja i skonfiguruj połączoną usługę, odwołując się do właściwości połączonej usługi.

2. Mapowanie typu danych dla wersji 2.0 różni się od tego w wersji 1.0. Aby poznać mapowanie typów danych w wersji 2.0, zobacz Mapowanie typów danych dla bazy danych MariaDB.

3. Najnowsza wersja sterownika w wersji 2 obsługuje więcej wersji bazy danych MariaDB. Aby uzyskać więcej informacji, zobacz Obsługiwane możliwości.

Różnice między bazą danych MariaDB w wersji 2.0 i wersji 1.0

W poniższej tabeli przedstawiono różnice mapowania typów danych między bazą danych MariaDB w wersji 2.0 i wersji 1.0.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz obsługiwane magazyny danych.