Kopiowanie danych z usługi Presto przy użyciu usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano, jak używać działanie kopiowania w ramach potoku Azure Data Factory lub Synapse Analytics, aby kopiować dane z Presto. Opiera się na artykule przegląd aktywności kopiowania, który przedstawia ogólny przegląd aktywności kopiowania.

Obsługiwane funkcje

Wtyczka Presto jest obsługiwana dla następujących możliwości:

① Środowisko uruchomieniowe integracji Azure ② Środowisko uruchomieniowe integracji lokalne

Aby uzyskać listę magazynów danych obsługiwanych jako źródła/zlewy przez czynność kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa zapewnia wbudowany sterownik umożliwiający łączność, dlatego nie musisz ręcznie instalować żadnego sterownika za pomocą tego łącznika.

Rozpoczęcie

Aby wykonać działanie kopiowania za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• zestawu SDK platformy .NET
• Zestaw SDK dla języka Python
• Azure PowerShell
• API REST
• Szablon usługi Azure Resource Manager

Utwórz połączoną usługę do Presto za pomocą interfejsu użytkownika

Aby utworzyć powiązaną usługę w Presto w portalu Azure, wykonaj następujące kroki.

1. Przejdź do karty Zarządzaj w swoim obszarze roboczym Azure Data Factory lub Synapse i wybierz Usługi powiązane, a następnie kliknij Nowy.

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj Presto i wybierz konektor Presto.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nowe połączone usługę.

   

Szczegóły konfiguracji złącza

W dalszej części znajdziesz szczegóły dotyczące właściwości używanych do definiowania jednostek Data Factory, specyficznych dla konektora Presto.

Właściwości połączonej usługi

Łącznik presto obsługuje teraz wersję 2.0. Aby zaktualizować wersję konektora Presto z wersji 1.0, zapoznaj się z tą sekcją. Aby uzyskać informacje szczegółowe dotyczące nieruchomości, zobacz odpowiednie sekcje.

• Wersja 2.0
• w wersji 1.0

Wersja 2.0

Połączona usługa Presto obsługuje następujące właściwości w przypadku zastosowania wersji 2.0:

Przykład:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "version" : "2.0",
        "typeProperties": {
            "host" : "<host>",
            "catalog" : "<catalog>",
            "port" : 8443,
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "timeZoneID" : ""
        }
    }
}

Wersja 1.0

Połączona usługa Presto obsługuje następujące właściwości w przypadku zastosowania wersji 1.0:

Przykład:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "typeProperties": {
            "host" : "<host>",
            "serverVersion" : "0.148-t",
            "catalog" : "<catalog>",
            "port" : "<port>",
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "timeZoneID" : "Europe/Berlin"
        }
    }
}

Właściwości zbioru danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zbiorów danych, zobacz artykuł datasets. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Presto.

Aby skopiować dane z Presto, ustaw właściwość typu zestawu danych na PrestoObject. Następujące właściwości są obsługiwane:

Przykład

{
    "name": "PrestoDataset",
    "properties": {
        "type": "PrestoObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Presto linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości czynności kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines. Ta sekcja zawiera listę właściwości obsługiwanych przez źródło Presto.

Presto jako źródło

Aby skopiować dane z Presto, ustaw typ źródła w czynności kopiowania na PrestoSource. W sekcji source operacji kopiowania obsługiwane są następujące właściwości:

Przykład:

"activities":[
    {
        "name": "CopyFromPresto",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Presto input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "PrestoSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Mapowanie typów danych dla Presto

Podczas kopiowania danych z Presto stosowane są następujące mapowania z typów danych Presto do wewnętrznych typów danych używanych przez usługę. Aby dowiedzieć się, jak działanie kopiowania mapuje schemat źródłowy i typ danych na docelowy, zobacz Mapowanie schematu i typu danych.

Właściwości czynności wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź aktywność przeszukiwania.

Zaktualizuj łącznik Presto

Oto kroki, które pomogą Ci zaktualizować łącznik Presto:

1. Na stronie Edytowanie połączonej usługi wybierz wersję 2.0 i skonfiguruj połączoną usługę, odwołując się do właściwości połączonej usługi w wersji 2.0.

2. Mapowanie typu danych dla połączonej usługi Presto w wersji 2.0 różni się od tego dla wersji 1.0. Aby dowiedzieć się więcej na temat najnowszego mapowania typów danych, zobacz Mapowanie typów danych dla usługi Presto.

Różnice między łącznikiem presto w wersji 2.0 i wersji 1.0

Łącznik Presto w wersji 2.0 oferuje nowe funkcje i jest zgodny z większością funkcji wersji 1.0. W poniższej tabeli przedstawiono różnice funkcji między wersją 2.0 a wersją 1.0.

Powiązane treści

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i odbiorniki przez czynność kopiowania, zobacz obsługiwane magazyny danych.