Kopieren von Daten aus Presto mithilfe von Azure Data Factory oder Synapse Analytics

GILT FÜR: Azure Data Factory Azure Synapse Analytics

In diesem Artikel wird beschrieben, wie Sie die Copy-Aktivität in Azure Data Factory- oder Azure Synapse Analytics-Pipelines verwenden, um Daten aus Presto zu kopieren. Er baut auf dem Artikel zur Übersicht über die Kopieraktivität auf, der eine allgemeine Übersicht über die Kopieraktivität enthält.

Unterstützte Funktionen

Dieser Presto-Connector wird für die folgenden Funktionen unterstützt:

① Azure Integration Runtime ② Selbstgehostete Integration Runtime

Eine Liste der Datenspeicher, die als Quellen oder Senken für die Kopieraktivität unterstützt werden, finden Sie in der Tabelle Unterstützte Datenspeicher.

Der Dienst enthält einen integrierten Treiber zum Herstellen der Konnektivität. Daher müssen Sie keinen Treiber manuell installieren, wenn dieser Connector verwendet wird.

Erste Schritte

Zum Ausführen der Kopieraktivität mit einer Pipeline können Sie eines der folgenden Tools oder SDKs verwenden:

• Datenkopier-Werkzeug
• Azure-Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• Azure Resource Manager-Vorlage

Erstellen eines verknüpften Diensts mit Presto über die Benutzeroberfläche

Verwenden Sie die folgenden Schritte, um einen verknüpften Dienst mit Presto auf der Azure-Portal Benutzeroberfläche zu erstellen.

1. Navigieren Sie in Ihrem Azure Data Factory- oder Synapse-Arbeitsbereich zu der Registerkarte „Verwalten“, wählen Sie „Verknüpfte Dienste“ aus und klicken Sie dann auf „Neu“:

   • Azure Data Factory
   • Azure Synapse

   

2. Suchen Sie nach Presto, und wählen Sie den Presto-Connector aus.

   

3. Konfigurieren Sie die Dienstdetails, testen Sie die Verbindung, und erstellen Sie den neuen verknüpften Dienst.

   

Details zur Connectorkonfiguration

Die folgenden Abschnitte enthalten Details zu Eigenschaften, die zum Definieren von Data Factory-Entitäten speziell für den Presto-Connector verwendet werden.

Eigenschaften des verknüpften Diensts

Der Presto-Connector unterstützt jetzt Version 2.0. Lesen Sie diesen Abschnitt, um die Presto-Connectorversion von Version 1.0 zu aktualisieren. Einzelheiten zur Eigenschaft finden Sie in den entsprechenden Abschnitten.

• Version 2.0
• Version 1.0

Version 2.0

Der presto-verknüpfte Dienst unterstützt die folgenden Eigenschaften, wenn Version 2.0 angewendet wird:

Beispiel:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "version" : "2.0",
        "typeProperties": {
            "host" : "<host>",
            "catalog" : "<catalog>",
            "port" : 8443,
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "timeZoneID" : ""
        }
    }
}

Version 1.0

Der presto-verknüpfte Dienst unterstützt die folgenden Eigenschaften, wenn Version 1.0 angewendet wird:

Beispiel:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "typeProperties": {
            "host" : "<host>",
            "serverVersion" : "0.148-t",
            "catalog" : "<catalog>",
            "port" : "<port>",
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "timeZoneID" : "Europe/Berlin"
        }
    }
}

Dataset-Eigenschaften

Eine vollständige Liste mit den Abschnitten und Eigenschaften, die zum Definieren von Datasets zur Verfügung stehen, finden Sie im Artikel zu Datasets. Dieser Abschnitt enthält eine Liste der Eigenschaften, die vom Presto-Dataset unterstützt werden.

Legen Sie zum Kopieren von Daten aus Presto die „type“-Eigenschaft des Datasets auf PrestoObject fest. Folgende Eigenschaften werden unterstützt:

Beispiel

{
    "name": "PrestoDataset",
    "properties": {
        "type": "PrestoObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Presto linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Eigenschaften der Kopieraktivität

Eine vollständige Liste mit den Abschnitten und Eigenschaften zum Definieren von Aktivitäten finden Sie im Artikel Pipelines. Dieser Abschnitt enthält eine Liste der Eigenschaften, die von der Presto-Quelle unterstützt werden.

Presto als Quelle

Legen Sie zum Kopieren von Daten aus Presto den Quelltyp in der Kopieraktivität auf PrestoSource fest. Folgende Eigenschaften werden im Abschnitt source der Kopieraktivität unterstützt:

Beispiel:

"activities":[
    {
        "name": "CopyFromPresto",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Presto input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "PrestoSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Datentypzuordnung für Presto

Wenn Sie Daten aus Presto kopieren, gelten die folgenden Zuordnungen aus den Datentypen von Presto auf die internen Datentypen, die vom Dienst verwendet werden. Weitere Informationen dazu, wie die Kopieraktivität das Quellschema und den Datentyp der Senke zuordnet, finden Sie unter Schema- und Datentypzuordnungen.

Eigenschaften der Lookupaktivität

Ausführliche Informationen zu den Eigenschaften finden Sie unter Lookupaktivität.

Aktualisierung des Presto-Connectors

Die folgenden Schritte helfen Ihnen beim Upgrade des Presto-Connectors:

1. Wählen Sie auf der Seite "Verknüpften Dienst bearbeiten " Version 2.0 aus, und konfigurieren Sie den verknüpften Dienst, indem Sie auf verknüpfte Dienstversion 2.0-Eigenschaften verweisen.

2. Die Datentypzuordnung für die Presto-verknüpfte Dienstversion 2.0 unterscheidet sich von der für die Version 1.0. Informationen zur neuesten Datentypzuordnung finden Sie unter "Datentypzuordnung für Presto".

Unterschiede zwischen Presto Connector Version 2.0 und Version 1.0

Die Presto Connector Version 2.0 bietet neue Funktionen und ist mit den meisten Features von Version 1.0 kompatibel. Die folgende Tabelle zeigt die Featureunterschiede zwischen Version 2.0 und Version 1.0.

Zugehöriger Inhalt

Eine Liste der Datenspeicher, die als Quellen und Senken für die Kopieraktivität unterstützt werden, finden Sie unter Unterstützte Datenspeicher.