Importiere exportierte Dataverse-Daten mit Azure Data Factory

Nach dem Exportieren von Daten aus Microsoft Dataverse nach Azure Data Lake Storage Gen2 mit Azure Synapse Link for Dataverse können Sie Azure Data Factory verwenden, um Datenflüsse zu erstellen, Ihre Daten zu transformieren und die Analyse auszuführen.

In diesem Artikel wird beschrieben, wie Sie die folgenden Aufgaben ausführen:

1. Legen Sie das Data Lake Storage Gen2-Speicherkonto mit den Dataverse-Daten als Quelle in einem Data Factory-Datenfluss fest.

2. Transformieren Sie die Dataverse-Daten in Data Factory mit einem Datenfluss.

3. Legen Sie das Data Lake Storage Gen2-Speicherkonto mit den Dataverse-Daten als Senke in einem Data Factory-Dataflow fest.

4. Führen Sie den Datenfluss aus, indem Sie eine Pipeline erstellen.

Voraussetzungen

In diesem Abschnitt werden die Voraussetzungen beschrieben, die zum Aufnehmen exportierter Dataverse-Daten mit Data Factory erforderlich sind.

• Azure-Rollen. Das Benutzerkonto, das für die Anmeldung bei Azure verwendet wird, muss Mitglied der Rolle " Mitwirkender " oder "Besitzer " oder ein Administrator des Azure-Abonnements sein. Um die Berechtigungen anzuzeigen, die Sie im Abonnement haben, wechseln Sie zum Azure-Portal, wählen Sie Ihren Benutzernamen in der oberen rechten Ecke aus, wählen Sie "..." und dann "Meine Berechtigungen" aus. Wenn Sie Zugriff auf mehrere Abonnements haben, wählen Sie das entsprechende Abonnement aus. Zum Erstellen und Verwalten untergeordneter Ressourcen für Data Factory im Azure-Portal – einschließlich Datasets, verknüpften Diensten, Pipelines, Triggern und Integrationslaufzeiten – müssen Sie zur Rolle " Data Factory-Mitwirkender" auf Ressourcengruppenebene oder höher gehören.

• Azure Synapse-Link für Dataverse. In diesem Leitfaden wird davon ausgegangen, dass Sie Dataverse-Daten bereits mithilfe von Azure Synapse Link for Dataverse exportiert haben. In diesem Beispiel werden die Kontotabellendaten in den Datensee exportiert.

• Azure Data Factory. In diesem Leitfaden wird davon ausgegangen, dass Sie bereits eine Datenfactory unter demselben Abonnement und derselben Ressourcengruppe wie das Speicherkonto erstellt haben, das die exportierten Dataverse-Daten enthält.

Festlegen des Data Lake Storage Gen2-Speicherkontos als Quelle

1. Öffnen Sie Azure Data Factory , und wählen Sie die Datenfactory aus, die sich in derselben Abonnement- und Ressourcengruppe wie das Speicherkonto befindet, das Ihre exportierten Dataverse-Daten enthält. Wählen Sie dann auf der Startseite " Datenfluss erstellen" aus.

2. Aktivieren Sie den Debugmodus für den Datenfluss , und wählen Sie Ihre bevorzugte Zeit für live aus. Dies kann bis zu 10 Minuten dauern, Aber Sie können mit den folgenden Schritten fortfahren.

   

3. Wählen Sie "Quelle hinzufügen" aus.

   

4. Gehen Sie unter "Quelleinstellungen" wie folgt vor:

   • Ausgabedatenstromname: Geben Sie den gewünschten Namen ein.
   • Quelltyp: Wählen Sie "Inline" aus.
   • Inline-Datasettyp: Wählen Sie "Allgemeines Datenmodell" aus.
   • Verknüpfter Dienst: Wählen Sie das Speicherkonto aus dem Dropdownmenü aus, und verknüpfen Sie dann einen neuen Dienst, indem Sie Ihre Abonnementdetails angeben und alle Standardkonfigurationen verlassen.
   • Sampling: Wenn Sie alle Ihre Daten verwenden möchten, wählen Sie "Deaktivieren" aus.

5. Gehen Sie unter " Quelloptionen" wie folgt vor:

   • Metadatenformat: Wählen Sie Model.jsonaus.

   • Stammspeicherort: Geben Sie den Containernamen in das erste Feld (Container) ein, oder suchen Sie nach dem Containernamen, und wählen Sie "OK" aus.

   • Entität: Geben Sie den Tabellennamen ein, oder suchen Sie nach der Tabelle.

     

6. Überprüfen Sie die Registerkarte "Projektion ", um sicherzustellen, dass Ihr Schema erfolgreich importiert wurde. Wenn Sie keine Spalten sehen, wählen Sie Schemaoptionen aus, und überprüfen Sie die Option Abgewichene Spaltentypen ableiten. Konfigurieren Sie die Formatierungsoptionen so, dass sie mit Ihrem Dataset übereinstimmen, und wählen Sie dann Anwenden aus.

7. Sie können Ihre Daten auf der Registerkarte " Datenvorschau " anzeigen, um sicherzustellen, dass die Erstellung der Quelle abgeschlossen und korrekt war.

Transformieren Sie Ihre Dataverse-Daten

Nachdem Sie die exportierten Dataverse-Daten im Azure Data Lake Storage Gen2-Konto als Quelle im Data Factory-Datenfluss festgelegt haben, gibt es viele Möglichkeiten zum Transformieren Ihrer Daten. Weitere Informationen: Azure Data Factory

Befolgen Sie diese Anweisungen, um eine Rangfolge für jede Zeile nach dem Umsatzfeld der Kontotabelle zu erstellen.

1. Wählen Sie + in der unteren rechten Ecke der vorherigen Transformation aus, suchen Sie dann nach Rank und wählen Sie ihn aus.

2. Gehen Sie auf der Registerkarte "Rangeinstellungen " wie folgt vor:

   • Ausgabedatenstromname: Geben Sie den gewünschten Namen ein, z. B. Rang1.

   • Eingehender Stream: Wählen Sie den gewünschten Quellnamen aus. In diesem Fall der Quellname aus dem vorherigen Schritt.

   • Optionen: Lassen Sie die Optionen deaktiviert.

   • Rangspalte: Geben Sie den Namen der generierten Rangspalte ein.

   • Sortierbedingungen: Wählen Sie die Umsatzspalte aus, und sortieren Sie nach absteigender Reihenfolge.

     

3. Sie können Ihre Daten auf der Registerkarte "Datenvorschau " anzeigen, auf der Sie die neue Spalte "revenueRank " ganz rechts finden.

Das Data Lake Storage Gen2-Speicherkonto als Senke festlegen

Letztendlich müssen Sie eine Senke für Ihren Datenfluss festlegen. Befolgen Sie diese Anweisungen, um Ihre transformierten Daten als durch Trennzeichen getrennte Textdatei im Datensee zu platzieren.

1. Wählen Sie + in der unteren rechten Ecke der vorherigen Transformation aus, und suchen Sie dann nach Senke, und wählen Sie sie aus.

2. Führen Sie auf der Registerkarte "Senken " die folgenden Schritte aus:

   • Ausgabedatenstromname: Geben Sie den gewünschten Namen ein, z. B. Sink1.

   • Eingehender Datenstrom: Wählen Sie den gewünschten Quellnamen aus. In diesem Fall der Quellname aus dem vorherigen Schritt.

   • Sink-Typ: DelimitedText auswählen.

   • Verknüpfter Dienst: Wählen Sie Ihren Data Lake Storage Gen2-Speichercontainer mit den Daten aus, die Sie mit dem Azure Synapse Link for Dataverse-Dienst exportiert haben.

     

3. Führen Sie auf der Registerkarte "Einstellungen " die folgenden Schritte aus:

   • Ordnerpfad: Geben Sie den Containernamen in das erste Feld (Dateisystem) ein, oder suchen Sie nach dem Containernamen, und wählen Sie "OK" aus.

   • Option "Dateiname": Ausgabe in einzelne Datei auswählen.

   • Ausgabe in einzelne Datei: Geben Sie einen Dateinamen ein, z. B. ADFOutput

   • Behalten Sie alle anderen Standardeinstellungen bei.

     

4. Legen Sie auf der Registerkarte " Optimieren " die Option "Partition" auf "Einzelne Partition" fest.

5. Sie können Ihre Daten auf der Registerkarte "Datenvorschau " anzeigen.

Datenfluss ausführen

1. Wählen Sie im linken Bereich unter Factoryressourcen+ und dann Pipeline aus.

   

2. Wählen Sie unter "Aktivitäten" die Option "Verschieben und Transformieren" aus, und ziehen Sie dann den Datenfluss in den Arbeitsbereich.

3. Wählen Sie "Vorhandenen Datenfluss verwenden" aus, und wählen Sie dann den Datenfluss aus, den Sie in den vorherigen Schritten erstellt haben.

4. Wählen Sie " Debuggen " in der Befehlsleiste aus.

5. Lassen Sie den Datenfluss ausführen, bis die untere Ansicht zeigt, dass dies abgeschlossen ist. Dies kann einige Minuten dauern.

6. Wechseln Sie zum endgültigen Zielspeichercontainer, und suchen Sie die transformierte Tabellendatendatei.

Siehe auch

Konfigurieren der Azure Synapse-Verknüpfung für Dataverse mit Azure Data Lake

Analysieren von Dataverse-Daten in Azure Data Lake Storage Gen2 mit Power BI