Verwenden eines Dataflows in einer Pipeline

In diesem Lernprogramm erstellen Sie eine Pipeline, um OData aus einer Northwind-Quelle zu einem Lakehouse-Ziel zu verschieben und eine E-Mail-Benachrichtigung zu senden, wenn die Pipeline abgeschlossen ist.

Voraussetzungen

Um zu beginnen, müssen die folgenden Voraussetzungen erfüllt sein:

• Stellen Sie sicher, dass Sie über einen für Microsoft Fabric aktivierten Arbeitsbereich verfügen, der nicht der Standardarbeitsbereich „Eigener Arbeitsbereich“ ist.

Erstellen eines Lakehouse

Zunächst müssen Sie ein Lakehouse erstellen. Ein Lakehouse ist ein Data Lake, der für Analysen optimiert ist. In diesem Tutorial erstellen Sie ein Lakehouse, das als Ziel für den Dataflow verwendet wird.

1. Navigieren Sie zu Ihrem für Fabric aktivierten Arbeitsbereich.

   

2. Wählen Sie im Menü „Erstellen“ die Option Lakehouse aus.

   

3. Geben Sie einen Namen für das Lakehouse ein.

4. Wählen Sie Erstellen aus.

Jetzt haben Sie ein Lakehouse erstellt und können nun den Dataflow einrichten.

Erstellen eines Dataflows

Ein Dataflow ist eine wiederverwendbare Datentransformation, die in einer Pipeline verwendet werden kann. In diesem Tutorial erstellen Sie einen Dataflow, der Daten aus einer OData-Quelle abruft und die Daten in ein Lakehouse-Ziel schreibt.

1. Navigieren Sie zu Ihrem für Fabric aktivierten Arbeitsbereich.

   

2. Wählen Sie im Menü „Erstellen“ die Option Dataflow Gen2 aus.

   

3. Erfassen Sie die Daten aus der OData-Quelle.

   1. Wählen Sie Daten abrufen und dann Weitere aus.

      

   2. Suchen Sie in Datenquelle auswählen nach OData, und wählen Sie dann den OData-Connector aus.

      

   3. Geben Sie die URL der OData-Quelle ein. Verwenden Sie für dieses Tutorial den OData-Beispieldienst.

   4. Wählen Sie Weiter aus.

   5. Wählen Sie die Entität aus, die Sie erfassen möchten. Verwenden Sie in diesem Tutorial die Entität Orders.

      

   6. Wählen Sie Erstellen aus.

Nachdem Sie die Daten aus der OData-Quelle erfasst haben, können Sie das Lakehouse-Ziel einrichten.

So erfassen Sie die Daten im Lakehouse-Ziel:

1. Wählen Sie Datenziel hinzufügen aus.

2. Wählen Sie Lakehouse aus.

   

3. Konfigurieren Sie die Verbindung, die Sie zum Herstellen einer Verbindung mit dem Lakehouse verwenden möchten. Die Standardeinstellungen sind in Ordnung.

4. Wählen Sie Weiter aus.

5. Navigieren Sie zu dem Arbeitsbereich, in dem Sie das Lakehouse erstellt haben.

6. Wählen Sie das Lakehouse aus, das Sie im vorherigen Schritt erstellt haben.

   

7. Bestätigen Sie den Tabellennamen.

8. Wählen Sie Weiter aus.

9. Bestätigen Sie die Aktualisierungsmethode, und wählen Sie Einstellungen speichern aus.

   

10. Veröffentlichen Sie den Dataflow.

    Wichtig

    Bei der ersten Dataflow Gen2-Erstellung in einem Arbeitsbereich werden Lakehouse- und Warehouse-Elemente zusammen mit den zugehörigen SQL-Analyseendpunkten und semantischen Modellen bereitgestellt. Diese Elemente werden von allen Dataflows im Arbeitsbereich gemeinsam verwendet und sind für Dataflow Gen2 erforderlich. Sie sollten nicht gelöscht und nicht direkt von Benutzern verwendet werden. Die Elemente sind ein Implementierungsdetail von Dataflow Gen2. Die Elemente sind im Arbeitsbereich nicht sichtbar, können aber in anderen Oberflächen wie Notebook, SQL-Endpunkt, Lakehouse- und Warehouse-Erfahrungen zugänglich sein. Sie können die Elemente anhand ihres Präfixes im Namen erkennen. Das Präfix der Elemente lautet „DataflowsStaging“.

Jetzt, da Sie die Daten in das Lakehouse-Ziel aufgenommen haben, können Sie Ihre Pipeline einrichten.

Erstellen einer Pipeline

Eine Pipeline ist ein Workflow, der zum Automatisieren der Datenverarbeitung verwendet werden kann. In diesem Tutorial erstellen Sie eine Pipeline, die die Dataflow Gen2 ausführt, die Sie im vorherigen Schritt erstellt haben.

1. Navigieren Sie zurück zur Arbeitsbereichsübersichtsseite, und wählen Sie "Pipelines " im Menü "Erstellen" aus.

   

2. Geben Sie einen Namen für die Pipeline an.

3. Wählen Sie die Dataflow-Aktivität aus.

   

4. Wählen Sie den Dataflow aus, den Sie im vorherigen Verfahren in der Dropdownliste Dataflow unter Einstellungen erstellt haben.

   

5. Fügen Sie eine Office 365 Outlook-Aktivität hinzu.

   

6. Konfigurieren Sie die Office 365 Outlook-Aktivität zum Senden von E-Mail-Benachrichtigungen.

   1. Authentifizieren Sie sich bei Ihrem Office 365-Konto.

   2. Wählen Sie die E-Mail-Adresse aus, an die Sie die Benachrichtigung senden möchten.

   3. Geben Sie einen Betreff für die E-Mail ein.

   4. Geben Sie Text für die E-Mail ein.

      

Ausführen und Planen der Pipeline

In diesem Abschnitt führen Sie die Pipeline aus und planen sie. Mit diesem Zeitplan können Sie die Pipeline auf Zeitplan ausführen.

1. Wechseln Sie zu Ihrem Arbeitsbereich.

2. Öffnen Sie das Dropdownmenü der Pipeline, die Sie im vorherigen Verfahren erstellt haben, und wählen Sie dann "Zeitplan" aus.

   

3. Wählen Sie unter Geplante Ausführung die Option Ein aus.

   

4. Geben Sie den Zeitplan an, den Sie zum Ausführen der Pipeline verwenden möchten.

   1. Wiederholen Sie die Ausführung z. B. jeden Tag oder jede Minute.
   2. Wenn Sie „Täglich“ ausgewählt haben, können Sie auch die Uhrzeit auswählen.
   3. Starten Sie die Option Ein an einem bestimmten Datum.
   4. Beenden Sie die Option Ein an einem bestimmten Datum.
   5. Wählen Sie die Zeitzone aus.

5. Wählen Sie Übernehmen aus, um die Änderungen zu übernehmen.

Sie haben nun eine Pipeline erstellt, die in einem Zeitplan ausgeführt wird, die Daten im Seehaus aktualisiert und Ihnen eine E-Mail-Benachrichtigung sendet. Sie können den Status der Pipeline überprüfen, indem Sie zum Monitor Hub wechseln. Sie können auch den Status der Pipeline überprüfen, indem Sie zu Pipeline wechseln und im Dropdownmenü die Registerkarte " Verlauf ausführen " auswählen.

Zugehöriger Inhalt

In diesem Beispiel wird gezeigt, wie Sie einen Dataflow in einer Pipeline mit Data Factory in Microsoft Fabric verwenden. Sie haben Folgendes gelernt:

Erfahren Sie im nächsten Schritt mehr über die Überwachung Ihrer Pipelineausführungen.