Ziele und verwaltete Einstellungen für Dataflow Gen2

Nachdem Sie Ihre Daten mit Dataflow Gen2 bereinigt und vorbereitet haben, sollten Sie sie an einem beliebigen Ort speichern. Mit Dataflow Gen2 können Sie aus mehreren Zielen wählen, z. B. Azure SQL, Fabric Lakehouse und andere. Nachdem Sie ein Ziel ausgewählt haben, schreibt Dataflow Gen2 Ihre Daten dort, und Sie können sie für Analyse und Berichterstellung verwenden.

Die folgende Liste enthält die unterstützten Datenziele:

• Azure SQL-Datenbanken
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2 (Vorschau)
• Fabric Lakehouse-Tische
• Fabric Lakehouse Files (Vorschau)
• Fabric Warehouse
• Fabric-KQL-Datenbank
• Fabric SQL-Datenbank
• SharePoint-Dateien

Einstiegspunkte

Jede Datenabfrage in Ihrem Dataflow Gen2 kann ein Datenziel haben. Sie können nur Ziele auf tabellarische Abfragen anwenden – Funktionen und Listen werden nicht unterstützt. Sie können das Datenziel für jede Abfrage einzeln festlegen und unterschiedliche Ziele innerhalb desselben Datenflusses verwenden.

Es gibt drei Möglichkeiten zum Einrichten des Datenziels:

• Über das obere Menüband.

  

• Über Abfrageeinstellungen.

  

• Über die Diagrammansicht.

  

Verbindung mit dem Datenziel

Das Herstellen einer Verbindung mit dem Datenziel funktioniert wie das Herstellen einer Verbindung mit einer Datenquelle. Sie können Verbindungen sowohl zum Lesen als auch zum Schreiben Ihrer Daten verwenden, sofern Sie über die richtigen Berechtigungen für die Datenquelle verfügen. Sie müssen eine neue Verbindung erstellen oder eine vorhandene Verbindung auswählen und dann "Weiter" auswählen.

Einrichten von dateibasierten Zielen

Wenn Sie ein dateibasiertes Ziel (z. B. SharePoint) auswählen, müssen Sie einige Einstellungen konfigurieren. Hier erfahren Sie, was Sie festlegen müssen:

• Dateiname: Der Name der Datei, die im Ziel erstellt wird. Standardmäßig entspricht der Dateiname Ihrem Abfragenamen.
• Dateiformat: Das Format der Datei, die im Ziel erstellt wird.
• Dateiursprung: Die Codierung, die zum Erstellen der Datei im Ziel verwendet wird. Standardmäßig ist dies auf UTF-8 festgelegt.
• Dateitrennzeichen: Das Trennzeichen, das zum Erstellen der Datei im Ziel verwendet wird. Standardmäßig ist dies auf Komma festgelegt.

Erstellen Sie eine neue Tabelle oder wählen Sie eine vorhandene Tabelle

Beim Laden in Ihr Datenziel können Sie entweder eine neue Tabelle erstellen oder eine vorhandene Tabelle auswählen.

Erstellen einer neuen Tabelle

Wenn Sie eine neue Tabelle erstellen, erstellt Dataflow Gen2 während der Aktualisierung eine neue Tabelle in Ihrem Datenziel. Wenn die Tabelle später gelöscht wird (wenn Sie manuell in das Ziel wechseln und ihn löschen), erstellt der Datenfluss die Tabelle während der nächsten Aktualisierung neu.

Der Tabellenname entspricht standardmäßig dem Abfragenamen. Wenn der Tabellenname Zeichen enthält, die das Ziel nicht unterstützt, wird der Tabellenname automatisch angepasst. Viele Ziele unterstützen z. B. keine Leerzeichen oder Sonderzeichen.

Als Nächstes müssen Sie den Zielcontainer auswählen. Wenn Sie eines der Fabric-Datenziele ausgewählt haben, können Sie den Navigator verwenden, um das Fabric-Element auszuwählen, in dem Die Daten geladen werden sollen. Bei Azure-Zielen können Sie die Datenbank entweder während der Herstellung der Verbindung angeben oder die Datenbank über den Navigator auswählen.

Vorhandene Tabelle verwenden

Um eine vorhandene Tabelle auszuwählen, verwenden Sie die Umschaltfunktion oben im Navigator. Wenn Sie eine vorhandene Tabelle auswählen, müssen Sie sowohl das Fabric-Element/die Fabric-Datenbank als auch die Tabelle mit dem Navigator auswählen.

Wenn Sie eine vorhandene Tabelle verwenden, kann die Tabelle in keinem Szenario neu erstellt werden. Wenn Sie die Tabelle manuell aus dem Datenziel löschen, erstellt Dataflow Gen2 die Tabelle bei der nächsten Aktualisierung nicht neu.

Lakehouse-Dateien oder -Tabellen

Für Lakehouse haben Sie die Möglichkeit, dateien oder Tabellen in Ihrem Seehaus zu erstellen. Dies ist einzigartig, da die meisten Ziele nur eine oder andere unterstützen. Dies ermöglicht mehr Flexibilität bei der Struktur Ihrer Daten in Ihrem Lakehouse.

Um zwischen Dateien und Tabellen zu wechseln, können Sie den Umschalter verwenden, wenn Sie nach Ihrem Seehaus suchen.

Verwaltete Einstellungen für neue Tabellen

Wenn Sie in eine neue Tabelle laden, sind die automatischen Einstellungen standardmäßig aktiviert. Wenn Sie automatische Einstellungen verwenden, verwaltet Dataflow Gen2 die Zuordnung für Sie. Hier erfahren Sie, was die automatischen Einstellungen tun:

• Update-Methode ersetzen: Daten werden bei jeder Aktualisierung des Datenflusses ersetzt. Alle Daten im Ziel werden entfernt. Die Daten im Ziel werden durch die Ausgabedaten des Datenflusses ersetzt.

• Verwaltete Zuordnung: Die Zuordnung wird für Sie verwaltet. Wenn Sie Änderungen an Ihren Daten/Abfragen vornehmen müssen, um eine andere Spalte hinzuzufügen oder einen Datentyp zu ändern, wird die Zuordnung automatisch für diese Änderung angepasst, wenn Sie den Datenfluss erneut veröffentlichen. Sie müssen nicht jedes Mal, wenn Sie Änderungen am Datenfluss vornehmen, in die Datenzielumgebung wechseln, wodurch Schemaänderungen beim erneuten Veröffentlichen des Datenflusses einfach gemacht werden.

• Drop and recreate table: Um diese Schemaänderungen zu ermöglichen, wird die Tabelle bei jeder Aktualisierung des Datenflusses gelöscht und neu erstellt. Die Aktualisierung des Datenflusses kann dazu führen, dass Beziehungen oder Measures, die zuvor zu Ihrer Tabelle hinzugefügt wurden, entfernt werden.

Manuelle Einstellungen

Wenn Sie die Option "Automatische Einstellungen verwenden" deaktivieren, erhalten Sie die vollständige Kontrolle darüber, wie Ihre Daten in das Datenziel geladen werden. Sie können Änderungen an der Spaltenzuordnung vornehmen, indem Sie den Quelltyp ändern oder jede Spalte ausschließen, die Sie in Ihrem Datenziel nicht benötigen.

Aktualisierungsmethoden

Die meisten Ziele unterstützen sowohl anfügen als auch ersetzen als Aktualisierungsmethoden. Fabric KQL-Datenbanken und Azure Data Explorer unterstützen jedoch keine Ersetzungen als Aktualisierungsmethode.

• Ersetzen: Bei jeder Aktualisierung des Datenflusses werden die Daten am Zielort gelöscht und durch die Ausgabedaten des Datenflusses ersetzt.

• Append: Bei jeder Aktualisierung des Datenflusses werden die Ausgabedaten aus dem Datenfluss an die vorhandenen Daten in der Datenzieltabelle angefügt.

Schema-Optionen beim Veröffentlichen

Schemaoptionen für die Veröffentlichung gelten nur, wenn die Updatemethode ersetzt wird. Wenn Sie Daten anfügen, sind Änderungen am Schema nicht möglich.

• Dynamisches Schema: Beim Auswählen eines dynamischen Schemas können Sie beim erneuten Veröffentlichen des Datenflusses Änderungen des Schemas am Datenziel zulassen. Da Sie keine verwaltete Zuordnung verwenden, müssen Sie die Spaltenzuordnung im Datenflussziel-Assistenten aktualisieren, wenn Sie Änderungen an Ihrer Abfrage vornehmen. Wenn eine Aktualisierung einen Unterschied zwischen dem Zielschema und dem erwarteten Schema erkennt, wird die Tabelle gelöscht und anschließend neu erstellt, um das erwartete Schema auszurichten. Die Aktualisierung des Datenflusses kann dazu führen, dass Beziehungen oder Measures, die zuvor zu Ihrer Tabelle hinzugefügt wurden, entfernt werden.

• Festes Schema: Wenn Sie ein festes Schema auswählen, sind Änderungen des Schemas nicht möglich. Wenn der Datenfluss aktualisiert wird, werden nur die Zeilen in der Tabelle gelöscht und durch die Ausgabedaten aus dem Datenfluss ersetzt. Alle Beziehungen oder Kennzahlen in der Tabelle bleiben erhalten. Wenn Sie Änderungen an Ihrer Abfrage im Datenfluss vornehmen, schlägt die Veröffentlichung des Datenflusses fehl, wenn erkannt wird, dass das Abfrageschema nicht mit dem Schema des Datenziels übereinstimmt. Verwenden Sie diese Einstellung, wenn Sie das Schema nicht ändern möchten und Beziehungen oder Measures zu Ihrer Zieltabelle hinzugefügt haben.

Parametrisierung

Parameter sind ein Kernfeature in Dataflow Gen2. Sobald ein Parameter erstellt wurde oder Sie die Einstellung "Immer zulassen " verwenden, steht ein Eingabe-Widget zur Verfügung, um die Tabelle oder den Dateinamen für Ihr Ziel zu definieren.

Mashup-Skript für Datenzielabfragen

Bei Verwendung des Datenzielfeatures werden die einstellungen, die zum Laden der Daten in Ihr Ziel definiert sind, im Mashup-Dokument Ihres Dataflows definiert. Die Dataflow-Anwendung erstellt grundsätzlich zwei Komponenten:

• Eine Abfrage, die die Navigationsschritte für Ihr Ziel enthält. Es folgt dem Muster des ursprünglichen Abfragenamens mit einem Suffix von _DataDestination. Beispiel:

shared #"Orders by Region_DataDestination" = let
  Pattern = Lakehouse.Contents([CreateNavigationProperties = false, EnableFolding = false]),
  Navigation_1 = Pattern{[workspaceId = "cfafbeb1-8037-4d0c-896e-a46fb27ff229"]}[Data],
  Navigation_2 = Navigation_1{[lakehouseId = "b218778-e7a5-4d73-8187-f10824047715"]}[Data],
  TableNavigation = Navigation_2{[Id = "Orders by Region", ItemKind = "Table"]}?[Data]?
in
  TableNavigation;

• Ein DataDestinations-Attributdatensatz für die Abfrage, die die Logik enthält, die zum Laden von Daten in Ihr Ziel verwendet werden soll. Der Datensatz enthält einen Verweis auf die Abfrage, die die Navigationsschritte zu Ihrem Ziel und die allgemeinen Zieleinstellungen, wie Aktualisierungsmethoden, Schemaoptionen und den Zieltyp, z. B. eine Tabelle oder eine andere Art, umfasst. Beispiel:

[DataDestinations = {[Definition = [Kind = "Reference", QueryName = "Orders by Region_DataDestination", IsNewTarget = true], Settings = [Kind = "Automatic", TypeSettings = [Kind = "Table"]]]}]

Diese M-Skripts sind nicht innerhalb der Dataflow-Anwendung sichtbar, Sie können jedoch auf diese Informationen zugreifen:

• Fabric-REST-API für GET Dataflow-Definition
• Mashup.pq-Dokument bei Verwendung der Git-Integration

Unterstützte Quell- und Zieltypen

Beim Arbeiten mit Datentypen wie Währung oder Prozentsatz werden sie in der Regel in ihre Dezimaläquivalente für die meisten Ziele konvertiert. Wenn Sie jedoch erneut eine Verbindung mit diesen Zielen herstellen und dem vorhandenen Tabellenpfad folgen, können Probleme beim Zuordnen von Währungen zu einer Dezimalspalte auftreten. Versuchen Sie in solchen Fällen, den Datentyp im Editor auf dezimal zu ändern, da dies die Zuordnung zu der vorhandenen Tabelle und Spalte erleichtert.

Weiterführende Themen

Verwendung von Staging vor dem Laden an einen Zielort

Um die Leistung der Abfrageverarbeitung zu verbessern, kann das Staging in Dataflow Gen2 verwendet werden, um die Fabric-Compute zum Ausführen Ihrer Abfragen zu verwenden.

Wenn das Staging für Ihre Abfragen aktiviert wird (das Standardverhalten), werden Ihre Daten in den Staging-Bereich geladen, ein internes Lakehouse, das nur vom Datenfluss selbst zugänglich ist.

In einigen Fällen kann die Verwendung von Staging-Bereichen die Leistung verbessern, in denen das Generieren der Abfrage am SQL-Analytics-Endpunkt schneller ist als die Verarbeitung im Arbeitsspeicher.

Wenn Sie Daten in das Lakehouse oder andere Nicht-Warehouse-Ziele laden, deaktivieren wir das Staging-Feature standardmäßig, um die Leistung zu verbessern. Wenn Sie Daten in das Datenziel laden, werden die Daten direkt in das Datenziel geschrieben, ohne Staging zu verwenden. Wenn Sie Staging für Ihre Abfrage verwenden möchten, können Sie eine erneute Aktivierung vornehmen.

Klicken Sie zum Aktivieren des Stagings mit der rechten Maustaste auf die Abfrage, und aktivieren Sie die Staging-Schaltfläche, indem Sie die Taste Staging aktivieren auswählen. Ihre Abfrage wird dann blau.

Laden Sie Daten in den Speicherort

Wenn Sie Daten in den Speicherort laden, ist Staging erforderlich, bevor der Schreibvorgang im Datenziel erfolgt. Diese Anforderung verbessert die Leistung. Derzeit wird nur das Laden in denselben Arbeitsbereich wie der eigentliche Datenfluss unterstützt. Stellen Sie sicher, dass das Staging für alle Abfragen aktiviert ist, die in den Speicherort geladen werden.

Wenn das Staging deaktiviert ist und Sie "Speicherort" als Ausgabeziel auswählen, erhalten Sie eine Warnung, dass erst das Staging aktiviert werden muss, bevor Sie das Datenziel konfigurieren können.

Wenn Sie bereits über einen Speicherort als Ziel verfügen und versuchen, das Staging zu deaktivieren, wird eine Warnung angezeigt. Sie können den Speicherort entweder als Ziel entfernen oder die Stagingaktion schließen.

Schemaunterstützung für Lakehouse-, Warehouse- und SQL-Datenbanken (Vorschau)

Lakehouse-, Warehouse- und SQL-Datenbanken in Microsoft Fabric unterstützen alle die Möglichkeit, ein Schema für Ihre Daten zu erstellen. Dies bedeutet, dass Sie Ihre Daten auf eine Weise strukturieren können, die das Verwalten und Abfragen erleichtert. Um in diesen Zielen in Schemas schreiben zu können, müssen Sie die Option "Navigieren mit vollständiger Hierarchie " unter erweiterten Optionen aktivieren, wenn Sie die Verbindung einrichten. Wenn Sie diese Option nicht aktivieren, können Sie die Schemas im Ziel nicht auswählen oder anzeigen. Eine Vorschaueinschränkung zum Aktivieren der Navigation mithilfe der vollständigen Hierarchie besteht darin, dass schnelle Kopie möglicherweise nicht ordnungsgemäß funktioniert. Um dieses Feature in Kombination mit einem Gateway zu verwenden, benötigen wir mindestens 3000.290 Version des Gateways.

Bereinigen Ihres Lakehouse-Datenziels

Wenn Sie Lakehouse als Ziel für Dataflow Gen2 in Microsoft Fabric verwenden, ist es wichtig, regelmäßige Wartungen durchzuführen, um optimale Leistung und effiziente Speicherverwaltung aufrechtzuerhalten. Eine wesentliche Wartungsaufgabe ist das Bereinigen Ihres Datenziels. Dieser Vorgang hilft, alte Dateien zu entfernen, auf die nicht mehr im Delta-Tabellenprotokoll verwiesen wird, wodurch die Speicherkosten optimiert und die Integrität Ihrer Daten beibehalten wird.

Warum Bereinigen wichtig ist

1. Speicheroptimierung: Im Laufe der Zeit sammeln Delta-Tabellen alte Dateien, die nicht mehr benötigt werden. Das Bereinigen hilft, diese Dateien zu bereinigen, Speicherplatz freizugeben und Kosten zu senken.
2. Leistungsverbesserung: Das Entfernen unnötiger Dateien kann die Abfrageleistung verbessern, indem die Anzahl der Dateien reduziert wird, die während Lesevorgängen gescannt werden müssen.
3. Datenintegrität: Die Sicherstellung, dass nur relevante Dateien aufbewahrt werden, trägt dazu bei, die Integrität Ihrer Daten aufrechtzuerhalten, wodurch potenzielle Probleme mit nicht ausgelassenen Dateien verhindert werden, die zu Lesefehlern oder Tabellenbeschädigungen führen können.

So bereinigen Sie Ihr Datenziel

Führen Sie die folgenden Schritte aus, um Ihre Delta-Tabellen in Lakehouse zu bereinigen:

1. Navigieren Sie zu Ihrem Lakehouse: Wechseln Sie von Ihrem Microsoft Fabric-Konto zum gewünschten Lakehouse.
2. Wartung von Access-Tabellen: Klicken Sie im Lakehouse-Explorer mit der rechten Maustaste auf die Tabelle, die Sie verwalten möchten, oder verwenden Sie die Auslassungspunkte, um auf das Kontextmenü zuzugreifen.
3. Wählen Sie Wartungsoptionen aus: Wählen Sie den Menüeintrag Wartung und dann die Option Bereinigen aus.
4. Führen Sie den Bereinigungsbefehl aus: Legen Sie den Aufbewahrungsschwellenwert fest (Standard ist sieben Tage) und führen Sie den Bereinigungsbefehl aus, indem Sie Jetzt ausführen auswählen.

Bewährte Methoden

• Aufbewahrungszeitraum: Legen Sie ein Aufbewahrungsintervall von mindestens sieben Tagen fest, um sicherzustellen, dass alte Momentaufnahmen und nicht kommittierte Dateien nicht vorzeitig entfernt werden, was gleichzeitige Tabellenleser und -schreiber stören könnte.
• Regelmäßige Wartung: Planen Sie die regelmäßige Bereinigung als Teil Ihrer Datenwartungsroutine, um Ihre Delta-Tabellen optimiert und für Analysen bereit zu halten.
• Inkrementelle Aktualisierungen: Wenn Sie inkrementelle Aktualisierungen verwenden, stellen Sie sicher, dass das Vakuum deaktiviert ist, da es den inkrementellen Aktualisierungsprozess beeinträchtigen kann.

Durch die Integration von Vakuum in Ihre Datenwartungsstrategie können Sie sicherstellen, dass Ihr Lakehouse-Ziel effizient, kostengünstig und zuverlässig für Ihre Datenflussvorgänge bleibt.

Ausführlichere Informationen zur Tabellenwartung in Lakehouse finden Sie in der Dokumentation zur Wartung der Delta-Tabelle.

NULL zulassen

In einigen Fällen, wenn Sie eine Spalte mit Nullen haben, wird sie von Power Query als keine Nullwerte zulassend erkannt, und wenn Sie in das Datenziel schreiben, lässt der Spaltentyp keine Nullwerte zu. Während der Aktualisierung tritt der folgende Fehler auf:

E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.

Um Nullwerte zulassende Spalten zu erzwingen, können Sie die folgenden Schritte ausführen:

1. Löschen Sie die Tabelle aus dem Datenziel.

2. Entfernen Sie das Datenziel aus dem Datenfluss.

3. Wechseln Sie zum Datenfluss, und aktualisieren Sie die Datentypen mithilfe des folgenden Power Query-Codes:

   Table.TransformColumnTypes(
      #"PREVIOUS STEP", {
         {"COLLUMNNAME1", type nullable text}, 
         {"COLLUMNNAME2", type nullable Int64.Type}
      }
   ) 
   

4. Fügen Sie das Datenziel hinzu.

Datentypkonvertierung und Upscaling

In einigen Fällen unterscheidet sich der Datentyp innerhalb des Datenflusses von dem durch das Datenziel unterstützten. Im Folgenden finden Sie einige Standardkonvertierungen, die wir eingerichtet haben, um sicherzustellen, dass Sie Ihre Daten weiterhin im Datenziel abrufen können: