Tastenkombinationen für Dateitransformationen

Tastenkombinationstransformationen konvertieren Rohdateien (CSV, Parkett und JSON) in Delta-Tabellen , die immer mit den Quelldaten synchronisiert bleiben. Die Transformation wird von Fabric Spark compute ausgeführt, wodurch die Daten, auf die von einer OneLake-Verknüpfung verwiesen wird, in eine verwaltete Delta-Tabelle kopiert werden, sodass Sie keine herkömmlichen Extrakt-, Transformations-, LADE-(ETL)-Pipelines selbst erstellen und koordinieren müssen. Mit der automatischen Schemabehandlung, tiefgehenden Entflachungskapazitäten und Unterstützung für mehrere Komprimierungsformate reduzieren Abkürzungstransformationen die Komplexität des Erstellens und Verwaltens von ETL-Pipelines.

Gründe für die Verwendung von Kurzweg-Transformationen

• Keine manuellen Pipelines – Fabric kopiert und konvertiert die Quelldateien automatisch in das Delta-Format. Sie müssen keine inkrementellen Lasten koordinieren.
• Häufige Aktualisierung – Fabric überprüft die Verknüpfung alle 2 Minuten und synchronisiert alle Änderungen fast sofort.
• Open & Analytics-ready – Output ist eine Delta Lake-Tabelle, die jedes Apache Spark-kompatible Modul abfragen kann.
• Einheitliche Governance – Die Abkürzung übernimmt OneLake-Linien, Berechtigungen und Microsoft Purview-Richtlinien.
• Spark-basiert – Transformationen für Skalierbarkeit aufgebaut.

Prerequisites

Unterstützte Quellen, Formate und Ziele

Alle in OneLake unterstützten Datenquellen werden unterstützt.

• Excel-Dateiunterstützung ist Teil der Roadmap
• KI-Transformationen zur Unterstützung unstrukturierter Dateiformate (.txt, .doc, .docx) mit einem Text Analytics-Anwendungsfall sind live, und weitere Verbesserungen sind in Vorbereitung.

Einrichten einer Transformation von Shortcuts

1. Wählen Sie in Ihrem Lakehouse die Option "Neue Tabellenverknüpfung" im Abschnitt "Tabellen" aus, bei der es sich um die Verknüpfungstransformation (Vorschau) handelt, und wählen Sie Ihre Quelle aus (z. B. Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint, OneDrive usw.).

   

2. Datei auswählen, Transformation konfigurieren und Verknüpfung erstellen – Navigieren Sie zu einer vorhandenen OneLake-Verknüpfung, die auf den Ordner mit Ihren CSV-Dateien verweist, konfigurieren Sie die Parameter und starten Sie die Erstellung.

   • Trennzeichen in CSV-Dateien – Wählen Sie das Zeichen aus, das zum Trennen von Spalten verwendet wird (Komma, Semikolon, senkrechter Strich, Tabulator, kaufmännisches Und-Zeichen, Leerzeichen).
   • Erste Zeile als Kopfzeile – Gibt an, ob die erste Zeile Spaltennamen enthält.
   • Tabellenverknüpfungsname – Geben Sie einen freundlichen Namen an; Fabric erstellt ihn unter /Tables.

3. Nachverfolgen von Aktualisierungen und Anzeigen von Protokollen zur Transparenz im Hub "Verknüpfungsüberwachung verwalten".

Fabric Spark compute kopiert die Daten in eine Delta-Tabelle und zeigt den Fortschritt im Manage shortcut-Bereich an. Kurzbefehls-Transformationen sind in Lakehouse-Elementen verfügbar. Sie erstellen Delta Lake-Tabellen im Ordner Lakehouse /Tables .

Funktionsweise der Synchronisierung

Nach dem anfänglichen Laden berechnet Fabric Spark:

• Fragt das Verknüpfungsziel alle 2 Minuten ab.
• Erkennt neue oder geänderte Dateien und fügt Zeilen entsprechend an oder überschreibt sie.
• Erkennt gelöschte Dateien und entfernt entsprechende Zeilen.

Überwachen und Probleme beheben

Verknüpfungstransformationen umfassen Überwachung und Fehlerbehandlung, um den Aufnahmestatus nachzuverfolgen und Probleme zu diagnostizieren.

1. Öffnen Sie das Seehaus, und klicken Sie mit der rechten Maustaste auf die Verknüpfung, die Ihre Transformation einfüttert.
2. Wählen Sie "Verknüpfung verwalten" aus.
3. Im Detailbereich können Sie Folgendes anzeigen:
   • Status – Letztes Scanergebnis und aktueller Synchronisierungsstatus.
   • Aktualisierungsverlauf – Chronologische Liste der Synchronisierungsvorgänge mit Zeilenanzahl und allen Fehlerdetails.
4. Zeigen Sie weitere Details in Protokollen zur Problembehandlung an und

Einschränkungen

Aktuelle Einschränkungen von Kurzbefehlsumwandlungen:

• Nur CSV-, Parkett-, JSON-Dateiformate werden unterstützt.
• Dateien müssen ein identisches Schema gemeinsam nutzen; Schemaabweichung wird noch nicht unterstützt.
• Transformationen sind leseoptimiert, MERGE INTO- oder DELETE-Anweisungen direkt in der Tabelle werden blockiert.
• Nur in Lakehouse-Artikeln (nicht in Warehouses oder KQL-Datenbanken) verfügbar.
• Nicht unterstützte Datentypen für CSV: Gemischte Datentypspalten, Timestamp_Nanos, komplexe logische Typen - MAP/LIST/STRUCT, Raw-Binärdatei
• Nicht unterstützter Datentyp für Parquet: Timestamp_nanos, Decimal mit INT32/INT64, INT96, Nicht zugewiesene Ganzzahltypen - UINT_8/UINT_16/UINT_64, Komplexe logische Typen - MAP/LIST/STRUCT)
• Nicht unterstützte Datentypen für JSON: Gemischte Datentypen in einem Array, unformatierte binäre Blobs innerhalb von JSON, Timestamp_Nanos
• Flachung des Array-Datentyps in JSON: Der Array-Datentyp soll in der Delta-Tabelle beibehalten werden, wobei auf die Daten mit Spark SQL & Pyspark zugegriffen werden kann. Für weitere Transformationen können Fabric Materialized Lake Views für die Silver Layer genutzt werden.
• Quellformat: Nur CSV-, JSON- und Parquetdateien werden ab dem Datum unterstützt.
• JSON-Flachungstiefe: Geschachtelte Strukturen werden bis zu fünf Ebenen tief flach gemacht. Für eine tiefere Schachtelung ist eine Vorverarbeitung erforderlich.
• Schreibvorgänge: Transformationen sind leseoptimiert; direkte MERGE INTO - oder DELETE-Anweisungen auf der Transformationszieltabelle werden nicht unterstützt.
• Verfügbarkeit des Arbeitsbereichs: Nur in Lakehouse-Elementen verfügbar (nicht in Data Warehouses oder KQL-Datenbanken).
• Dateischemakonsistenz: Dateien müssen ein identisches Schema haben.

Aufräumen

Um die Synchronisierung zu beenden, löschen Sie die Verknüpfungstransformation aus der Lakehouse-UI.
Durch das Löschen der Transformation werden die zugrunde liegenden Dateien nicht entfernt.