Freigeben über

Interoperabilität des Delta Lake-Tabellenformats

In Microsoft Fabric ist das Tabellenformat Delta Lake der Standard für Analysen. Delta Lake ist eine Open-Source-Speicherschicht, die ACID-Transaktionen (Atomität, Konsistenz, Isolation, Haltbarkeit) zu Big Data- und Analyseworkloads bringt.

Alle Fabric-Erfahrungen generieren und konsumieren Delta Lake-Tabellen nativ und bieten ein einheitliches Produkterlebnis. Delta Lake-Tabellen, die von einem Computemodul wie Fabric Data Warehouse oder Synapse Spark erstellt werden, können von jedem anderen Modul wie Power BI genutzt werden. Wenn Sie Daten in Fabric aufnehmen, speichert Fabric sie standardmäßig als Delta-Tabellen. Sie können externe Daten, die Delta Lake-Tabellen enthalten, ganz einfach mithilfe von OneLake-Tastenkombinationen integrieren.

Delta Lake-Features und Fabric-Erfahrungen

Um Interoperabilität zu erreichen, sind alle Fabric-Erfahrungen auf die Delta Lake-Features und Fabric-Funktionen abgestimmt. Einige Umgebungen können nur in Delta Lake-Tabellen schreiben, während andere daraus lesen können.

  • Writer: Data Warehouse, Eventstreams und exportierte semantische Power BI-Modelle in OneLake
  • Leser: SQL-Analyseendpunkt und Power BI Direct Lake-Semantikmodelle
  • Autoren und Leser: Fabric Spark-Laufzeit, Datenflüsse, Pipelines und KQL (Kusto Query Language)-Datenbanken

Die folgende Matrix veranschaulicht wichtige Delta Lake-Features und deren Verfügbarkeit anhand jeder Fabric-Erfahrung.

Fabric-Funktion Spaltenzuordnungen Vektoren löschen Schreiben in V-Reihenfolge Tabellenoptimierung und -wartung Partitionen Flüssigkeits-Clusterbildung TIMESTAMP_NTZ Delta-Leser/Schreiber-Version und Standardtabellenfunktionen
Export des Data Warehouse Delta Lake Name: Ja
ID: Keine		 Ja Ja Ja Lesen: N/A (nicht zutreffend)
Schreiben: Nein		 Nein Nein Reader: 3
Autor: 7
Vektoren löschen,
Spaltenzuordnungen (Name)
SQL-Analyseendpunkt Name: Ja
ID: Keine		 Ja N/A (nicht zutreffend) N/A (nicht zutreffend) Lesen: Ja
Schreiben: N/A (nicht zutreffend)		 Ja Nein N/A (nicht zutreffend)
Lakehouse-Explorer und Vorschau Name: Ja
ID: Keine		 Ja N/A (nicht zutreffend) Ja Lesen: Ja
Schreiben: N/A (nicht zutreffend)		 Ja Ja N/A (nicht zutreffend)
Fabric Spark Runtime 1.3 Name: Ja
ID: Ja		 Ja Ja Ja Lesen: Ja
Schreiben: Ja		 Ja Ja Leser: 1
Autor: 2
Fabric Spark Runtime 1.2 Name: Ja
ID: Ja		 Ja Ja Ja Lesen: Ja
Schreiben: Ja		 Ja, nur Lesezugriff Ja Leser: 1
Autor: 2
Fabric Spark Runtime 1.1 Name: Ja
ID: Ja		 Nein Ja Ja Lesen: Ja
Schreiben: Ja		 Ja, nur Lesezugriff Nein Leser: 1
Autor: 2
Dataflows Gen2 Name: Ja
ID: Keine		 Ja Ja Nein Lesen: Ja
Schreiben: Ja		 Ja, nur Lesezugriff Nein Leser: 1
Autor: 2
Pipelines Name: Nein
ID: Keine		 Nein Ja Nein Lesen: Ja
Schreiben: Ja, nur überschreiben		 Ja, nur Lesezugriff Nein Leser: 1
Autor: 2
Power BI Direct Lake Semantikmodelle Name: Ja
ID: Ja		 Ja N/A (nicht zutreffend) N/A (nicht zutreffend) Lesen: Ja
Schreiben: N/A (nicht zutreffend)		 Ja Nein N/A (nicht zutreffend)
Exportieren von Power BI-Semantikmodellen in OneLake Name: Ja
ID: Keine		 N/A (nicht zutreffend) Ja Nein Lesen: N/A (nicht zutreffend)
Schreiben: Nein		 Nein Nein Reader: 2
Autor: 5
Spaltenzuordnungen (Name)
KQL-Datenbanken Name: Ja
ID: Keine		 Ja Nein Nein* Lesen: Ja
Schreiben: Ja		 Nein Nein Leser: 1
Autor: 1
Ereignisströme Name: Nein
ID: Keine		 Nein Nein Nein Lesen: N/A (nicht zutreffend)
Schreiben: Ja		 Nein Nein Leser: 1
Autor: 2

* KQL-Datenbanken bieten bestimmte Tabellenwartungsfunktionen wie die Aufbewahrung. Daten werden am Ende des Aufbewahrungszeitraums aus OneLake entfernt. Weitere Informationen finden Sie unter "Eine logische Kopie".

Anmerkung

  • Fabric schreibt standardmäßig keine Spaltenzuordnungen, außer wenn anders angegeben. Die Standardmäßige Fabric-Oberfläche generiert Tabellen, die über den Dienst hinweg kompatibel sind. Delta Lake-Tabellen, die von Drittanbieterdiensten erstellt werden, können inkompatible Tabellenfeatures aufweisen.
  • Einige Fabric-Umgebungen bieten keine Tabellenoptimierungs- und Wartungsfunktionen, wie z. B. Bin-Komprimierung, V-Reihenfolge, Löschvektorzusammenführung (PURGE) und Bereinigen alter nicht referenzierter Dateien (VACUUM). Um Delta Lake-Tabellen für Analysen zu optimieren, befolgen Sie für Tabellen, die mit diesen Verfahren eingelesen werden, die Methoden unter Verwenden des Tabellenwartungsfeatures zum Verwalten von Delta-Tabellen in Fabric.

Aktuelle Einschränkungen

Derzeit unterstützt Fabric diese Delta Lake-Features nicht:

  • V2-Prüfpunkte sind in allen Umgebungen nicht einheitlich verfügbar. Nur Spark-Notizbücher und Spark-Aufträge können tabellen mit V2-Prüfpunkten lesen und schreiben. Lakehouse und SQL Analytics führen keine ordnungsgemäßen Tabellen mit V2-Prüfpunktdateien im __delta_log Ordner auf.
  • Delta Lake 3.x Uniform. Dieses Feature wird nur im Data Engineering Spark-compute (Notebooks, Spark Jobs) unterstützt.
  • Identitätsspalten schreiben (Azure Databricks-Feature)
  • Lakeflow Spark Declarative Pipelines (Azure Databricks-Feature)
  • Features von Delta Lake 4.x: Typ erweitern, Sortierungen, Variantentyp, koordinierte Commits

Sonderzeichen in Tabellennamen

Microsoft Fabric unterstützt Sonderzeichen als Teil der Tabellennamen. Dieses Feature ermöglicht die Verwendung von Unicode-Zeichen zum Verfassen von Tabellennamen in Microsoft Fabric-Oberflächen.

Die folgenden Sonderzeichen sind entweder reserviert oder nicht kompatibel mit mindestens einer der Microsoft Fabric-Technologien und dürfen nicht als Teil eines Tabellennamens verwendet werden: " (doppelte Anführungszeichen), ' (einfache Anführungszeichen), #, %, +, :, ?, ' (Backtick).

Verwandte Inhalte

  • Last updated on