Databricks Runtime 16.4 LTS

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.4 LTS, unterstützt von Apache Spark 3.5.2.

Databricks hat diese LTS-Version im Mai 2025 veröffentlicht. Es gibt 2 Varianten für diese Version, eine unterstützt Scala 2.12 und eine, die Scala 2.13 unterstützt.

Ab DBR 17 (Spark 4) wird nur Scala 2.13 unterstützt. Zur Unterstützung des Übergangs stehen zwei Bilder in 16.4 LTS zur Verfügung: eines mit Scala 2.12 und eines mit Scala 2.13. Verwenden Sie das Image 2.13, um Ihre Codebasis vor der Migration zu DBR 17 auf Scala 2.13 zu testen und zu aktualisieren.

Scala 2.13-Migrationsleitfaden

• Alle anderen Features sind in databricks Runtime 16.4 LTS-Versionen identisch.
• Abhängigkeitsversionen können sich zwischen dem Databricks Runtime 16.4 Scala 2.12-Abbild und dem 16.4 Scala 2.13-Abbild unterscheiden. Die versionen der in den einzelnen Bildern unterstützten Bibliotheken sind unten auf dieser Seite aufgeführt.
• Stellen Sie sicher, dass Ihr Code in Scala 2.13 geschrieben ist und Ihre ausführbare Datei mit Scala 2.13 kompiliert wird.
• Erstellen Sie Ihr Projekt mit Spark 3.5.

Wenn Ihr Code die sparklyr R-Bibliothek verwendet, müssen Sie stattdessen das Bild verwenden, das Scala 2.12 unterstützt.

Fehlerhafte Änderungen zwischen Scala 2.12 und 2.13

Wesentliche fehlerhafte Änderungen

Databricks Runtime betrachtet eine fehlerhafte Änderung als groß, wenn Sie erhebliche Code-Änderungen vornehmen müssen, um sie zu unterstützen.

• Sammlungsinkompatibilität: Lesen Sie diese offizielle Scala-Dokumentationsseite , um Details zum Migrieren von Sammlungen zu Scala 2.13 zu erhalten. Wenn Ihr Code eine frühere Version von Scala-Code verwendet, sind Sammlungen primäre Quelle von Inkompatibilitäten bei der Verwendung von Databricks, insbesondere bei API-Parametern und Rückgabetypen.

• Hashalgorithmus: Wenn Sie Ihren Code überprüfen, der mit Scala 2.12 erstellt wurde, verlassen Sie sich nicht auf die implizite Reihenfolge von Datenstrukturen, die keine Reihenfolge garantieren, wie HashMap und Set. Sammlungen, die eine implizite Anordnung haben, können ihre Elemente anders anordnen, wenn Sie sie unter 2.13 (im Vergleich zu 2.12) durchlaufen.

Geringfügige fehlerhafte Änderungen

Databricks Runtime betrachtet eine bedeutende Änderung als "geringfügig", wenn durch die Versionsänderungen keine spezifischen Fehlermeldungen ausgelöst werden, Ihr Code jedoch im Allgemeinen mit dieser Version nicht kompiliert werden kann. In diesem Fall stellen die Fehlermeldungen möglicherweise ausreichende Informationen zum Aktualisieren des Codes bereit.

• Strengere Typinferenz: Beim Kompilieren von Code, der für Scala 2.12 mit 2.13 entwickelt wurde, kann der Compiler berichten, dass er den Typ nicht ableiten kann oder auf eine Mehrdeutigkeit des Typs hinweist. Durch das explizite Kommentieren der Variablen mit ihrem Datentyp wird dieses Problem häufig gelöst.
• Entfernung spezifischer Syntax: Einige Syntaxen wurden in Scala 2.13 außer Betrieb genommen, wie z. B. das Zeichenfolgenliteral in einfachen Anführungszeichen, der +-Operator für die Zeichenfolgenverkettung, wenn er mit einem Nicht-String-Typ auf der linken Seite verwendet wird, und der Postfix-Operator (verwenden Sie stattdessen die Punktnotation). Weitere Details finden Sie in den offiziellen Scala-Dokumenten unter Verworfene Scala-Features.
• Ausgabemeldungen: Textergebnisse für von REPL zurückgegebene Nachrichten können zwischen Scala 2.12 und 2.13 unterschiedlich sein. Jede Diskrepanz bedeutet nicht, dass die Syntax oder Berechnung falsch ist; Stattdessen beschreibt die Nachricht das Problem oder den Kontext anders oder stellt es in einem anderen Darstellungsformat dar. Beispielsweise kann f: Foo = Foo(1) in einigen Nachrichten zu f: Foo = Foo(i = 1) werden.

Die Liste der Bibliotheksversionen, die von jeder Scala-Version von Databricks Runtime 16.4 LTS unterstützt werden:

• DBR 16.4 LTS Scala 2.12-Bibliotheken
• DBR 16.4 LTS Scala 2.13 Bibliotheken

Neue Features und Verbesserungen

• Dashboards, Warnungen und Abfragen werden als Arbeitsbereichsdateien unterstützt.
• Verbesserung von Liquid-Clustering auto-compaction
• Auto Loader kann jetzt verarbeitete Dateien im Quellverzeichnis bereinigen
• Unterstützung für Typenerweiterung beim Streaming aus Delta-Tabellen hinzugefügt
• IDENTIFIER Unterstützung jetzt in DBSQL für Katalogvorgänge verfügbar
• Kollationierte Ausdrücke bieten jetzt automatisch generierte transiente Aliase
• Hinzufügen von Filter-Pushdown-API-Unterstützung zu Python-Datenquellen
• Python UDF-Ablaufverfolgungsverbesserung
• UNION/EXCEPT/INTERSECT innerhalb einer Ansicht und EXECUTE IMMEDIATE liefern jetzt korrekte Ergebnisse
• Anleitung zur Konfiguration und Migration des Zwischenspeicherns für Datenquellen
• Neue listagg und string_agg Funktionen
• Unterstützung für MERGE INTO Tabellen mit fein abgestimmter Zugriffssteuerung auf dediziertem Compute ist jetzt allgemein verfügbar (GA)

Dashboards, Warnungen und Abfragen werden als Arbeitsbereichsdateien unterstützt.

Dashboards, Warnungen und Abfragen werden jetzt als Arbeitsbereichsdateien unterstützt. Sie können jetzt programmgesteuert mit diesen Databricks-Objekten von überall aus interagieren, wo das Arbeitsbereichsdateisystem verfügbar ist, einschließlich Schreiben, Lesen und Löschen wie jede andere Datei. Weitere Informationen finden Sie unter Was sind Arbeitsbereichsdateien? Und interagieren programmgesteuert mit Arbeitsbereichsdateien.

Verbesserung von Liquid-Clustering auto-compaction

Von Unity Catalog verwaltete Liquid-Clustering-Tabellen triggern jetzt die automatische Verdichtung, um Probleme mit kleinen Dateien zwischen OPTIMIZE Ausführen automatisch zu reduzieren.

Weitere Details finden Sie unter "Auto Compaction" für Delta Lake auf Azure Databricks.

Auto Loader kann jetzt verarbeitete Dateien im Quellverzeichnis bereinigen

Kunden können jetzt das automatische Laden anweisen, Dateien, die verarbeitet wurden, automatisch zu verschieben oder zu löschen. Aktivieren Sie dieses Feature mithilfe der cloudFiles.cleanSource Option "Automatisches Laden".

Weitere Informationen finden Sie unter den Optionen für das automatische Laden unter cloudFiles.cleanSource.

Support für Type-Widening beim Streaming aus Delta-Tabellen hinzugefügt

Diese Version fügt Support für das Streaming aus einer Delta-Tabelle hinzu, die Type-Widening-Spaltendaten enthält, sowie für die gemeinsame Nutzung einer Delta-Tabelle mit aktiviertemTType-Widening durch Databricks-to-Databricks Delta Sharing. Die Funktion zur Typerweiterung befindet sich aktuell in der öffentlichen Vorschau.

Weitere Einzelheiten finden Sie unter Type-Widening.

IDENTIFIER Unterstützung jetzt in DBSQL für Katalogvorgänge verfügbar

Azure Databricks-Kunden können jetzt die IDENTIFIER Klausel verwenden, wenn sie die folgenden Katalogvorgänge ausführen:

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

Mit dieser neuen Syntax können Kunden Katalognamen dynamisch mithilfe von Parametern angeben, die für diese Vorgänge definiert sind, wodurch flexiblere und wiederverwendbare SQL-Workflows ermöglicht werden. Berücksichtigen Sie CREATE CATALOG IDENTIFIER(:param) als Beispiel für die Syntax, wo param ein Parameter angegeben wird, um einen Katalognamen anzugeben.

Weitere Informationen finden Sie in IDENTIFIER der Klausel.

Kollationierte Ausdrücke bieten jetzt automatisch generierte transiente Aliase

Autogenerierte Aliase für kollationierte Ausdrücke enthalten jetzt immer deterministisch COLLATE-Informationen. Automatisch generierte Aliase sind vorübergehend (instabil) und sollten nicht verwendet werden. Verwenden Sie expression AS alias stattdessen als bewährte Methode konsistent und explizit.

Hinzufügen von Filter-Pushdown-API-Unterstützung zu Python-Datenquellen

In Databricks Runtime 16.4 LTS hat Azure Databricks die Unterstützung für Filter-Pushdown bei Batch-Lesevorgängen von Python-Datenquellen hinzugefügt, ähnlich einer API-Schnittstelle, die der SupportsPushDownFilters Schnittstelle entspricht. Sie können jetzt DataSourceReader.pushFilters implementieren, um Filter zu empfangen, die nach unten gepusht werden können. Sie können diese API auch implementieren, um eine Logik zur Auswahl von Filtern, die nach unten gepusht werden sollen, bereitzustellen, sie zu verfolgen und die verbleibenden Filter zur Anwendung durch Apache Spark zurückzugeben.

Mithilfe des Filter-Pushdowns kann die Datenquelle eine Teilmenge von Filtern verarbeiten. Dies kann die Leistung verbessern, indem die Datenmenge reduziert wird, die von Spark verarbeitet werden muss.

Filter-Pushdown wird nur für Batchlesevorgänge unterstützt, nicht für Streaminglesevorgänge. Die neue API muss zu DataSourceReader hinzugefügt werden und nicht zu DataSource oder DataSourceStreamReader. Die Liste der Filter muss als logisches AND der Elemente in Ihrer Implementierung interpretiert werden. Diese Methode wird einmal während der Abfrageplanung aufgerufen. In der Standardimplementierung werden alle Filter zurückgegeben, was darauf hinweist, dass keine Filter nach unten verschoben werden können. Verwenden Sie Unterklassen, um diese Methode außer Kraft zu setzen und Ihre Logik für Filter-Pushdown zu implementieren.

Zunächst und um die API einfach zu halten, unterstützt Azure Databricks nur V1-Filter mit einer Spalte, einem booleschen Operator und einem Literalwert. Die Filter-Serialisierung ist ein Platzhalter und wird in einem zukünftigen PR implementiert. Beispiel:

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks empfiehlt Ihnen, diese Methode nur für Datenquellen zu implementieren, die das Filtern systemintern unterstützen, z. B. Datenbanken und GraphQL-APIs.

Python UDF-Ablaufverfolgungsverbesserung

Die Python-UDF-Ablaufverfolgung enthält jetzt Frames sowohl vom Treiber als auch vom Executor zusammen mit Clientframes, was zu besseren Fehlermeldungen führt, die größere und relevantere Details anzeigen (z. B. den Zeileninhalt von Frames innerhalb einer UDF).

UNION/EXCEPT/INTERSECT innerhalb einer Ansicht und EXECUTE IMMEDIATE liefern jetzt korrekte Ergebnisse

Abfragen nach temporären und persistenten Ansichtsdefinitionen mit UNION/EXCEPT/INTERSECT-Spalten auf oberster Ebene und Spalten ohne Aliasing lieferten bisher falsche Ergebnisse, da UNION/EXCEPT/INTERSECT Schlüsselwörter als Aliase betrachtet wurden. Diese Abfragen führen jetzt das gesamte Set korrekt aus.

EXECUTE IMMEDIATE ... INTO mit UNION/EXCEPT/INTERSECT auf oberster Ebene und Spalten ohne Alias schrieben ebenfalls ein falsches Ergebnis eines Set-Vorgangs in die angegebene Variable, da der Parser diese Schlüsselwörter als Aliase interpretierte. Ebenso waren SQL-Abfragen mit ungültigen Tail-Text zulässig. Set-Operationen in diesen Fällen schreiben jetzt ein korrektes Ergebnis in die angegebene Variable oder schlagen fehl, wenn der SQL-Text ungültig ist.

Anleitung zur Konfiguration und Migration des Zwischenspeicherns für Datenquellen

Seit DBR 16.4.0 werden beim Lesen aus einer Quelltabelle Abfrageoptionen, z. B. Begrenzungszeichen, korrekt berücksichtigt. Zuvor wurde der erste Abfrageplan zwischengespeichert und nachfolgende Optionsänderungen ignoriert. Um das vorherige Verhalten wiederherzustellen, legen Sie spark.sql.legacy.readFileSourceTableCacheIgnoreOptions auf true fest.

Neue listagg und string_agg Funktionen

Ab dieser Version können Sie die Funktionen listagg oder string_agg verwenden, um STRING- und BINARY-Werte innerhalb einer Gruppe zu aggregieren. Weitere Informationen finden Sie unter string_agg .

Unterstützung für MERGE INTO Tabellen mit fein abgestimmter Zugriffssteuerung auf dediziertem Compute ist jetzt allgemein verfügbar (GA)

In Databricks Runtime 16.3 und höher unterstützen dedizierte Rechenressourcen MERGE INTO für Unity-Katalog-Tabellen, die eine feinkörnige Zugriffssteuerung verwenden. Dieses Feature ist jetzt allgemein verfügbar.

Siehe Feingranulare Zugriffssteuerung auf dedizierten Rechenressourcen.

Änderungen im Verhalten von DBR 16.4 LTS

• Delta-Tabellen: "DESCRIBE DETAIL table" zeigt nun den ClusterByAuto-Status der Tabelle an.
• Problem behoben, bei dem Optionen für zwischengespeicherte Pläne für Datenquellen nicht berücksichtigt wurden
• Redaktionsregel vom Analysator zum Optimierer verschoben
• variant_get und get_json_object betrachten jetzt führende Räume in Pfaden in Apache Spark
• Flag aktivieren, um die Deaktivierung der Quellmaterialisierung für MERGE-Vorgänge zu verhindern
• Anker für die Aktivierung des Partitionsmetadatenprotokolls in die Tabelle verschieben
• In DBR 16.2 und 16.3 wurde ein Downgrade von Json4s von 4.0.7 auf 3.7.0-M11 durchgeführt.

Delta-Tabellen: „DESCRIBE DETAIL table“ zeigt nun den clusterByAuto-Status der Tabelle an.

DESCRIBE DETAIL {table} zeigt nun den clusterByAuto Status der Tabelle (wahr oder falsch) neben den aktuellen Clusterspalten an. Weitere Informationen clusterByAutofinden Sie unter:Automatische Flüssigkeitsgruppierung.

Problem behoben, bei dem Optionen für zwischengespeicherte Pläne für Datenquellen nicht berücksichtigt wurden

Mit diesem Update wird sichergestellt, dass Tabelleneinträge bei der Zwischenspeicherung die für alle Datenquellenpläne festgelegten Optionen berücksichtigen und nicht nur beim ersten zwischengespeicherten Tabellenabruf.

Zuvor hatte die Datenquellentabelle den ersten Plan zwischengespeichert, konnte jedoch bei nachfolgenden Abfragen verschiedene Optionen nicht berücksichtigen.

Beispielsweise in der folgenden Abfrage:

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

würde diese Ausgabe anzeigen:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

Mit diesem Fix wird jetzt die erwartete Ausgabe zurückgegeben:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

Wenn Ihre Workloads Abhängigkeiten vom vorherigen falschen Verhalten haben, werden nach dieser Änderung möglicherweise unterschiedliche Ergebnisse angezeigt.

Verschob Redaktionsregel vom Analysator zum Optimierer

Bisher konnten DataFrames Tabellen erstellen, die redigierte Werte enthielten, wenn gültige SECRET SQL-Funktionen verwendet wurden. Diese Änderung entfernt die Redaktion beim Speichern von DataFrames mit gültigem Geheimzugriff auf eine Tabelle, und die Redaktionsregel wurde vom Analysator zum Optimierer verschoben.

variant_get und get_json_object betrachten jetzt führende Räume in Pfaden in Apache Spark

Vor dieser Änderung wurden führende Leerzeichen und Tabulatoren in Pfaden in den Ausdrücken variant_get und get_json_object ignoriert, wenn Photon deaktiviert war. Beispielsweise wäre select get_json_object('{" key": "value"}', '$[' key']') nicht effektiv beim Extrahieren des Werts von " key". Benutzer können diese Schlüssel jedoch extrahieren.

Flag aktivieren, um die Deaktivierung der Quellmaterialisierung für MERGE-Vorgänge zu verhindern

Zuvor konnten Benutzer die Quellmaterialisierung in MERGE deaktivieren, indem sie merge.materializeSource auf none setzten. Wenn das neue Flag aktiviert ist, ist dies verboten und verursacht einen Fehler. Databricks plant, das Flag nur für Kunden zu aktivieren, die dieses Konfigurationsflagge noch nicht verwendet haben, sodass kein Kunde eine Verhaltensänderung bemerken sollte.

Anker für die Aktivierung des Partitionsmetadatenprotokolls in die Tabelle verschieben

Die Funktion „Partitionsmetadatenprotokoll“ wurde so geändert, dass Sie eine Tabelle, die mit spark.databricks.nonDelta.partitionLog.enabled = true erstellt wurde, an eine Tabelle verankern können, damit ein Cluster nicht spark.databricks.nonDelta.partitionLog.enabled = true für alle vom Cluster verarbeiteten Tabellen festlegt.

In DBR 16.2 und 16.3 wurde ein Downgrade von Json4s von 4.0.7 auf 3.7.0-M11 durchgeführt.

Kunden können databricks-connect 16.1+ und Apache Spark™ 3.5.x nicht zusammen in derselben Anwendung verwenden, da es erhebliche Abweichungen im API-Verhalten zwischen Json4s Version 3.7.0-M11 und Version 4.0.7 gibt. Um dies zu beheben, hat Azure Databricks Json4s auf 3.7.0-M11 herabgestuft.

Bibliotheksupgrades (gilt nur für das Scala 2.12-Bild)

• Aktualisierte R-Bibliotheken:
  • sparklyr von 1.8.4 bis 1.8.6 (gilt nur für das Scala 2.12-Image für die Databricks Runtime 16.4 LTS-Version)
• Aktualisierte Java-Bibliotheken:
  • io.delta.delta-sharing-client_2.12 von Version 1.2.3 auf Version 1.2.4
  • org.json4s.json4s-ast_2.12 von 4.0.7 auf 3.7.0-M11
  • org.json4s.json4s-core_2.12 von 4.0.7 auf 3.7.0-M11
  • org.json4s.json4s-jackson_2.12 von 4.0.7 auf 3.7.0-M11
  • org.json4s.json4s-scalap_2.12 von 4.0.7 auf 3.7.0-M11

Die Scala 2.13 Databricks Runtime-Version gilt als "neue" Version und kann unterschiedliche Bibliotheksversionen von 2.12 haben. In der folgenden Tabelle finden Sie bestimmte Bibliotheksversionen in diesem Releaseimage. Diese Version enthält sparklyr nicht.

Apache Spark

Databricks Runtime 16.4 LTS umfasst Apache Spark 3.5.2. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 16.3 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-51206] [PYTHON][connect] Verschieben Sie die Arrow-Konvertierungshilfsfunktionen aus Spark Connect.
• [SPARK-51566] [PYTHON] Python UDF Traceback-Verbesserung
• [SPARK-51675] [SS] Fix Spaltenfamilienerstellung nach dem Öffnen der lokalen DB, um die Erstellung eines Snapshots zu vermeiden, wenn dies nicht notwendig ist
• [SPARK-50892] [SQL]Add UnionLoopExec, physischer Operator für Rekursion, zur Ausführung rekursiver Abfragen
• [SPARK-51670] Refaktorieren von „Intersect“ und „Except“ am Beispiel „Union“ für die Wiederverwendung im Single-Pass-Analyzer
• [SPARK-47895] [BEHAVE-266][sql] group by alias sollte idempotent sein
• [SPARK-51614] [SQL] Führt die ResolveUnresolvedHaving-Regel im Analysator ein
• [SPARK-51662] [SQL] OrcFileFormat vergleichbar machen
• [SPARK-51374] "[CORE] Wechsel zur Verwendung von java.util.Map in Logging APIs" rückgängig gemacht
• [SPARK-51652] Refaktorieren der SetOperation-Berechnung zur Wiederverwendung im Single-Pass-Analyzer
• [SPARK-51622] [UI] Überschrift der Abschnitte auf der ExecutionPage
• [SPARK-51586] [SS] Eingabe-Partitionen unabhängig vom Columnar Support im kontinuierlichen Modus initialisieren
• [SPARK-51070] [SQL] scala.collection.Set anstelle von Set in ValidateExternalType verwenden
• [SPARK-51559] [SQL] Konfigurieren der maximalen Übertragungstabellengröße
• [SPARK-51496] Der Vergleich von CaseInsensitiveStringMap muss Groß-/Kleinschreibung ignorieren
• [SPARK-50416] [CORE] Ein tragbarerer Terminal- und Pipe-Test wird für bin/load-spark-env.sh benötigt.
• [SPARK-51509] [UI] Filter für die Spark Master-Umgebungsseite erstellen
• [SPARK-51374] [CORE] Umstellung auf Verwendung von java.util.Map in Logging-APIs
• [SPARK-50820] [SQL] DSv2: Bedingte Nullierung von Metadatenspalten in DML
• [SPARK-48922] [SQL] Vermeiden Sie redundante Array-Transformation eines identischen Ausdrucks für den Map-Typ.
• [SPARK-51446] [SQL] Verbessern der codecNameMap für den Komprimierungscodec
• [SPARK-51341] Zeittask auf geeignete Weise abbrechen
• [SPARK-51452] [UI] Verbesserung der Thread-Dump-Tabellensuche
• [SPARK-51444] [CORE] Entfernen der nicht erreichbaren Verzweigung if aus TaskSchedulerImpl#statusUpdate
• [SPARK-51401] [SQL] Ändern ExplainUtils.generateFieldString , um direkt aufzurufen QueryPlan.generateFieldString
• [SPARK-49507] Beheben eines Problems mit dem Fall nach dem Aktivieren von metastorePartitionPruningFastFallback
• [SPARK-51506] [ PYTHON][ss] Erzwingen Sie nicht, dass Benutzer close() in TransformWithStateInPandas implementieren
• [SPARK-51624] [SQL] GetStructField-Metadaten in CreateNamedStruct.dataType weitergeben
• [SPARK-51201] Partitionierungshinweise müssen Byte- und Short-Werte unterstützen
• [SPARK-51186] [PYTHON] StreamingPythonRunnerInitializationException zur Basisausnahme von PySpark hinzufügen
• [SPARK-50286] [SQL] SQL-Optionen werden richtig an WriteBuilder weitergegeben.
• [SPARK-51616] [SQL] CollationTypeCasts vor ResolveAliases und ResolveAggregateFunctions ausführen
• [SPARK-51023] [CORE] Remoteadresse bei RPC-Ausnahme protokollieren
• [SPARK-51087] [PYTHON][connect] Warnung ausgeben, wenn memory-profiler für die Speicherprofilierung nicht installiert ist
• [SPARK-51073]Unstable aus der Eigenschaft SparkSessionExtensionsProvider entfernen
• [SPARK-51471] [SS] RatePerMicroBatchStream – Klassifizierung des ASSERT-Fehlers, wenn Offset/Zeitstempel in startOffset größer ist als endOffset
• [SPARK-51062] [PYTHON] Behebt assertSchemaEqual zum Vergleich von Dezimalpräzision und Skala
• [SPARK-51612] [SQL] Spark-Konfigurationen, die bei der Erstellung der Ansicht festgelegt wurden, in Desc als JSON anzeigen
• [SPARK-51573] [SS] Behebt Streaming Status Checkpoint v2 checkpointInfo race condition
• [SPARK-51252] [SS] Fügen Sie Instanzmetriken für die zuletzt hochgeladene Momentaufnahmeversion in HDFS State Stores hinzu.
• [SPARK-51552] [SQL] Verbieten temporärer Variablen in dauerhaften Ansichten, wenn unter Bezeichner
• [SPARK-51625] [SQL] Befehl in CTE-Relationen muss inline ausgelöst werden
• [SPARK-51584] Hinzufügen einer Regel, die das Projekt durch Offset und Suite leitet, um es zu testen
• [SPARK-51593] [SQL] Instanziierung umgestalten QueryExecutionMetering
• [SPARK-49082] [SQL] Support für die Erweiterung von Date auf TimestampNTZ im Avro Reader
• [SPARK-50220] [PYTHON] Unterstützung von listagg in PySpark
• [SPARK-51581] [CORE][sql] Verwenden Sie nonEmpty/isEmpty für eine leere Überprüfung bei explizitem Iterable
• [SPARK-42746] [SQL] Behebung in der Fehlerklassenklassifizierung für neue Ausnahmen mit listagg
• [SPARK-51580] [SQL] Gibt eine ordnungsgemäße benutzerseitige Fehlermeldung aus, wenn die Lambda-Funktion fehl am Platz ist. HigherOrderFunction
• [SPARK-51589] [SQL] Kleinen Fehler beheben, der beim Überprüfen auf Aggregatfunktionen versagt in |>SELECT
• [SPARK-50821] [PYTHON] Upgrade Py4J von 0.10.9.8 auf 0.10.9.9
• [SPARK-42746] [SQL] Implementieren der LISTAGG-Funktion
• [SPARK-48399] [SQL] Teradata: ByteType sollte BYTEINT statt BYTE(binär) zugeordnet werden
• [SPARK-43221] Das lokale Abrufen von Blöcken muss den Blockstatus eines auf dem Datenträger gespeicherten Blocks verwenden
• [SPARK-51467] [UI] Tabellen der Umgebungsseite filtern
• [SPARK-51569] [SQL] Instanziieren Sie InSubquery in InTypeCoercion nicht erneut, wenn keine Typänderungen vorhanden sind.
• [SPARK-51280] [CONNECT] Verbesserung der Fehlerklasse von RESPONSE_ALREADY_RECEIVED
• [SPARK-51525] [SQL] Kollationsfeld für Desc als JSON StringType
• [SPARK-51565] [SQL] Unterstützung von SQL-Parametern in der Fensterrahmen-Klausel
• [SPARK-51544] [SQL] Nur eindeutige und erforderliche Metadatenspalten hinzufügen
• [SPARK-49349] [SQL] Fehlermeldung für LCA mit Generate verbessern
• [SPARK-51418] Korrigieren der DataSource PARTITION TABLE mit Partitionsspalten, die mit dem Hive-Typ nicht kompatibel sind
• [SPARK-51269] [SQL] Vereinfachung des AvroCompressionCodec durch das Entfernen des defaultCompressionLevel
• [SPARK-50618] [SS][sql] DataFrameReader und DataStreamReader sollen den Analyzer stärker nutzen
• [SPARK-51097] [SS] Führen Sie erneut die Metriken der zuletzt hochgeladenen Schnappschussversion-Instanz des RocksDB-Zustandsspeichers ein.
• [SPARK-51321] Hinzufügen der Unterstützung für rpad und lpad für PostgresDialect und MsSQLServerDialect-Ausdrucks-Pushdown
• [SPARK-51428] [BEHAVE-264][sql] Aliase für sortierte Ausdrucksbäume deterministisch neu zuordnen
• [SPARK-51528] [SQL] Vergleichen Sie Hashcodes nicht direkt in ProtobufCatalystDataConversionSuite
• [SPARK-51443] [SS] Behebt singleVariantColumn in DSv2 und readStream.
• [SPARK-51397] [SS] Behebt ein Problem bei der Handhabung der Abschaltung von Wartungs-Pools, das zu langen Testzeiten führt.
• [SPARK-51522] Deaktivieren des Lazy-Union-Children-Tests für den Single-Pass-Analyzer
• [SPARK-51079] [Fix-forward] Support großer Variablentypen in pandas UDF, createDataFrame und toPandas mit Arrow
• [SPARK-51112] [ES-1348599][connect] Vermeiden der Verwendung von pyarrows to_pandas auf einer leeren Tabelle
• [SPARK-51438] [ SQL] CatalystDataToProtobuf und ProtobufDataToCatalyst sollen korrekt vergleichbar und hashfähig gemacht werden.
• [SPARK-50855] [DBR16.x][ss][CONNECT] Spark Connect-Unterstützung für TransformWithState in Scala
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column sollte die Auflösung beibehalten EXISTS_DEFAULT
• [SPARK-51468] Zurücksetzen von „Aus JSON/XML darf die Sortierreihenfolge im angegebenen Schema nicht geändert werden“
• [SPARK-51453] [SQL] AssertTrue verwendet toPrettySQL anstelle von simpleString
• [SPARK-51409] [SS] Fehlerklassifizierung im Erstellungspfad des Changelog Writer hinzufügen
• [SPARK-51440] [SS] Klassifizierung der NPE, wenn der Wert des Themenfeldes Null in den Daten der Kafka-Nachricht ist und es keine Themenoption gibt
• [SPARK-51425] [ Connect] Hinzufügen einer Client-API zum Festlegen benutzerdefinierter Parameteroperation_id
• [SPARK-50652] [ SS] Hinzufügen von Prüfungen zur Abwärtskompatibilität von RocksDB V2
• [SPARK-49164] [SQL] Behebt NullSafeEqual im Prädikat der SQL-Abfrage in JDBC Relation
• [SPARK-50880] [SQL] Hinzufügen einer neuen visitBinaryComparison-Methode zu V2ExpressionSQLBuilder
• [SPARK-50838] [ SQL]Führt zusätzliche Überprüfungen innerhalb rekursiver CTEs durch, um einen Fehler auszulösen, wenn ein unzulässiger Fall auftritt.
• [SPARK-51307] [SQL] locationUri in CatalogStorageFormat muss für den Bildschirm decodiert werden
• [SPARK-51079] [PYTHON] Support großer Variablentypen in pandas UDF, createDataFrame und toPandas mit Arrow
• [SPARK-50792] [SQL] Formatieren von Binärdaten als binäres Literal in JDBC.

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber hier herunter:

• Databricks ODBC-Treiber herunterladen
• Databricks JDBC-Treiber herunterladen

Systemumgebung

• Betriebssystem: Ubuntu 24.04.2 LTS.
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die Databricks-Runtime-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu17.54+21-CA
• Skala: 2.12.15 oder 2.13.10
• Python: 3.12.3
• R: 4.4.0
• Delta Lake

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2024-08-04installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)