Databricks Runtime 15.4 LTS

Die folgenden Versionshinweise enthalten Informationen zur Databricks Runtime-Version 15.4 LTS, die von Apache Spark 3.5.0 unterstützt wird.

Diese Version wurde von Databricks im August 2024 veröffentlicht.

Änderungen des Verhaltens

• Die Verwendung von VARIANT als Eingabe- oder Ausgabetyp mit einem Python UDF, UDAF oder UDTF löst eine Ausnahme aus.
• spark.sql.legacy.cod.useNullCalendar ist jetzt standardmäßig aktiviert.
• Wechseln zum Standardschema-Bindungsmodus für Ansichten
• Verbieten der Verwendung der nicht dokumentierten !-Syntax anstelle von NOT außerhalb boolescher Ausdrücke
• Verbieten der nicht dokumentierten Spaltendefinitionssyntax in Ansichten
• Konsistente Fehlerbehandlung für die Base64-Decodierung in Spark und Photon
• Durch das Hinzufügen einer CHECK-Einschränkung für eine ungültige Spalte wird jetzt die UNRESOLVED_COLUMN.WITH_SUGGESTION-Fehlerklasse zurückgegeben
• spark.sql.legacy.cod.useNullCalendar ist jetzt standardmäßig aktiviert.
• pyodbc wird von 4.0.38 auf 4.0.39 aktualisiert.

Die Verwendung einer VARIANT als Eingabe- oder Ausgabetyps mit einem Python UDF, UDAF oder UDTF löst eine Ausnahme aus.

[Breaking change] In Databricks Runtime 15.3 und höher löst das Aufrufen einer benutzerdefinierten Funktion (UDF), einer benutzerdefinierten Aggregatfunktion (UDAF) oder einer benutzerdefinierten Tabellenfunktion (UDTF) in Python mit dem Typ VARIANT als Argument oder Rückgabewert eine Ausnahme aus. Mit dieser Änderung sollen Probleme verhindert werden, die aufgrund eines ungültigen Werts auftreten können, der von einer dieser Funktionen zurückgegeben wird. Weitere Informationen zum Typ VARIANT finden Sie unter Verwendung von VARIANTEN zum Speichern halbstrukturierter Daten.

spark.sql.legacy.cod.useNullCalendar ist jetzt standardmäßig aktiviert.

spark.sql.legacy.jdbc.useNullCalendar ist jetzt standardmäßig auf true "Festgelegt". Wenn diese Änderung Ihre Abfragen unterbricht (z. B. solche, die TIMESTAMP-Werte zurückgeben), setzen Sie den Wert in Ihrem Code auf false.

Wechseln zum Standardschema-Bindungsmodus für Ansichten

Ansichten passen sich jetzt an Schemaänderungen in der zugrunde liegenden Abfrage an, indem sie die Schemakompensierung mit regulären Umwandlungsregeln verwenden. Dies ist eine Änderung gegenüber dem vorherigen Standardmodus BINDING, der Fehler ausgelöst hat, wenn eine sichere Umwandlung beim Verweisen auf die Ansicht nicht ausgeführt werden konnte.

Siehe CREATE VIEW und cast Funktion.

Verbieten der Verwendung der nicht dokumentierten !-Syntax anstelle von NOT außerhalb boolescher Ausdrücke

Bei dieser Version ist die Verwendung von ! als Synonym für NOT außerhalb von booleschen Ausdrücken nicht mehr zulässig. Beispiel: Anweisungen wie die folgenden: CREATE ... IF ! EXISTS, IS ! NULL, eine ! NULL-Spalteneigenschaft oder -Feldeigenschaft, ! IN und ! BETWEEN muss ersetzt werden durch: CREATE ... IF NOT EXISTS, IS NOT NULL, eine NOT NULL-Spalten- oder Feldeigenschaft, NOT IN und NOT BETWEEN.

Diese Änderung gewährleistet Konsistenz, entspricht dem SQL-Standard und macht SQL portierbarer.

Der boolesche Präfixoperator! (z. B. !is_mgr oder !(true AND false)) ist von dieser Änderung nicht betroffen.

Nicht dokumentierte Spaltendefinitionssyntax in Ansichten verbieten

Databricks unterstützt CREATE VIEW mit benannten Spalten und Spaltenkommentaren. Zuvor war die Spezifikation von Spaltentypen, NOT NULL-Einschränkungen oder DEFAULT zulässig. Bei dieser Version können Sie diese Syntax nicht mehr verwenden.

Diese Änderung gewährleistet Konsistenz, entspricht dem SQL-Standard und unterstützt künftige Erweiterungen.

Konsistente Fehlerbehandlung für die Base64-Decodierung in Spark und Photon

Diese Version ändert die Art und Weise, wie Photon Base64-Dekodierungsfehler behandelt, um sie der Spark-Behandlung dieser Fehler anzupassen. Vor diesen Änderungen konnte der Photon- und Spark-Codegenerierungspfad manchmal keine Analyseausnahmen auslösen, während die Spark-Ausführung richtigerweise IllegalArgumentException oder ConversionInvalidInputError auslöste. Mit diesem Update wird sichergestellt, dass Photon bei Base64-Decodierungsfehlern konsistent dieselben Ausnahmen auslöst, was eine vorhersehbarere und zuverlässige Fehlerbehandlung ermöglicht.

Das Hinzufügen einer CHECK Einschränkung für eine ungültige Spalte gibt jetzt UNRESOLVED_COLUMN.WITH_SUGGESTION Fehlerklasse zurück

Um nützlichere Fehlermeldungen bereitzustellen, gibt in Databricks Runtime 15.3 und höher eine ALTER TABLE ADD CONSTRAINT Anweisung, die eine CHECK Einschränkung enthält, die auf einen ungültigen Spaltennamen verweist, die UNRESOLVED_COLUMN.WITH_SUGGESTION Fehlerklasse zurück. Zuvor wurde ein INTERNAL_ERROR Wert zurückgegeben.

spark.sql.legacy.cod.useNullCalendar ist jetzt standardmäßig aktiviert.

### spark.sql.legacy.jdbc.useNullCalendar ist jetzt als Standardeinstellung festgelegt true . Wenn diese Änderung Ihre Abfragen unterbricht (z. B. solche, die TIMESTAMP-Werte zurückgeben), setzen Sie den Wert in Ihrem Code auf false.

Pyodbc wird von 4.0.38 auf 4.0.39 aktualisiert.

Das Pyodbc-Paket wird von Version 4.0.38 auf Version 4.0.39 aktualisiert. Diese Änderung ist erforderlich, da ein Fehler in Version 4.0.38 gefunden wurde und diese Version aus PyPI entfernt wurde.

Neue Features und Verbesserungen

• UTF-8-Gültigkeitsprüfungsfunktionen
• Typisierte Dataset-APIs mit Scala-UDFs
• UniForm Iceberg mithilfe von ALTER TABLE aktivieren
• try_url_decode-Funktion
• Optionales Zulassen, dass der Optimierer auf nicht erzwungenen Fremdschlüsseleinschränkungen basiert
• Parallelisierter Auftrag wird für selektive Überschreibungen ausgeführt
• Verbesserte Leistung für Änderungsdatenfeeds mit selektiven Überschreibungen
• Verbesserte Abfragelatenz für den COPY INTO-Befehl
• Unterstützung für das Löschen der Funktion zum Überprüfen von Einschränkungen in Tabellen
• Dediziertes Computing (ehemals Einzelbenutzercomputing) unterstützt differenzierte Zugriffssteuerung, materialisierte Sichten und Streamingtabellen (Public Preview)
• Erweiterte Unterstützung für Java- und Scala-Bibliotheken
• Erweiterte Unterstützung für Scala-Datasetvorgänge
• Scala ist für standardmäßige Unity Catalog-fähige Computeressourcen allgemein verfügbar
• Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mithilfe von Dienstanmeldeinformationen (Öffentliche Vorschau)

UTF-8-Gültigkeitsprüfungsfunktionen

In dieser Version werden die folgenden Funktionen zum Validieren von UTF-8-Zeichenketten eingeführt:

• is_valid_utf8 überprüft, ob eine Zeichenfolge eine gültige UTF-8-Zeichenkette ist.
• make_valid_utf8 konvertiert eine potenziell ungültige UTF-8-Zeichenkette in eine gültige UTF-8-Zeichenkette mit Ersetzungszeichen.
• validate_utf8 löst einen Fehler aus, wenn die Eingabe keine gültige UTF-8-Zeichenkette ist.
• try_validate_utf8 gibt NULL zurück, wenn die Eingabe keine gültige UTF-8-Zeichenkette ist.

Typisierte Dataset-APIs mit Scala-UDFs

Diese Version enthält zusätzliche Unterstützung für typisierte Dataset-APIs mit benutzerdefinierten Scala-Funktionen (mit Ausnahme von benutzerdefinierten Aggregatfunktionen) für Unity Catalog-fähiges Computing mit Standardzugriffsmodus (früher Zugriffsmodus „Freigegeben“). Weitere Informationen finden Sie unter Typisierte Dataset-APIs.

Aktivieren von UniForm Iceberg mithilfe von ALTER TABLE

Sie können UniForm Iceberg jetzt für vorhandene Tabellen aktivieren, ohne Datendateien neu zu schreiben. Siehe Aktivieren von Iceberg-Lesevorgängen in einer vorhandenen Tabelle.

try_url_decode-Funktion

Mit diesem Release wird die try_url_decode-Funktion eingeführt, die eine mit URL verschlüsselte Zeichenfolge entschlüsselt. Wenn die Zeichenfolge nicht das richtige Format hat, gibt die Funktion NULL zurück, anstatt einen Fehler zu auslösen.

Optionales Zulassen, dass der Optimierer auf nicht erzwungenen Fremdschlüsseleinschränkungen basiert

Um die Abfrageleistung zu verbessern, können Sie jetzt das Keyword RELY für FOREIGN KEY-Einschränkungen angeben, wenn Sie CREATE oder ALTER für eine Tabelle verwenden.

Parallelisierter Auftrag wird für selektive Überschreibungen ausgeführt

Selektive Überschreibungen mit replaceWhere führen jetzt Aufträge aus, die Daten löschen und neue Daten parallel einfügen, wodurch Abfrageleistung und Clusterauslastung verbessert werden.

Verbesserte Leistung für Änderungsdatenfeeds mit selektiven Überschreibungen

Selektive Überschreibungen mithilfe von replaceWhere in Tabellen mit Änderungsdatenfeed erzeugen keine separaten Änderungsdateien mehr für eingefügte Daten. Diese Vorgänge verwenden eine ausgeblendete _change_type-Spalte, die in den zugrunde liegenden Parquet-Datendateien vorhanden ist, um Änderungen ohne Schreibverstärkung aufzuzeichnen.

Verbesserte Abfragelatenz für den COPY INTO-Befehl

Diese Version enthält eine Änderung, die die Abfragelatenz für den COPY INTO-Befehl verbessert. Diese Verbesserung wird implementiert, indem das Laden des Zustands im RocksDB-Zustandsspeicher asynchron erfolgt. Dank dieser Änderung sollten Sie eine Verbesserung der Startzeiten für Abfragen mit umfangreichen Statusinformationen feststellen, wie Abfragen mit einer großen Anzahl bereits erfasster Dateien.

Unterstützung für das Löschen der Funktion zum Überprüfen von Einschränkungen in Tabellen

Sie können jetzt das checkConstraints-Tabellenfeature aus einer Delta-Tabelle mithilfe von ALTER TABLE table_name DROP FEATURE checkConstraints entfernen. Weitere Informationen finden Sie unter Deaktivieren von Überprüfungseinschränkungen.

Dedizierte Rechenleistung (vormals Einzelbenutzer-Compute) unterstützt differenzierte Zugriffssteuerung, materialisierte Ansichten und Streamingtabellen (Öffentliche Vorschau)

Wenn ein Arbeitsbereich für serverloses Computing aktiviert ist, fügt Databricks Runtime 15.4 LTS Unterstützung für eine differenzierte Zugriffssteuerung für dediziertes Computing hinzu. Wenn eine Abfrage auf eines der folgenden Objekte zugreift, übergibt die dedizierte Computeressource auf Databricks Runtime 15.4 LTS die Abfrage an den serverlosen Compute, um die Datenfilterung auszuführen:

• Ansichten, die über Tabellen definiert sind, für die der Benutzer nicht über die SELECT Berechtigungen verfügt.
• Dynamische Ansichten.
• Tabellen mit angewendeten Zeilenfiltern oder Spaltenmasken.
• Materialisierte Ansichten und Streamingtabellen.

Diese Abfragen werden für dedizierte Rechenressourcen, die mit Databricks Runtime 15.3 und darunter ausgeführt werden, nicht unterstützt.

Weitere Informationen finden Sie unter Feingranulare Zugriffssteuerung auf dedizierte Rechenleistung.

Erweiterte Unterstützung für Java- und Scala-Bibliotheken

Ab Databricks Runtime 15.4 LTS sind alle Java- und Scala-Bibliotheken, die mit Databricks Runtime gebündelt sind, in allen Computezugriffsmodi verfügbar, wenn Sie Unity-Katalog verwenden. Weitere Informationen zur Sprachunterstützung für Unity Catalog-fähige Compute finden Sie unter Standard compute requirements and limitations.

Erweiterte Unterstützung für Scala-Datasetvorgänge

Mit dieser Version unterstützen Unity Catalog-fähige Computeressourcen, die den Standardzugriffsmodus verwenden, die folgenden Scala-Dataset-Vorgänge unterstützen: map, mapPartitions, foreachPartition, flatMap, reduce und filter.

Scala ist für standardmäßige Unity Catalog-fähige Computeressourcen allgemein verfügbar

Mit dieser Version ist Scala allgemein verfügbar im Standardzugriffsmodus für Berechnungen mit Unity Catalog-Unterstützung, einschließlich Unterstützung für skalare benutzerdefinierte Funktionen (UDFs). Strukturiertes Streaming, Hive-UDFs und benutzerdefinierte Hive-Aggregatfunktionen werden nicht unterstützt. Eine vollständige Liste der Einschränkungen finden Sie unter Standard compute requirements and limitations.

Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mithilfe von Dienstanmeldeinformationen (Öffentliche Vorschau)

Dienstanmeldeinformationen ermöglichen die einfache und sichere Authentifizierung mit den Diensten Ihres Cloudmandanten mithilfe von Azure Managed Identities (MI) und Unity Catalog. Siehe Erstellen von Dienstanmeldeinformationen.

Fehlerkorrekturen

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:
  • azure-core von 1.30.1 auf 1.30.2
  • google-auth von 2.29.0 auf 2.31.0
  • google-cloud-storage von 2.16.0 auf 2.17.0
  • google-resumable-media von 2.7.0 auf 2.7.1
  • googleapis-common-protos von 1.63.0 auf 1.63.2
  • mlflow-skinny von 2.11.3 auf 2.11.4
  • proto-plus von 1.23.0 auf 1.24.0
  • s3transfer von 0.10.1 auf 0.10.2
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • com.databricks.databricks-sdk-java von 0.17.1 auf 0.27.0
  • com.ibm.icu.icu4j von 72.1 auf 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider von 1.6.1-linux-x86_64 auf 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 15.3 (EoS)enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Gruppieren von Ausdrücken in skalaren Unterabfragen zulassen, wenn sie an äußere Zeilen gebunden sind
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Deaktivieren der Varianteneingabe/-ausgabe für skalare Python-UDFs (benutzerdefinierte Funktionen), -UDTFs (benutzerdefinierte Tabellenfunktionen) und -UDAFs (benutzerdefinierte Aggregatfunktionen) während der Abfragekompilierung
• [SPARK-48441] [SC-170980][sql][WARMFIX] Korrektur des StringTrim-Verhaltens für Nicht-UTF8_BINARY-Sortierungen
• [SPARK-48440] [SC-170895][sql][WARMFIX] Korrektur des StringTranslate-Verhaltens für Nicht-UTF8_BINARY-Sortierungen
• [SPARK-48872] [SC-170866][python] Reduktion des Mehraufwands für _capture_call_site
• [SPARK-48862] [SC-170845][python][CONNECT] Vermeiden Sie das Aufrufen _proto_to_string , wenn die INFO-Ebene nicht aktiviert ist.
• [SPARK-48852] [SC-170837][connect] Korrektur der Funktion zur Zeichenfolgenkürzung in Spark Connect
• [SPARK-48791] [SC-170658][core] Behebung der Leistungsregression, die durch den Akkumulatorenregistrierungsaufwand mithilfe von CopyOnWriteArrayList verursacht wurde.
• [SPARK-48118] [SQL] Unterstützung von SPARK_SQL_LEGACY_CREATE_HIVE_TABLE Umgebungsvariablen
• [SPARK-48241] [SC-165811][sql] CSV-Analysefehler mit Spalten vom Typ Char/Varchar
• [SPARK-48168] [SC-166900][sql] Unterstützung für bitweise Verschiebungsoperatoren hinzufügen
• [SPARK-48148] [SC-165630][core] JSON-Objekte sollten beim Lesen als STRING nicht geändert werden
• [SPARK-46625] [SC-170561] CTE mit Identifier-Klausel als Referenz
• [SPARK-48771] [SC-170546][sql] Beschleunigung von LogicalPlanIntegrity.validateExprIdUniqueness für große Abfragepläne
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Herstellen der Kompatibilität des Standardspaltennamens von cast mit Spark Classic
• [SPARK-48623] [SC-170544][core] Strukturierte Protokollierungsmigrationen [Teil 2]
• [SPARK-48296] [SC-166138][sql] Codegen-Unterstützung für to_xml
• [SPARK-48027] [SC-165154][sql] Überprüfung des untergeordneten Verknüpfungstyps durch InjectRuntimeFilter für Verknüpfungen mit mehreren Ebenen
• [SPARK-48686] [SC-170365][sql] Verbessern der Leistung von ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][python] Einführung von spark.profile.render für SparkSession-basierte Profilerstellung
• [SPARK-48048] [SC-169099] Rückgängigmachen von „[SC-164846][connect][SS] Unterstützung für clientseitige Listener für Scala hinzugefügt“
• [SPARK-47910] [SC-168929][core] Schließen des Datenstroms, wenn DiskBlockObjectWriter closeResources geschlossen wird, um Speicherverluste zu vermeiden
• [SPARK-48816] [SC-170547][sql] Shorthand für Intervallkonverter in UnivocityParser
• [SPARK-48589] [SC-170132][sql][SS] Hinzufügen von Option snapshotStartBatchId und snapshotPartitionId zum Zustand der Datenquelle
• [SPARK-48280] [SC-170293][sql] Verbesserung der Oberfläche für Sortierungstests durch Durchlaufen von Ausdrücken (Expression Walking)
• [SPARK-48837] [SC-170540][ml] Einmaliges Lesen von binären Parametern pro Transformation (nicht pro Zeile) in CountVectorizer
• [SPARK-48803] [SC-170541][SQL] Auslösen eines internen Fehlers in Orc(De)Serializer zur Ausrichtung an ParquetWriteSupport
• [SPARK-48764] [SC-170129][python] Herausfiltern von IPython-bezogenen Frames aus dem Stack des Benutzers
• [SPARK-48818] [SC-170414][python] Vereinfachung von percentile-Funktionen
• [SPARK-48479] [SC-169079][sql] Unterstützung beim Erstellen von Skalar- und Tabellen-SQL-UDFs im Parser
• [SPARK-48697] [SC-170122][lc-4703][SQL] Hinzufügung von Zeichenfolgenfiltern mit Unterstützung für die Sortierung
• [SPARK-48800] [SC-170409][connect][SS] Vereinzelung von ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][sql] Richtig seit der Version für den integrierten Funktionsalias random, position, mod, cardinality, current_schema, user, session_user, char_length, character_length
• [SPARK-48638] [ SC-169575][connect] Hinzufügen der ExecutionInfo-Unterstützung für DataFrame
• [SPARK-48064] [SC-164697][sql] Aktualisieren von Fehlermeldungen für routinebezogene Fehlerklassen
• [SPARK-48810] [CONNECT] Die Session Stop()-API sollte idempotent sein und nicht fehlschlagen, wenn die Sitzung bereits vom Server geschlossen wurde
• [SPARK-48650] [15.x][python] Anzeigen der richtigen Anrufwebsite aus dem IPython-Notizbuch
• [SPARK-48271] [SC-166076][sql] Änderung des Übereinstimmungsfehlers in RowEncoder in UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][sql] Behebung eines Konflikts bei der Auflösung des varchar-Typs für DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] Korrektur der Regression für INSERT mit teilweiser Spaltenliste in einer Tabelle mit char/varchar
• [SPARK-48767] [SC-170330][sql] Beheben einiger Fehleraufforderungen, wenn variant Typdaten ungültig sind
• [SPARK-48719] [SC-170339][sql] Beheben Des Berechnungsfehlers von RegrSlope & RegrIntercept wenn der erste Parameter null ist
• [SPARK-48815] [SC-170334][connect] Umgebung aktualisieren beim Stoppen der Verbindungssitzung
• [SPARK-48646] [SC-169020][python] Optimierung der Hinweise für Dokumentzeichenfolgen (docstring) und Typen in der Python-Datenquellen-API
• [SPARK-48806] [SC-170310][sql] Gibt die tatsächliche Ausnahme an, wenn url_decode fehlschlägt.
• [SPARK-47777] [SC-168818] Fehlerbehebung beim Test der Verbindung für Python-Streaming-Datenquellen
• [SPARK-48732] [SC-169793][sql] Bereinigung der Verwendung veralteter APIs im Zusammenhang mit JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][sql] Korrektur der Zwischenspeicherung von Tabellen mit sortierter Spalte
• [SPARK-48623] [SC-169034][core] Strukturierte Protokollierungsmigrationen
• [SPARK-48655] [SC-169542][sql] SPJ: Hinzufügung von Tests zum zufälligen Überspringen von Aggregatabfragen
• [SPARK-48586] [SC-169808][ss] Entfernung des Sperrenabrufs in doMaintenance() durch Erstellen einer tiefen Kopie von Dateizuordnungen in RocksDBFileManager in load()
• [SPARK-48799] [Backport][15.x][SC-170283][ss] Umgestaltung der Versionsverwaltung für den Lese-/Schreibzugriff auf Operatormetadaten und Aufrufer
• [SPARK-48808] [SC-170309][sql] Korrektur von NPE, wenn ThriftServer über Hive 1.2.1 verbunden wird und das Ergebnisschema leer ist
• [SPARK-48715] [SC-170291][sql] Integration der UTF8String-Validierung in die Implementierungen von kollationsbewussten Zeichenfolgenfunktionen
• [SPARK-48747] [SC-170120][sql] Hinzufügen eines Codepunkt-Iterators zu UTF8String
• [SPARK-48748] [SC-170115][sql] Zwischenspeicherung von numChars in UTF8String
• [SPARK-48744] [SC-169817][Core] Protokolleintrag sollte nur einmal erstellt werden
• [SPARK-46122] [SC-164313][sql] spark.sql.legacy.createHiveTableByDefault standardmäßig auf false setzen
• [SPARK-48765] [SC-170119][deploy] Verbessern der Standardwerteauswertung für SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][sql] Hinzufügung eines Migrationsdokuments für CREATE TABLE AS SELECT-Verhaltensänderung seit Spark 3.4
• [SPARK-48598] [SC-169484][python][CONNECT] Verteilen des zwischengespeicherten Schemas in Datenframevorgängen
• [SPARK-48766] [SC-170126][python] Dokumentieren Sie den Verhaltensunterschied zwischen extractionelement_at und try_element_at
• [SPARK-48768] [ SC-170124][python][CONNECT] Sollte nicht zwischengespeichert werden explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] Änderung zum einmaligen Lesen von Operatormetadaten auf dem Treiber, um nach Informationen zu numColsPrefixKey zu suchen, die für Sitzungsfenster-Aggregatabfragen verwendet werden
• [SPARK-48656] [SC-169529][core] Ausführen einer Längenüberprüfung und Auslösen des COLLECTION_SIZE_LIMIT_EXCEEDED-Fehlers in CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][sql] Einführung einer Markierung für die isStreaming-Eigenschaft in der Textdarstellung des logischen Plans
• [SPARK-48472] [SC-169044][sql] Aktivierung von Reflexionsausdrücken mit sortierten Zeichenfolgen
• [SPARK-48699] [SC-169597][sql] Verfeinerung der Sortierungs-API
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] Verwendung von ICU im InitCap-Ausdruck für UTF8_BINARY-Zeichenfolgen
• [SPARK-48282] [SC-169813][sql] Änderung der Zeichenfolgensuchlogik für UTF8_BINARY_LCASE-Sortierung (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][sql] Aktivierung der Sortierungsunterstützung für den Mode-Ausdruck
• [SPARK-48320] [SPARK-48490] Synchronisierung des neuesten Protokollierungstraits und der Testfälle von OSS Spark
• [SPARK-48629] [SC-169479] Migrieren des Restcodes zum strukturierten Protokollierungsframework
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] Verwendung von ICU in Lower/Upper-Ausdrücken für UTF8_BINARY-Zeichenfolgen
• [SPARK-48573] [15.x][sc-169582][SQL] Aktualisierung der ICU-Version
• [SPARK-48687] [Backport] [15.x] [SS] Hinzufügen einer Änderung zum Ausführen der Zustandsschemaüberprüfung und Aktualisierung des Treibers für zustandsbehaftete Abfragen
• [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48008] [SC-167363] [1/2] Unterstützung von UDAFs in Spark Connect
• [SPARK-48578] [SC-169505][sql] Funktionen zur Überprüfung von UTF8-Strings hinzufügen
• [SPARK-48670] [SC-169598][sql] Bereitstellen eines Vorschlags als Teil der Fehlermeldung, wenn ungültiger Sortiername angegeben wird
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... … RK-48291] Strukturiertes Protokollframework auf der Java-Seite
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: Migrieren von LogWarn mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48706] [SC-169589][python] Python-UDF in höheren Ordnungsfunktionen sollte keinen internen Fehler auslösen
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] Zeichenauffüllung in Prädikaten in allen Fällen (immer)
• [SPARK-48662] [SC-169533][sql] Korrektur des StructsToXml-Ausdrucks mit Sortierungen
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates und dropDuplicatesWIthinWatermark sollten Variable Längenargumente akzeptieren
• [SPARK-48678] [SC-169463][Kern] Leistungsoptimierungen für SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Umbenennen von UTF8_BINARY_LCASE in UTF8_LCASE
• [SPARK-47927] [SC-164123][sql]: Korrigiere die Nullbarkeitsattribut im UDF-Dekoder
• [SPARK-47579] [SC-165297][core][PART1] Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework (neu)
• [SPARK-48695] [ SC-169473][python] TimestampNTZType.fromInternal verwenden nicht die veralteten Methoden.
• [SPARK-48431] [SC-167290][lc-4066][SQL] Keine Weiterleitung von Prädikaten für sortierte Spalten an Dateileser
• [SPARK-47579] Rückgängigmachen von “[SC-165297][core][PART1] Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework”
• [SPARK-47585] [SC-164306][sql] SQL Core: Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48466] [SC-169042][sql] Erstellen eines dedizierten Knotens für EmptyRelation in AQE
• [SPARK-47579] [SC-165297][core][PART1] Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48410] [SC-168320][sql] Korrektur des InitCap-Ausdrucks für UTF8_BINARY_LCASE- und ICU-Sortierungen
• [SPARK-48318] [SC-167709][sql] Unterstützung für Hash-Join bei allen Kollationen (komplexe Typen) aktivieren.
• [SPARK-48435] [ SC-168128][sql] UNICODE-Sortierung sollte keine binäre Gleichheit unterstützen
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] Unterstützung mithilfe von Spalten als Parameter für mehrere Funktionen in pyspark/scala
• [SPARK-48591] [ SC-169081][python] Hinzufügen einer Hilfsfunktion zur Vereinfachung Column.py
• [SPARK-48574] [SC-169043][sql] Korrektur der Unterstützung für StructTypes mit Sortierungen
• [SPARK-48305] [SC-166390][sql] Hinzufügen der Sortierunterstützung für CurrentLike-Ausdrücke
• [SPARK-48342] [ SC-168941][sql] Einführung in den SQL Scripting Parser
• [SPARK-48649] [SC-169024][sql] Fügen Sie "ignoreInvalidPartitionPaths" und "spark.sql.files.ignoreInvalidPartitionPaths"-Konfigurationen hinzu, damit ungültige Partitionspfade ignoriert werden können.
• [SPARK-48000] [SC-167194][sql] Unterstützung von Hash Joins für alle Zeichensatzkollationen aktivieren (StringType)
• [SPARK-48459] [SC-168947][connect][PYTHON] Implementieren von DataFrameQueryContext in Spark Connect
• [SPARK-48602] [SC-168692][sql] Erstellen eines CSV-Generators zur Unterstützung verschiedener Ausgabestile mit spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][sql] Ändern des Zeichenfolgenvergleichs für UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][sql] Umgestaltung: Verwenden einer Hilfs-idMap anstelle von OP_ID_TAG
• [SPARK-48634] [SC-169021][python][CONNECT] Statische Initialisierung des Threadpools bei ExecutePlanResponseReattachableIterator vermeiden
• [SPARK-47911] [SC-164658][sql] Führt einen universellen BinaryFormatter ein, um die binäre Ausgabe konsistent zu machen.
• [SPARK-48642] [SC-168889][core] Falscher SparkOutOfMemoryError, der durch Beenden einer Aufgabe beim Überlauf verursacht wurde
• [SPARK-48572] [SC-168844][sql] Fix DateSub-, DateAdd-, WindowTime-, TimeWindow- und SessionWindow-Ausdrücke
• [SPARK-48600] [SC-168841][sql] Korrektur der impliziten Umwandlung von FrameLessOffsetWindowFunction-Ausdrücken
• [SPARK-48644] [SC-168933][sql] Ausführen einer Längenüberprüfung und Auslösen des COLLECTION_SIZE_LIMIT_EXCEEDED-Fehlers in „Hex.hex“
• [SPARK-48587] [SC-168824][Variante] Vermeiden der Speicherverstärkung beim Zugriff auf eine Untervariante
• [SPARK-48647] [SC-168936][python][CONNECT] Verfeinern der Fehlermeldung für YearMonthIntervalType in df.collect
• [SPARK-48307] [SC-167802][sql] InlineCTE sollte nicht inlineierte Beziehungen im ursprünglichen WithCTE-Knoten beibehalten
• [SPARK-48596] [SC-168581][sql] Leistungsverbesserung für die Berechnung der Hexadezimalzeichenfolge für „long“
• [SPARK-48621] [SC-168726][sql] Korrektur der Like-Vereinfachung im Optimierer für sortierte Zeichenfolgen
• [SPARK-47148] [SC-164179][sql] Vermeidung der Materialisierung von AQE ExchangeQueryStageExec beim Abbruch
• [SPARK-48584] [SC-168579][sql] Leistungsverbesserung für unescapePathName
• [SPARK-48281] [SC-167260][sql] Ändern der Zeichenfolgensuchlogik für UTF8_BINARY_LCASE-Kollation (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][sql] Ersetzung ungültiger UTF-8-Byte-Sequenzen
• [SPARK-48595] [SC-168580][Core] Bereinigung veralteter API-Verwendung im Zusammenhang mit commons-compress
• [SPARK-48030] [SC-164303][sql] SPJ: Zwischenspeicherung von rowOrdering und structType für InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][sql] WriteFilesExecBase-Merkmal für v1-Schreibvorgang hinzufügen
• [SPARK-48551] [SC-168438][sql] Leistungsverbesserung für escapePathName
• [SPARK-48565] [SC-168437][ui] Behebung der Anzeige von Thread-Dumps in der Benutzeroberfläche
• [SPARK-48364] [SC-166782][sql] Hinzufügung der AbstractMapType-Typumwandlung und Korrektur der RaiseError-Parameterzuordnung zur Verwendung mit sortierten Zeichenfolgen
• [SPARK-48421] [ SC-168689][sql] SPJ: Dokumentation hinzufügen
• [SPARK-48604] [SC-168698][sql] Ersetzen Sie den veralteten Methodenaufruf new ArrowType.Decimal(precision, scale)
• [SPARK-46947] [SC-157561][core] Verzögern der Speicher-Manager-Initialisierung, bis das Treiber-Plug-In geladen wird
• [SPARK-48411] [SC-168576][ss][PYTHON] E2E-Test für DropDuplicateWithinWatermark hinzufügen
• [SPARK-48543] [SC-168697][ss] Nachverfolgen von Überprüfungsfehlern in Zustandszeilen mithilfe expliziter Fehlerklasse
• [SPARK-48221] [SC-167143][sql] Änderung der Suchlogik für Zeichenfolgen für die UTF8_BINARY_LCASE-Sortierung (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][sql] Hinzufügen der Sortierunterstützung für Levenshtein-Ausdruck
• [SPARK-48593] [SC-168719][python][CONNECT] Korrektur der Zeichenfolgendarstellung einer Lambda-Funktion
• [SPARK-48622] [SC-168710][sql] beim Auflösen von Spaltennamen einmal SQLConf abrufen
• [SPARK-48594] [SC-168685][python][CONNECT] Feld umbenennen parent in childColumnAlias
• [SPARK-48403] [SC-168319][sql] Korrektur von Lower- und Upper-Ausdrücken für UTF8_BINARY_LCASE- und ICU-Sortierungen
• [SPARK-48162] [SC-166062][sql] Hinzufügen der Sortierunterstützung für MISC-Ausdrücke
• [SPARK-48518] [ SC-167718][core] Sorgen Sie dafür, dass LZF-Komprimierung parallel ausgeführt werden kann
• [SPARK-48474] [SC-167447][core] Korrektur des Klassennamens der Anmeldung in SparkSubmitArguments und SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ: Unterstützung für Transfrom-Ausdrücke für die einseitige zufällige Wiedergabe
• [SPARK-48552] [SC-168212][sql] Mehrzeilige CSV-Schemainferenz sollte auch den Fehler FAILED_READ_FILE ausgeben
• [SPARK-48560] [SC-168268][ss][PYTHON] StreamingQueryListener.spark konfigurierbar machen
• [SPARK-48569] [SC-168321][ss][CONNECT] Behandlung von Grenzfällen in query.name
• [SPARK-47260] [SC-167323][sql] Zuweisen des Namens zur Fehlerklasse _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [ SC-168327][python][CONNECT] Zwischengespeichertes Schema in Set-Operationen weitergeben
• [SPARK-48155] [SC-165910][sql] Überprüfung durch AQEPropagateEmptyRelation für „join“, ob das verbleibende untergeordnete Element nur BroadcastQueryStageExec ist
• [SPARK-48506] [SC-167720][core] Kurznamen des Komprimierungscodecs sind nicht case-sensitiv, mit Ausnahme der Ereignisprotokollierung.
• [SPARK-48447] [SC-167607][ss] Überprüfen der Anbieterklasse des Statusspeichers vor dem Aufrufen des Konstruktors
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff und DateTimeUtils.timestampAdd sollten INTERNAL_ERROR Ausnahme nicht auslösen
• [SPARK-48513] [Backport][15.x][SC-168085][ss] Fügen Sie Fehlerklasse für die Zustandsschemakompatibilität und kleinere Umgestaltung hinzu.
• [SPARK-48413] [SC-167669][sql] ALTER COLUMN mit Sortierung
• [SPARK-48561] [SC-168250][ps][CONNECT] Auslösen von PandasNotImplementedError für nicht unterstützte Zeichnungsfunktionen
• [SPARK-48465] [SC-167531][sql] Vermeidung einer leeren Beziehungsverteilung ohne Vorgang (no-op)
• [SPARK-48553] [ SC-168166][python][CONNECT] Weitere Eigenschaften zwischenspeichern
• [SPARK-48540] [SC-168069][core] Vermeidung von Einstellungen für das Laden von Ivy-Ausgaben in StdOut
• [SPARK-48535] [SC-168057][ss] Aktualisierung der Konfigurationsdokumente, um auf die Möglichkeit von Datenverlust oder Datenbeschädigung hinzuweisen, wenn die Einstellung 'Nullwerte überspringen' für Stream-Stream-Verknüpfungen aktiviert ist.
• [SPARK-48536] [SC-168059][python][CONNECT] Benutzerdefiniertes Schema im Cache speichern in applyInPandas und applyInArrow
• [SPARK-47873] [SC-163473][sql] Schreiben von sortierten Zeichenfolgen in hive metastore mit dem regulären Zeichenfolgentyp
• [SPARK-48461] [SC-167442][sql] Ersetzung von NullPointerExceptions durch Fehlerklasse im AssertNotNull-Ausdruck
• [SPARK-47833] [SC-163191][sql][CORE] Bereitstellung einer Stapelüberwachung des Anrufers für checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][sql] Port HIVE-12270: Hinzufügen der DBTokenStore-Unterstützung zum HS2-Delegierungstoken
• [SPARK-47578] [SC-167497][r] Migrieren von RPackageUtils mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-47875] [ SC-162935][core] Entfernen spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][core] Festlegung von spark.hadoop.fs.s3a.connection.establish.timeout auf 30 Sekunden, wenn kein Timeout angegeben ist
• [SPARK-47972] [SC-167692][sql] Einschränkung des CAST-Ausdrucks für Sortierungen
• [SPARK-48430] [SC-167489][sql] Behebung der Werteextraktion von Karten, wenn die Karte collatierte Zeichenfolgen enthält
• [SPARK-47318] [SC-162712][core][3.5] Fügt HKDF-Runde zur AuthEngine-Schlüsselableitung hinzu, um Standard-KEX-Praktiken zu befolgen
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Korrektur ungültiger skalarer Unterabfragen mit „group-by“ für nicht gleichwertige Spalten, die falsch zulässig waren
• [SPARK-48508] [SC-167695][connect][PYTHON] Vom Benutzer angegebenes Schema zwischenspeichern in DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][windows] Behebung eines Fehlers in Windows, bei dem das Starten mehrerer Spark-Instanzen innerhalb derselben Sekunde zu einem Fehler führt.
• [SPARK-45891] [SC-167608] Zurücksetzen „Schredderschema für Variante beschreiben“
• [SPARK-48391] [SC-167554][core]Verwendung von "addAll" anstelle von "add"-Funktion in der Methode "fromAccumulatorInfos" der "TaskMetrics"-Klasse
• [SPARK-48496] [SC-167600][core] Verwenden statischer regex-Musterinstanzen in JavaUtils.timeStringAs und JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][sql] Korrektur der NPE-Fehlermeldung für CSV-Dateien mit dem Trennzeichen NULL
• [SPARK-48489] [SC-167598][sql] Auslösung einer besseren, benutzerorientierten Fehlermeldung, wenn ein ungültiges Schema aus einer Textdatenquelle gelesen wird
• [SPARK-48471] [SC-167324][Core] Verbesserung der Dokumentation und des Benutzerhandbuchs für Historienserver
• [SPARK-45891] [SC-167597] Beschreibung des Zerlegungsschemas für Variante
• [SPARK-47333] [SC-159043][sql] Verwenden Sie checkInputDataTypes, um die Parametertypen der Funktion zu überprüfen. to_xml
• [SPARK-47387] [SC-159310][sql] Entfernen Einiger nicht verwendeter Fehlerklassen
• [SPARK-48265] [ES-1131440][sql] Reduktion konstanter Ausdrücke bei InferWindowGroupLimit
• [SPARK-47716] [SC-167444][sql] Vermeiden von Ansichtsnamenkonflikten im semantischen Sortiertestfall in SQLQueryTestSuite
• [SPARK-48159] [SC-167141][sql] Erweitern der Unterstützung für sortierte Zeichenfolgen in Datetime-Ausdrücken
• [SPARK-48462] [SC-167271][sql][Tests] Verwendung mitSQLConf in Tests: Refactor HiveQuerySuite und HiveTableScanSuite
• [SPARK-48392] [SC-167195][core] Gleichzeitiges Laden von spark-defaults.conf, wenn --properties-file angegeben ist
• [SPARK-48468] [SC-167417] Hinzufügen der LogicalQueryStage-Schnittstelle im Katalysator
• [SPARK-47578] [SC-164988][core] Manueller Backport für Spark PR #46309: Migrieren der Protokollwarnung mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48415] [SC-167321] Rücknahme des "[PYTHON] Refactor TypeName zur Unterstützung von parametrisierten Datentypen"
• [SPARK-46544] [SC-151361][sql] Unterstützung von v2 DESCRIBE TABLE EXTENDED mit Tabellenstatistiken
• [SPARK-48325] [SC-166963][Core] Geben Sie immer Nachrichten in ExecutorRunner.killProcess an
• [SPARK-46841] [SC-167139][sql] Hinzufügung der Sortierunterstützung für ICU-Gebietsschemas und Sortierungsbezeichner
• [SPARK-47221] [SC-157870][sql] Verwendet Signaturen von CsvParser zu AbstractParser
• [SPARK-47246] [SC-158138][sql] Ersetzen von InternalRow.fromSeq durch new GenericInternalRow, um eine Sammlungskonvertierung zu sparen
• [SPARK-47597] [SC-163932][Streaming] Manueller Backport für Spark PR #46192: Streaming: Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-48415] [SC-167130][python] Umgestalten TypeName zur Unterstützung parametrisierter Datentypen
• [SPARK-48434] [SC-167132][python][CONNECT] Erzwingen der Verwendung des zwischengespeicherten Schemas durch printSchema
• [SPARK-48432] [ES-1097114][sql] Vermeiden des Entpackens von Ganzzahlen im UnivocityParser
• [SPARK-47463] [SC-162840][sql] Verwenden von V2Predicate zum Umbrechen von Ausdrücken mit Rückgabetyp vom Typ boolean
• [SPARK-47781] [SC-162293][sql] Behandlung negativer Skalenzahlen für JDBC-Datenquellen
• [SPARK-48394] [SC-166966][core] Bereinigung von mapIdToMapIndex bei „mapoutput unregister“
• [SPARK-47072] [SC-156933][sql] Korrigieren die unterstützten Intervallformate in Fehlermeldungen.
• [SPARK-47001] [SC-162487][sql] Pushdownüberprüfung im Optimierer
• [SPARK-48335] [SC-166387][python][CONNECT] Machen Sie _parse_datatype_string kompatibel mit Spark Connect
• [SPARK-48329] [SC-166518][sql] Standardmäßig aktivieren spark.sql.sources.v2.bucketing.pushPartValues.enabled
• [SPARK-48412] [SC-166898][python] Datentyp JSON-Parsing umstrukturieren
• [SPARK-48215] [SC-166781][sql] Erweiterte Unterstützung für kollatierte Zeichenfolgen im date_format-Ausdruck
• [SPARK-45009] [SC-166873][sql][FOLLOW UP] Hinzufügung einer Fehlerklasse und von Tests für die Dekorrelation von Prädikatunterabfragen in Join-Bedingungen, die auf beide untergeordnete Join-Elemente verweisen
• [SPARK-47960] [SC-165295][ss][15.x] Ermöglicht die Verkettung anderer zustandsbehafteter Operatoren nach dem transformWithState-Operator.
• [SPARK-48340] [SC-166468][python] Unterstützung für TimestampNTZ-Schemaableitung, wenn prefer_timestamp_ntz nicht angegeben ist
• [SPARK-48157] [SC-165902][sql] Hinzufügen der Sortierunterstützung für CSV-Ausdrücke
• [SPARK-48158] [SC-165652][sql] Hinzufügen der Sortierunterstützung für XML-Ausdrücke
• [SPARK-48160] [ SC-166064][sql] Hinzufügen der Sortierunterstützung für XPATH-Ausdrücke
• [SPARK-48229] [SC-165901][sql] Hinzufügen der Sortierunterstützung für inputFile-Ausdrücke
• [SPARK-48367] [SC-166487][connect] Korrigiere lint-scala für scalafmt, um Dateien korrekt zu erkennen und zu formatieren.
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] Umgestalten der Struktur für den DataFrame-Fehlerkontext
• [SPARK-48370] [SC-166787][connect] „Checkpoint“ und localCheckpoint im Scala Spark Connect-Client
• [SPARK-48247] [ SC-166028][python] Verwenden aller Werte in einem Dikt beim Ableiten des MapType-Schemas
• [SPARK-48395] [SC-166794][python] Fix StructType.treeString für parametrisierte Typen
• [SPARK-48393] [ SC-166784][python] Verschieben einer Gruppe von Konstanten in pyspark.util
• [SPARK-48372] [ SC-166776][spark-45716][PYTHON] Implementieren StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] „Checkpoint“ und localCheckpoint in Spark Connect

Weitere Informationen finden Sie unter Wartungsupdates von Databricks Runtime 15.4 LTS.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.4 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die DBR-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu 8.78.0.19-CA-linux64
• Skala: 2.12.15
• Python: 3.11.11
• R: 4.3.2
• Delta Lake: 3.2.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 05.02.2024 installiert: https://packagemanager.posit.co/cran/2024-02-05/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)