Databricks Runtime 14.3 LTS

Die folgenden Versionshinweise enthalten Informationen zur Databricks Runtime-Version 14.3 LTS, die von Apache Spark 3.5.0 unterstützt wird.

Diese Version wurde von Databricks im Februar 2024 veröffentlicht.

Neue Features und Verbesserungen

• Workspace-Dateisystemunterstützung in PySpark User-Defined Funktionen (UDFs) auf Clustern im Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus)
• Unterstützung für MERGE-Optimierungen für Löschvektoren ohne Photon
• Spark-Katalog-APIs werden jetzt vollständig im Standardzugriffsmodus unterstützt
• Delta UniForm ist jetzt allgemein verfügbar.
• Neue SQL-Funktion EXECUTE IMMEDIATE
• Neuberechnen von Statistiken mit Überspringen von Daten für Delta-Tabellen
• Abfragen von Statusinformationen für zustandsbehaftete Streamingabfragen
• Verwenden der Microsoft Entra-ID für die Kafka-Authentifizierung auf Standardclustern
• Unterstützung für die Datei- und Partitionsbereinigung zum Verbessern der Abfrageleistung hinzugefügt
• Deklarieren temporärer Variablen in einer SQL-Sitzung
• Thrift-Serverupdates zum Entfernen nicht verwendeter Features
• Verwenden Sie Truststore- und Keystore-Dateien in Unity-Katalog-Volumes
• Unterstützung für native XML-Dateiformate (Public Preview)
• Unterstützung für den Cloudflare R2-Speicher (Public Preview)
• Spark- und dbutils-Zugriff auf Arbeitsbereichsdateien unterstützen standardzugriffsbasierte Unity-Katalogcluster
• Unterstützung von Init-Skripts und Clusterbibliotheken für Standardzugriffs-Unity-Katalogcluster

Unterstützung des Arbeitsbereichsdateisystems in PySpark User-Defined Functions (UDFs) in Standardzugriffsmodusclustern (früher freigegebener Zugriffsmodus)

PySpark UDFs auf Standardclustern können jetzt Python-Module aus Git-Ordnern, Arbeitsbereichsdateienoder UC Volumesimportieren.

Weitere Informationen zum Verwenden von Modulen in Git-Ordnern oder Arbeitsbereichsdateien finden Sie unter Arbeiten mit Python- und R-Modulen.

Unterstützung für MERGE-Optimierungen für Löschvektoren ohne Photon

Photon ist für MERGE-Vorgänge nicht mehr erforderlich, um Löschvektoroptimierungen zu nutzen. Weitere Informationen finden Sie unter Was sind Löschvektoren?.

Spark-Katalog-APIs werden jetzt vollständig im Standardzugriffsmodus unterstützt

Sie können jetzt alle Funktionen in der spark.catalog-API sowohl in Python als auch scala auf compute verwenden, die mit standardzugriffsmodus konfiguriert ist.

Delta UniForm ist jetzt allgemein verfügbar.

UniForm ist jetzt allgemein verfügbar und verwendet die Tabellenfunktion IcebergCompatV2. Sie können UniForm jetzt für vorhandene Tabellen aktivieren oder aktualisieren. Siehe Lesen von Delta-Tabellen mit Iceberg-Clients.

Neue SQL-Funktion EXECUTE IMMEDIATE

Sie können jetzt die EXECUTE IMMEDIATE-Syntax verwenden, um parametrisierte Abfragen in SQL zu unterstützen. Siehe EXECUTE IMMEDIATE.

Neuberechnen von Statistiken mit Überspringen von Daten für Delta-Tabellen

Sie können Statistiken, die im Delta-Protokoll gespeichert sind, jetzt neu berechnen, nachdem Sie zum Überspringen von Daten verwendete Spalten geändert haben. Weitere Informationen finden Sie unter Angeben von Delta-Statistikspalten.

Abfragen von Statusinformationen für zustandsbehaftete Streamingabfragen

Sie können jetzt Daten und Metadaten zu strukturierten Streamingstatus abfragen. Weitere Informationen finden Sie unter Lesen von strukturierten Streamingstatusinformationen.

Verwenden der Microsoft Entra-ID für die Kafka-Authentifizierung auf Standardclustern

Sie können jetzt Event Hubs-Dienste über OAuth mit Microsoft Entra ID auf der Rechenumgebung authentifizieren, die im Standardzugriffsmodus konfiguriert ist. Weitre Informationen finden Sie unter Dienstprinzipal-Authentifizierung mit Microsoft Entra ID und Azure Event Hubs.

Unterstützung für die Datei- und Partitionsbereinigung zum Verbessern der Abfrageleistung hinzugefügt

Um einige Abfragen zu beschleunigen, die in JOIN-Bedingungen Gleichheit mit Nulltoleranz erfordern, werden jetzt DynamicFilePruning und DynamicPartitionPruning für den EqualNullSafe-Operator in JOINs unterstützt.

Deklarieren temporärer Variablen in einer SQL-Sitzung

In dieser Version wird die Möglichkeit eingeführt, temporäre Variablen in einer Sitzung zu deklarieren, die innerhalb von Abfragen festgelegt und dann darauf verwiesen werden kann. Siehe Variablen.

Thrift-Serverupdates zum Entfernen nicht verwendeter Features

Der Thrift-Servercode wurde aktualisiert, um Code für veraltete Features zu entfernen. Aufgrund dieser Änderungen werden die folgenden Konfigurationen nicht mehr unterstützt:

• Die Hive-Zusatz-JARs, die mit der hive.aux.jars.path-Eigenschaft konfiguriert sind, werden für hive-thriftserver-Verbindungen nicht mehr unterstützt.
• Die globale Hive-init-Datei (.hiverc), deren Speicherort mit der Eigenschaft hive.server2.global.init.file.location oder der Umgebungsvariable HIVE_CONF_DIR konfiguriert wird, wird für hive-thriftserver-Verbindungen nicht mehr unterstützt.

Verwenden von Truststore- und Keystoredateien in Unity-Katalogvolumes

Sie können nun Truststore- und Keystoredateien in Unity-Katalogvolumes verwenden, um sich bei einer Confluent Schema Registry für Avro- oder Protokollpufferdaten zu authentifizieren. Weitere Informationen finden Sie in der Dokumentation zu Avro- oder Protokollpuffern.

Unterstützung für native XML-Dateiformate (Public Preview)

Native XML-Dateiformatunterstützung befindet sich jetzt in der Public Preview. Die XML-Dateiformatunterstützung ermöglicht das Aufnehmen, Abfragen und Analysieren von XML-Daten für die Batchverarbeitung oder das Streaming. Sie kann Schema- und Datentypen automatisch ableiten und entwickeln, SQL-Ausdrücke wie from_xml unterstützen und XML-Dokumente generieren. Es erfordert keine externen JAR-Dateien und arbeitet nahtlos mit Auto Loader, read_files, COPY INTO und DLT. Weitere Informationen unter Lesen und Schreiben von XML-Dateien.

Unterstützung für den Cloudflare R2-Speicher (Public Preview)

Sie können Cloudflare R2 jetzt als Cloudspeicher für Daten verwenden, die in Unity Catalog registriert sind. Cloudflare R2 ist in erster Linie für Delta Sharing-Anwendungsfälle vorgesehen, in denen Sie die von Cloudanbietern berechneten Datenausgangsgebühren vermeiden möchten, wenn Daten regionsübergreifend übermittelt werden. R2-Speicher unterstützt alle Databricks-Daten und KI-Ressourcen, die in AWS S3, Azure Data Lake Storage und Google Cloud Storage unterstützt werden. Weitere Informationen finden Sie unter Verwenden von Cloudflare R2-Replikaten oder Migrieren von Speicher zu R2 und Erstellen von Speicheranmeldeinformationen zum Herstellen einer Verbindung mit Cloudflare R2.

Spark- und dbutils-Zugriff auf Arbeitsbereichsdateien unterstützen standardzugriffsbasierte Unity-Katalogcluster

Spark- und Lese- und dbutils Schreibzugriff auf Arbeitsbereichsdateien wird jetzt in Unity-Katalogclustern im Standardzugriffsmodusunterstützt. Weitere Informationen finden Sie unter Arbeiten mit Arbeitsbereichsdateien.

Unterstützung von Init-Skripten und Clusterbibliotheken auf Unity-Katalog-Clustern mit Standardzugriff

Die Installation von cluster-übergreifenden Init-Skripts und Python- und JAR-Bibliotheken in Unity-Katalogclustern im Standardzugriffsmodus, einschließlich der Installation mit Clusterrichtlinien, ist jetzt allgemein verfügbar. Databricks empfiehlt, init-Skripts und -Bibliotheken aus Unity Catalog-Volumes zu installieren.

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • „fastjsonschema“ von 2.19.0 auf 2.19.1
  • „filelock“ von 3.12.4 auf 3.13.1
  • „googleapis-common-protos“ von 1.61.0 auf 1.62.0
  • „packaging“ von 22.0 auf 23.2
• Aktualisierte R-Bibliotheken:
  • „foreign“ von 0.8-82 auf 0.8-85
  • „nlme“ von 3.1-162 auf 3.1-163
  • „rpart“ von 4.1.19 auf 4.1.21
• Aktualisierte Java-Bibliotheken:
  • „com.databricks.databricks-sdk-java“ von 0.7.0 auf 0.13.0
  • „org.apache.orc.orc-core“ von „1.9.1-shaded-protobuf“ auf „1.9.2-shaded-protobuf“
  • „org.apache.orc.orc-mapreduce“ von „1.9.1-shaded-protobuf“ auf „1.9.2-shaded-protobuf“
  • „org.apache.orc.orc-shims“ von 1.9.1 auf 1.9.2
  • „org.scala-lang.modules.scala-collection-compat_2.12“ von 2.9.0 auf 2.11.0

Apache Spark

Databricks Runtime 14.3 umfasst Apache Spark 3.5.0. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 14.2 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-46541] [SC-153546][sql][CONNECT] Korrektur des mehrdeutigen Spaltenverweises in Self-Joins
• [SPARK-45433] Wiederherstellung von „[SC-145163][sql] Fix von CSV/JSON Schema-Inferenz…
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] addArtifact wiederholbar machen
• [SPARK-46660] [SC-153391][connect] Aktualisierung des Aktivitätsstatus von SessionHolder durch ReattachExecute-Anforderungen
• [SPARK-46670] [SC-153273][python][SQL] Machen Sie DataSourceManager selbst klonend, indem statische und Laufzeit-Python-Datenquellen getrennt werden
• [SPARK-46720] [SC-153410][sql][PYTHON] Umgestalten der Python-Datenquelle zur Ausrichtung an anderen integrierten DSv2-Datenquellen
• [SPARK-46684] [SC-153275][python][CONNECT] Fix CoGroup.applyInPandas/Arrow, um Argumente ordnungsgemäß zu übergeben
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Auslösen eines Fehlers für mehrere XML-Datenquellen
• [SPARK-46382] [SC-151881][sql]XML: Festlegung des Standardwerts von ignoreSurroundingSpaces auf „true“
• [SPARK-46382] [SC-153178][sql] XML: Dokument für ignoreSurroundingSpaces aktualisieren
• [SPARK-45292] Wiederherstellung von „[SC-151609][sql][HIVE] Entfernen von Guava aus freigegebenen Klassen in IsolatedClientLoader“
• [SPARK-45292] [SC-151609][sql][HIVE] Guava aus freigegebenen Klassen im IsolatedClientLoader entfernen
• [SPARK-46311] [SC-150137][core] Protokollierung des endgültigen Zustands von Treibern während Master.removeDriver
• [SPARK-46413] [SC-151052][python] Überprüfung des returnType der benutzerdefinierten Arrow-Python-Funktion (User-Defined Function, UDF)
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Korrigieren des Avro-Readers zur Behandlung von Blöcken mit Nulllänge
• [SPARK-46537] [SC-151286][sql] Konvertierung von NPEs (NullPointerException) und Asserts aus Befehlen in interne Fehler
• [SPARK-46179] [SC-151678][sql] Hinzufügung von CrossDbmsQueryTestSuites, wodurch ab Postgres andere Datenbank-Managementsysteme (DMBS) für goldene Dateien mit anderen DMBS ausgeführt werden
• [SPARK-44001] [SC-151413][protobuf] Hinzufügung einer Option zum Zulassen des Entpackens von bekannten protobuf-Wrappertypen
• [SPARK-40876] [SC-151786][sql] Ausweitung der Typerweiterung für größere Dezimalzahlen in Parquet-Readern
• [SPARK-46605] [SC-151769][connect] Sicherstellung der Funktionalität von lit/typedLit in der Unterstützung für das Connect-Modul s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] Die Literalüberprüfung darf nicht zu NULL-Feldern vertiefen.
• [SPARK-37039] [SC-153094][ps] Korrektur von Series.astype zur ordnungsgemäßen Funktion mit dem fehlenden Wert
• [SPARK-46312] [SC-150163][core] Verwende lower_camel_case in store_types.proto
• [SPARK-46630] [SC-153084][sql] XML: Überprüfen des XML-Elementnamens beim Schreiben
• [SPARK-46627] [SC-152981][ss][UI] Korrektur von QuickInfo-Inhalten der Zeitachse in der Streamingbenutzeroberfläche
• [SPARK-46248] [SC-151774][sql] XML: Unterstützung für ignoreCorruptFiles und ignoreMissingFiles-Optionen
• [SPARK-46386] [SC-150766][python] Verbessern der Beobachtungsbehauptungen (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Updatekommentar zu isZero in AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Korrektur des Protokollfehlers in handleStatusMessage
• [SPARK-46568] [SC-151685][python] Festlegung von Python-Datenquellenoptionen als Wörterbuch ohne Beachtung der Groß-/Kleinschreibung
• [SPARK-46611] [SC-151783][core] Entfernen Von ThreadLocal durch Ersetzen von SimpleDateFormat durch DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Hinzufügung der Unterstützung von Literal.apply durch s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Korrigieren Sie den Ausgabenamen von pyspark.sql.functions.user und session_user
• [SPARK-46621] [SC-151794][python] Behandlung von NULL-Werten von Exception.getMessage in der abgefangenen Py4J-Ausnahme
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader sollte beim Erstellen von Spaltenvektoren für die fehlende Spalte den Speichermodus berücksichtigen.
• [SPARK-46613] [SC-151778][SQL][python] Ausnahme „Protokoll voll“, wenn die Suche in Python-Datenquellen fehlschlägt
• [SPARK-46559] [SC-151364][mllib] Umschließung von export im Paketnamen mit umgekehrten Schrägstrichen
• [SPARK-46522] [SC-151784][python] Blockieren der Python-Datenquellenregistrierung mit Namenskonflikten
• [SPARK-45580] [SC-149956][sql] Behandlung von Fällen, in denen eine geschachtelte Unterabfrage zu einem Existenz-Join wird
• [SPARK-46609] [SC-151714][sql] Vermeidung einer exponentiellen Zunahme (Explosion) in PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][sql] Korrektur von NPEs, wenn eine Spalte ohne Spaltenstatistiken durch „describe“ erweitert wurde
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Verwenden Sie TypeCoercion.findTightestCommonType für die Kompatibilitätsprüfung
• [SPARK-40876] [SC-151129][sql] Ausweitung der Typerweiterungen in Parquet-Readern
• [SPARK-46179] [SC-151069][sql] Abrufen von Code in wiederverwendbare Funktionen in SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Unterstützen s.c.immutable.ArraySeq als customCollectionCls in MapObjects
• [SPARK-46585] [SC-151622][core] Direkte Erstellung von metricPeaks als immutable.ArraySeq anstelle der Verwendung von mutable.ArraySeq.toSeq in Executor
• [SPARK-46488] [SC-151173][sql] Überspringen des TrimAll-Aufrufs während der Zeitstempelanalyse
• [SPARK-46231] [SC-149724][python] Migration aller verbleibenden Fehler vom Typ NotImplementedError & TypeError zum PySpark-Fehlerframework
• [SPARK-46348] [SC-150281][core] Unterstützung von spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] Protokollierung der Spark HA-Wiederherstellungsdauer
• [SPARK-46358] [SC-150307][connect] Vereinfachung der Bedingungsüberprüfung in der ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Ersetzen der aktuellen Uhrzeit/des aktuellen Datums, bevor die Inlinetabellenausdrücke ausgewertet werden.
• [SPARK-46563] [SC-151441][sql] Anzeige von simpleString, die nicht „conf spark.sql.debug.maxToStringFields“ folgt
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Reduzieren Sie die Stapeltiefe, indem Sie (String|Array).size durch (String|Array).length ersetzen.
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(alle Felder aus einer Struktur) führt zu einem Assertionsfehler.
• [SPARK-46565] [SC-151414][python] Fehlerklassen und Fehlermeldungen für Python-Datenquellen verfeinern
• [SPARK-46576] [SC-151614][sql] Verbessern von Fehlermeldungen für den Speichermodus für nicht unterstützte Datenquellen
• [SPARK-46540] [SC-151355][python] Beachten Sie Spaltennamen, wenn die Lesefunktion der Python-Datenquelle benannte Row-Objekte ausgibt.
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite leakt des Hive SessionState
• [SPARK-44556] [SC-151562][sql] Wiederverwenden von OrcTail beim Aktivieren von vectorizedReader
• [SPARK-46587] [SC-151618][sql] XML: Korrektur der Konvertierung großer ganzer XSD-Zahlen
• [SPARK-46382] [SC-151297][sql] XML: Erfassen von Werten zwischen Elementen
• [SPARK-46567] [SC-151447][core] Entfernung von ThreadLocal für ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Automatische Registrierung der Python-Datenquelle beim Start
• [SPARK-28386] [SC-151014][sql] Kann ORDER BY Spalten mit GROUP BY und HAVING nicht auflösen
• [SPARK-46524] [SC-151446][sql] Verbesserung der Fehlermeldungen für einen ungültigen Speichermodus
• [SPARK-46294] [SC-150672][sql] Bereinigen der Semantik von Init und Nullwert
• [SPARK-46301] [SC-150100][core] Unterstützung von spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Entfernung der Überprüfung c>=0 aus ExternalCatalogUtils#needsEscaping, da das Ergebnis immer „true“ ist
• [SPARK-46553] [SC-151360][ps] FutureWarning für interpolate mit Objekt-dtype
• [SPARK-45914] [SC-151312][python] Unterstützung der Commit- und Abbruch-API für Schreibvorgänge in Python-Datenquellen
• [SPARK-46543] [SC-151350][python][CONNECT] json_tuple soll für leere Felder PySparkValueError auslösen
• [SPARK-46520] [SC-151227][python] Unterstützung des Überschreibungsmodus für Schreibvorgänge in Python-Datenquellen
• [SPARK-46502] [SC-151235][sql] Unterstützung von Zeitstempeltypen in UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][connect] Übergeben von Nachrichtenparametern in Metadaten von ErrorInfo
• [SPARK-46397] Wiederherstellung von „[SC-151311][python][CONNECT] sha2-Funktion sollte PySparkValueError für ungültige numBits auslösen”
• [SPARK-46170] [SC-149472][sql] Unterstützung für das Einfügen von Postplaner-Strategieregeln für adaptive Abfragen in SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable sollte die Tabelle nicht laden.
• [SPARK-46397] [SC-151311][python][CONNECT] Funktion sha2 sollte PySparkValueError für ungültige numBits auslösen
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables löst keine Ausnahme aus, wenn die Tabelle oder Ansicht nicht gefunden wird.
• [SPARK-46272] [SC-151012][sql] Unterstützung von CTAS (CREATE TABLE AS SELECT) mithilfe von DSv2-Quellen
• [SPARK-46480] [SC-151127][core][SQL] Korrektur von NPEs beim Versuch, einen Zwischenspeicherungstask für Tabellen auszuführen
• [SPARK-46100] [SC-149051][core][PYTHON] Reduzierung der Stapeltiefe durch Ersetzen von „(string|array).size“ durch „(string|array).length“
• [SPARK-45795] [SC-150764][sql] DS V2 unterstützt den Pushdownmodus.
• [SPARK-46485] [SC-151133][sql] V1Write sollte keine Sortierung hinzufügen, wenn nicht erforderlich.
• [SPARK-46468] [SC-151121] [SQL] Behandlung des COUNT-Fehlers für EXISTS-Unterabfragen mit „Aggregate“ ohne Gruppierungsschlüssel
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL-Unterstützung
• [SPARK-46498] [SC-151199][core] Entfernen shuffleServiceEnabled aus o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Legen Sie die Neubasiskonfigurationen standardmäßig auf den modus CORRECTED fest.
• [SPARK-45525] [SC-151120][sql][PYTHON] Unterstützung für Python-Datenquellenschreibzugriff mit DSv2
• [SPARK-46505] [SC-151187][connect] Byteschwellenwert konfigurierbar machen in ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Entfernung der Legacy-SQL-Konfigurationen für den datetime-Rebasevorgang
• [SPARK-46443] [SC-151123][sql] Dezimalgenauigkeit und Skalierung sollte durch den H2-Dialekt entschieden werden.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][ui] Korrektur des Stapeldiagramms zur Vorgangsdauer auf der Seite für strukturiertes Streaming
• [SPARK-46207] [SC-151068][sql] Unterstützung von MergeInto in DataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Fügen Sie eine neue API in DataWriter hinzu, um einen Iterator von Datensätzen zu schreiben.
• [SPARK-46273] [SC-150313][sql] Unterstützung von INSERT INTO/OVERWRITE mit DSv2-Quellen
• [SPARK-46344] [SC-150267][core] Korrekte Ausgabe einer Warnung, wenn ein Treiber vorhanden, der Master aber getrennt ist
• [SPARK-46284] [SC-149944][python][CONNECT] Hinzufügen session_user Funktion zu Python
• [SPARK-46043] [SC-149786][sql] Unterstützung beim Erstellen einer Tabelle mit DSv2-Quellen
• [SPARK-46323] [SC-150191][python] Korrigieren Sie den Ausgabe-Namen von pyspark.sql.functions.now.
• [SPARK-46465] [SC-151059][python][CONNECT] Hinzufügen von Column.isNaN in PySpark
• [SPARK-46456] [SC-151050][core] Hinzufügung von spark.ui.jettyStopTimeout, um das Beendigungstimeout des Jetty-Servers zum Aufheben der Blockierung des Herunterfahrens von SparkContext festzulegen
• [SPARK-43427] [SC-150356][protobuf] Spark Protobuf: Zulassen des Upcastings von ganzzahligen Typen ohne Vorzeichen
• [SPARK-46399] [SC-151013][14.x][Core] Beendigungsstatus zum Ende-Ereignis der Anwendung hinzufügen, um den Spark-Listener zu verwenden.
• [SPARK-46423] [SC-150752][python][SQL] Erstellen Sie die Python Data Source-Instanz bei DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][python][SQL] Unterstützen von Python-Metriken in Python-Datenquelle
• [SPARK-46330] [SC-151015] Das Laden der Spark-Benutzeroberfläche wird lange blockiert, wenn HybridStore aktiviert ist.
• [SPARK-46378] [SC-150397][sql] Weiterhin Entfernung der Sortierung (Sort) nach der Konvertierung von „Aggregate“ in „Project“
• [SPARK-45506] [SC-146959][connect] Hinzufügen der Ivy-URI-Unterstützung zu SparkConnect addArtifact
• [SPARK-45814] [SC-147871][connect][SQL] Veranlassen Sie ArrowConverters.createEmptyArrowBatch, close() aufzurufen, um ein Speicherleck zu vermeiden.
• [SPARK-46427] [SC-150759][python][SQL] Ändern Sie die Beschreibung der Python-Datenquelle, damit sie im Explain-Modus ansprechend formatiert wird.
• [SPARK-45597] [SC-150730][python][SQL] Unterstützen des Erstellens einer Tabelle mit einer Python-Datenquelle in SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][python] Hinzufügen von getMessageParameters und getQueryContext-Unterstützung
• [SPARK-46453] [SC-150897][connect] Auslösung einer Ausnahme über internalError() in SessionHolder
• [SPARK-45758] [SC-147454][sql] Stellen Sie einen Mapper für Hadoop-Komprimierungscodecs vor
• [SPARK-46213] [PYTHON] Einführung von PySparkImportError für das Fehlerframework
• [SPARK-46230] [SC-149960][python] Migration von RetriesExceeded zu einem PySpark-Fehler
• [SPARK-45035] [SC-145887][sql] Korrektur der Meldung eines Fehlers bei ignoreCorruptFiles/ignoreMissingFiles mit mehrzeiligen CSV-/JSON-Dateien
• [SPARK-46289] [SC-150846][sql] Unterstützung der Sortierung von UDTs im interpretierten Modus
• [SPARK-46229] [SC-150798][python][CONNECT] Füge applyInArrow zu groupBy und cogroup in Spark Connect hinzu
• [SPARK-46420] [SC-150847][sql] Entfernen des nicht verwendeten Transports in SparkSQLCLIDriver
• [SPARK-46226] [SC-149724][PYTHON] Migration aller verbleibenden Fehler vom Typ RuntimeError zum PySpark-Fehlerframework
• [SPARK-45796] [SC-150613][sql] Unterstützung von MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] Füge applyInArrow zu groupBy und cogroup hinzu
• [SPARK-46069] [SC-149672][sql] Unterstützung für das Aufheben des Umbruchs des Zeitstempeltyps in den Datumstyp
• [SPARK-46406] [SC-150770][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Konvertierung von IllegalStateException zu internalError in Sitzungsiteratoren
• [SPARK-45807] [SC-150751][sql] Verbessern der ViewCatalog-API
• [SPARK-46009] [SC-149771][sql][CONNECT] Zusammenführen der Analyseregel von PercentileCont und PercentileDisc in functionCall
• [SPARK-46403] [SC-150756][sql] Parquet-Binärdaten mit der Methode getBytesUnsafe dekodieren
• [SPARK-46389] [SC-150779][core] Manuelles Schließen der RocksDB/LevelDB Instanz, wenn checkVersion Ausnahme auslösen
• [SPARK-46360] [SC-150376][python] Verbessern des Debuggens von Fehlermeldungen mit der neuen getMessage-API
• [SPARK-46233] [SC-149766][python] Migration aller verbleibenden Fehler vom Typ AttributeError zum PySpark-Fehlerframework
• [SPARK-46394] [SC-150599][sql] Beheben von Problemen mit spark.catalog.listDatabases() für Schemas mit Sonderzeichen, wenn spark.sql.legacy.keepCommandOutputSchema auf "true" festgelegt sind
• [SPARK-45964] [SC-148484][sql] Entfernung des privaten SQL-Accessors in XML- und JSON-Paketen unter dem Catalyst-Paket
• [SPARK-45856] [SC-148691] Verschiebung von ArtifactManager von Spark Connect in SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] Korrektur des Startskripts „spark-connect-scala-client“
• [SPARK-46416] [SC-150699][core] Hinzufügen von @tailrec zu HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Einschränken von Zeichenmengen in encode()
• [SPARK-46253] [SC-150416][python] Planung des Lesens der Python-Datenquelle mit MapInArrow
• [SPARK-46339] [SC-150266][ss] Verzeichnis mit Batchnummernname sollte nicht als Metadatenprotokoll behandelt werden.
• [SPARK-46353] [SC-150396][core] Umgestaltung zum Verbessern der Abdeckung des RegisterWorker-Komponententests
• [SPARK-45826] [SC-149061][sql] Hinzufügen einer SQL-Konfiguration für Stapelüberwachungen im DataFrame-Abfragekontext
• [SPARK-45649] [SC-150300][sql] Vereinheitlichen des Vorbereitungsframeworks für OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][core] Korrektur des Masters zum Aktualisieren eine Workers von UNKNOWN auf ALIVE in der RegisterWorker-Meldung
• [SPARK-46388] [SC-150496][sql] Fehlen des Musterwächters query.resolved in HiveAnalysis
• [SPARK-46401] [SC-150609][core] Verwenden Sie !isEmpty() auf RoaringBitmap anstelle von getCardinality() > 0 in RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] Klassifizieren von Ausnahmen im JDBC-Tabellenkatalog
• [SPARK-45798] [SC-150513][connect] Nachtrag: serverSessionId zu SessionHolderInfo hinzufügen
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Hinzufügen der Unterstützung von TimestampNTZType
• [SPARK-46075] [SC-150393][connect] Verbesserungen an SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Ersetzung der falschen Verwendung von setConf in der Dokumentation durch „conf.set“
• [SPARK-46202] [SC-150420][connect] Machen Sie neue ArtifactManager-APIs verfügbar, um benutzerdefinierte Zielverzeichnisse zu unterstützen.
• [SPARK-45824] [SC-147648][sql] Erzwingung der Fehlerklasse in ParseException
• [SPARK-45845] [SC-148163][ss][UI] Hinzufügung der Anzahl entfernter Zustandszeilen zur Streamingbenutzeroberfläche
• [SPARK-46316] [SC-150181][core] Aktivieren von buf-lint-action für core Modul
• [SPARK-45816] [SC-147656][sql] Rückgabe von NULL bei einem Überlauf während der Umwandlung von Zeitstempeln in ganze Zahlen
• [SPARK-46333] [SC-150263][sql] Ersetzen sie IllegalStateException durch SparkException.internalError im Katalysator
• [SPARK-45762] [SC-148486][core] Unterstützung von in Benutzer-JARs definierten Shuffle-Managern durch Änderung der Startreihenfolge
• [SPARK-46239] [SC-149752][core] Die Jetty Informationen ausblenden
• [SPARK-45886] [SC-148089][sql] Ausgabe der vollständigen Stapelüberwachung in callSite des DataFrame-Kontexts
• [SPARK-46290] [SC-150059][python] SaveMode in ein boolesches Flag für DataSourceWriter ändern
• [SPARK-45899] [SC-148097][connect] Festlegung von errorClass in errorInfoToThrowable
• [SPARK-45841] [SC-147657][sql] Stapelablaufverfolgung sichtbar machen durch DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Unterstützung für killall in der REST Submission API
• [SPARK-46234] [SC-149711][python] Einführen von PySparkKeyError für PySpark-Fehlerframework
• [SPARK-45606] [SC-147655][sql] Releasebeschränkungen für mehrschichtigen Laufzeitfilter
• [SPARK-45725] [SC-147006][sql] Entfernung des nicht standardmäßigen IN-Unterabfrage-Laufzeitfilters
• [SPARK-45694] [SC-147314][spark-45695][SQL] Bereinigen veralteter API-Verwendung View.force und ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] withOrigin allgemeiner gestalten
• [SPARK-46292] [SC-150086][core][UI] Anzeige einer Zusammenfassung von Workern in MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Verwenden Sie LazyList anstelle von Stream
• [SPARK-45888] [SC-149945][ss] Anwenden des Fehlerklassenframeworks auf Zustandsdatenquelle (Metadaten)
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed sollte die Sortierung des Wörterbuchs bzw. der Zuordnung beibehalten
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Bereinigen SeqOps.view und ArrayOps.view Konvertierungen
• [SPARK-46029] [SC-149255][sql] Setzen von einfachen Anführungszeichen, _ und % in Escapezeichen für den DS V2-Pushdown
• [SPARK-46275] [SC-150189] Protobuf: Rückgabe von NULL im permissiven Modus, wenn die Deserialisierung fehlschlägt
• [SPARK-46320] [SC-150187][core] Unterstützung von spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Keine Parquet-Zeilengruppenfilter anwenden, die zu einem Überlauf führen
• [SPARK-46300] [SC-150097][python][CONNECT] Abgleich mit dem Mindestverhalten in der Spalte bei vollständiger Testabdeckung
• [SPARK-46298] [SC-150092][python][CONNECT] Abgleich von Warnungen zur Veraltung, Testfällen und Fehlern von Catalog.createExternalTable
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Beseitigen Sie die veraltete API-Verwendung im Zusammenhang mit StringContext/StringOps/RightProjection/LeftProjection/Either und Typverwendung von BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][sql] Unterstützung von SHOW TABLE EXTENDED in v2
• [SPARK-45737] [SC-147011][sql] Entfernen Sie unnötige .toArray[InternalRow] in SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] Erfordert eine Instanzsperre zum Abrufen von RocksDB-Metriken, um das Rennen mit Hintergrundvorgängen zu verhindern
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed sollte die Sortierung des Diktats beachten
• [SPARK-46274] [SC-150043] [SQL] Korrektur des Range-Operators computeStats(), um vor der Konvertierung die Gültigkeitsdauer zu überprüfen
• [SPARK-46040] [SC-149767][sql][Python] Aktualisieren der UDTF-API für "analysieren" Partitionierung/Sortierung von Spalten zur Unterstützung allgemeiner Ausdrücke
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty sollten mit allen Datentypen funktionieren.
• [SPARK-45678] [SC-146825][core] Abdeckung von BufferReleasingInputStream.available/reset unter tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Bereinigen Sie die veraltete API-Verwendung im Zusammenhang mit IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][sql] Einführung der select * except-Syntax
• [SPARK-46269] [SC-149816][ps] Aktivieren weiterer NumPy-Kompatibilitätsfunktionstests
• [SPARK-45807] [SC-149851][sql] Hinzufügen von createOrReplaceView(..) / replaceView(..) zum ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Führen Sie eine implizite Funktion für Scala Array ein, um in immutable.ArraySeqeinzuschließen.
• [SPARK-46205] [SC-149655][core] Verbessere die Leistung von PersistenceEngine mit KryoSerializer
• [SPARK-45746] [SC-149359][python] Gibt spezifische Fehlermeldungen zurück, wenn DIE UDTF-Methode "analyze" oder "eval" -Methode falsche Werte akzeptiert oder zurückgibt.
• [SPARK-46186] [SC-149707][connect] Korrektur des unzulässigen Statusübergangs, wenn ExecuteThreadRunner vor dem Start unterbrochen wird
• [SPARK-46262] [SC-149803][ps] Aktivierung des Tests für np.left_shift für Pandas-on-Spark-Objekt.
• [SPARK-45093] [SC-149679][connect][PYTHON] Fehlerbehandlung und Konvertierung für AddArtifactHandler ordnungsgemäß unterstützen
• [SPARK-46188] [SC-149571][doc][3.5] Beheben des CSS der generierten Tabellen des Spark-Dokuments
• [SPARK-45940] [SC-149549][python] Hinzufügen von InputPartition zur DataSourceReader-Schnittstelle
• [SPARK-43393] [SC-148301][sql] Behandlung des Sequenzausdruck-Überlauffehlers.
• [SPARK-46144] [SC-149466][sql] Fehler bei INSERT INTO… REPLACE-Anweisung, wenn die Bedingung eine Unterabfrage enthält
• [SPARK-46118] [SC-149096][sql][SS][connect] Verwenden Sie SparkSession.sessionState.conf anstelle von SQLContext.conf, und markieren Sie SQLContext.conf als veraltet
• [SPARK-45760] [SC-147550][sql] Hinzufügung eines With-Ausdrucks zur Vermeidung doppelter Ausdrücke
• [SPARK-43228] [SC-149670][sql] Joinschlüssel gleichen auch PartitioningCollection in CoalesceBucketsInJoin ab
• [SPARK-46223] [SC-149691][ps] Testen von SparkPandasNotImplementedError mit Bereinigung nicht genutzten Codes
• [SPARK-46119] [SC-149205][sql] Außerkraftsetzung der toString-Methode für UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Verwenden Sie eine engere Bereichs ausnahme für den SQL-Prozessor
• [SPARK-46191] [SC-149565][core] Verbesserung der FileSystemPersistenceEngine.persist-Fehlermeldung bei Vorhandensein der Datei
• [SPARK-46036] [SC-149356][sql] Fehlerklasse aus raise_error Funktion entfernen
• [SPARK-46055] [SC-149254][sql] Implementieren von Katalogdatenbank-APIs neu
• [SPARK-46152] [SC-149454][sql] XML: Hinzufügen der DecimalType-Unterstützung in XML-Schemazuleitung
• [SPARK-45943] [SC-149452][sql] Verschieben DetermineTableStats zu Auflösungsregeln
• [SPARK-45887] [SC-148994][sql] Ausrichten von codegener und nicht-codegener Implementierung von Encode
• [SPARK-45022] [SC-147158][sql] Bereitstellen von Kontext für Dataset-API-Fehler
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Ersetzen Sie toIterator durch iterator für IterableOnce
• [SPARK-46141] [SC-149357][sql] Standardwert für spark.sql.legacy.ctePrecedencePolicy auf KORRIGIERT setzen
• [SPARK-45663] [SC-146617][core][MLLIB] Ersetzen Sie IterableOnceOps#aggregate durch IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Wiederverwendung von Literal-Objekten in der ComputeCurrentTime-Regel
• [SPARK-45803] [SC-147489][core] Entfernen Sie die nicht mehr verwendete RpcAbortException
• [SPARK-46148] [SC-149350][ps] Korrektur des Tests „pyspark.pandas.mlflow.load_model“ (Python 3.12)
• [SPARK-46110] [SC-149090][python] Verwenden Sie Fehlerklassen in den Modulen Katalog, Konfiguration, Connect, Observation, pandas
• [SPARK-45827] [SC-149203][sql] Verschiedene Korrekturen bei deaktiviertem Codegenerierungs- und vektorisiertem Reader
• [SPARK-46080] Rückgängigmachen der “[SC-149012][python] Aktualisierung von Cloudpickle auf 3.0.0”
• [SPARK-45460] [SC-144852][sql] Ersetzen sie scala.collection.convert.ImplicitConversions durch scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Entfernen Sie die spezielle Auflösung von "UnresolvedNamespace" für bestimmte Befehle.
• [SPARK-45600] [SC-148976][python] Erstellen der Sitzungsebene der Python-Datenquellenregistrierung
• [SPARK-46074] [SC-149063][connect][SCALA] Unzureichende Details in der Fehlermeldung zu UDF-Fehlern
• [SPARK-46114] [SC-149076][python] Hinzufügen von PySparkIndexError für Fehlerframework
• [SPARK-46120] [SC-149083][connect][PYTHON] Hilfsfunktion entfernen DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Updatepfadbehandlung für Python-Datenquelle
• [SPARK-46062] [14.x][sc-148991][SQL] Synchronisierung des isStreaming-Flags zwischen CTE-Definition und -Referenz
• [SPARK-45698] [SC-146736][core][SQL][ss] Bereinigen Sie die veraltete API-Verwendung im Zusammenhang mit Buffer
• [SPARK-46064] [SC-148984][sql][SS] Verschiebung von EliminateEventTimeWatermark in das Analysetool und Anwendung einer Änderung, sodass nur das aufgelöste untergeordnete Element betroffen ist
• [SPARK-45922] [SC-149038][connect][CLIENT] Geringfügige Umgestaltungen (Ergänzung zu mehreren Richtlinien)
• [SPARK-45851] [SC-148419][connect][SCALA] Unterstützung mehrerer Richtlinien im Scala-Client
• [SPARK-45974] [SC-149062][sql] Hinzufügung der Überprüfung auf „nicht leere“ Werte von scan.filterAttributes für RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets im Scala Spark Connect-Client
• [SPARK-45136] [SC-146607][connect] Verbesserung von ClosureCleaner mit Ammonite-Unterstützung
• [SPARK-46084] [SC-149020][ps] Umgestaltung des Datentyp-Umwandlungsvorgangs für den Typ „Categorical“
• [SPARK-46083] [SC-149018][python] Machen Sie SparkNoSuchElementException zu einer kanonischen Fehler-API
• [SPARK-46048] [SC-148982][Python][CONNECT] Unterstützung von DataFrame.groupingSets in Python Spark Connect
• [SPARK-46080] [SC-149012][python] Aktualisieren von Cloudpickle auf 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Korrigieren der Darstellung von Protobuf-Zeichenfolgen für die Pandas-Functions-API mit Spark Connect
• [SPARK-46065] [SC-148985][ps] Umgestalten (DataFrame|Series).factorize(), um create_mapzu verwenden.
• [SPARK-46070] [SC-148993][sql] Kompilierung des RegEx-Musters in SparkDateTimeUtils.getZoneId außerhalb der Schleife der heißen Zugriffsebene
• [SPARK-46063] [SC-148981][python][CONNECT] Verbesserung von Fehlermeldungen im Zusammenhang mit Argumenttypen in „cute“, „rollup“, „groupby“ und „pivot“
• [SPARK-44442] [SC-144120][mesos] Entfernen der Mesos-Unterstützung
• [SPARK-45555] [SC-147620][python] Enthält ein debugfähiges Objekt für fehlgeschlagene Assertionen.
• [SPARK-46048] [SC-148871][python][SQL] Unterstützung von DataFrame.groupingSets in PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Faulthandler als Konfiguration zur Laufzeit für die Python-Ausführung in SQL umsetzen
• [SPARK-45996] [SC-148586][python][CONNECT] Anzeigen der richtigen Abhängigkeitsanforderungsmeldungen für Spark Connect
• [SPARK-45681] [SC-146893][ui] Klonen sie eine JS-Version von UIUtils.errorMessageCell für ein konsistentes Fehlerrendering auf der Benutzeroberfläche
• [SPARK-45767] [SC-147225][core] Lösche TimeStampedHashMap und seine UT
• [SPARK-45696] [SC-148864][core] Die Korrektur der tryCompleteWith-Methode im Merkmal „Promise“ ist veraltet
• [SPARK-45503] [SC-146338][ss] Füge Konfiguration hinzu, um die RocksDB-Komprimierung festzulegen
• [SPARK-45338] [SC-143934][core][SQL] Ersetzen scala.collection.JavaConverters in scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Korrektur von ArrayIndexOutOfBoundsException in conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Erweiterung der XSDToSchema-API: Ändern der HDFS-API für die Barrierefreiheit der Cloudspeicherung
• [SPARK-45819] [SC-147570][core] Unterstützung clear in der REST-Übermittlungs-API
• [SPARK-45552] [14.x][sc-146874][PS] Einführung von flexiblen Parametern für assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Stellen Sie eine Schnittstelle für andere Streamingquellen bereit, um _metadata Spalten hinzuzufügen.
• [SPARK-45929] [SC-148692][sql] Unterstützung des groupingSets-Vorgangs in der DataFrame-API
• [SPARK-46012] [SC-148693][core] EventLogFileReader sollte keine Rollprotokolle lesen, wenn die App-Statusdatei fehlt.
• [SPARK-45965] [SC-148575][sql] Verschiebung von DSv2-Partitionierungsausdrücken in „functions.partitioning“
• [SPARK-45971] [SC-148541][core][SQL] Korrigieren Sie den Paketnamen SparkCollectionUtils auf org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Bereinigung der Verwendung der veralteten API im Zusammenhang mit MapOps und Fix method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Entfernen Sie treatEmptyValuesAsNulls, und verwenden Sie stattdessen nullValue Option in XML.
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Korrektur von Typhinweisen zum Behandeln von list GenericAlias in Python 3.11 und höher
• [SPARK-45999] [SC-148595][ps] Verwendung des dedizierten PandasProduct in cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Fix pyspark.ml.torch.tests.test_distributor in Python 3.11
• [SPARK-45994] [SC-148581][python] Ändern description-file in description_file
• [SPARK-45575] [SC-146713][sql] Unterstützung von Zeitreiseoptionen für df read-API
• [SPARK-45747] [SC-148404][ss] Verwendung von Präfixschlüsselinformationen in Statusmetadaten zum Verarbeiten des Lesestatus für die Sitzungsfensteraggregation
• [SPARK-45898] [SC-148213][sql] Schreiben Sie Katalogtabellen-APIs neu, um einen nicht aufgelösten logischen Plan zu verwenden.
• [SPARK-45828] [SC-147663][sql] Entfernen veralteter Methode in dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Upgrade protobuf auf 4.25.1 zur Unterstützung von Python 3.11
• [SPARK-45911] [SC-148226][core] Machen Sie TLS1.3 als Standard für RPC SSL
• [SPARK-45955] [SC-148429][ui] Unterstützung des Reduzierens für Details in Flame-Diagrammen und Threadspeicherabbildern
• [SPARK-45936] [SC-148392][ps] Optimieren Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Richtige MetaException-Abgleichsregel zum Abrufen von Partitionsmetadaten
• [SPARK-45655] [SC-148085][sql][SS] Erlaube nicht-deterministische Ausdrücke innerhalb von AggregateFunctions in CollectMetrics
• [SPARK-45946] [SC-148448][ss] Korrektur der Verwendung veralteter FileUtils-Schreibvorgänge zum Übergeben des Standardzeichensatzes in RocksDBSuite
• [SPARK-45511] [SC-148285][ss] Statusdatenquelle – Reader
• [SPARK-45918] [SC-148293][ps] Optimieren MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] Gibt die beobachteten Metriken aus Befehlen zurück.
• [SPARK-45867] [SC-147916][core] Unterstützung von spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Fügen Sie eine Hilfsfunktion für parser
• [SPARK-45930] [SC-148399][sql] Unterstützen nicht deterministische UDFs in MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Erstellen der Python UDTF-API zum Beenden der Verwendung von Zeilen aus der Eingabetabelle
• [SPARK-45731] [SC-147929][sql] Aktualisieren Sie außerdem Partitionsstatistiken mit ANALYZE TABLE Befehl
• [SPARK-45868] [SC-148355][connect] Sicherstellen, dass spark.table den gleichen Parser mit Vanilla Spark verwendet
• [SPARK-45882] [SC-148161][sql] Bei der Weitergabe der Partitionierung mit BroadcastHashJoinExec sollte CoalescedHashPartitioning berücksichtigt werden
• [SPARK-45710] [SC-147428][sql] Zuweisung von Namen zum Fehler _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] Behandle decimal(x, 0) als IntegralType in PromoteStrings
• [SPARK-45786] [SC-147552][sql] Beheben ungenauer Dezimalmultiplikations- und Divisionsergebnisse
• [SPARK-45871] [SC-148084][connect] Optimierungen der Sammlungskonvertierung im Zusammenhang mit .toBuffer in den connect-Modulen
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager kann nach einem angehaltenen „sparkcontext“ suchen
• [SPARK-45913] [SC-148289][python] Festlegung der internen Attribute als „privat“ in PySpark-Fehlern.
• [SPARK-45827] [SC-148201][sql] Hinzufügung des Datentyps „Variant“ in Spark.
• [SPARK-44886] [SC-147876][sql] Führen Sie CLUSTER BY Klausel für CREATE/REPLACE TABLE ein
• [SPARK-45756] [SC-147959][core] Unterstützung von spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Bestätigung der serverseitigen Sitzungs-ID
• [SPARK-45896] [SC-148091][sql] Konstruktion von ValidateExternalType mit dem richtigen erwarteten Typ
• [SPARK-45902] [SC-148123][sql] Nicht verwendete Funktion resolvePartitionColumns aus DataSource entfernen
• [SPARK-45909] [SC-148137][sql] Entfernung der NumericType-Umwandlung, sofern die sichere Umwandlung in IsNotNull möglich ist
• [SPARK-42821] [SC-147715][sql] Entfernen nicht verwendeter Parameter in splitFiles-Methoden
• [SPARK-45875] [SC-148088][core] Entfernen MissingStageTableRowData aus core Modul
• [SPARK-45783] [SC-148120][python][CONNECT] Verbessern von Fehlermeldungen, wenn der Spark Connect-Modus aktiviert ist, die Remote-URL jedoch nicht festgelegt ist.
• [SPARK-45804] [SC-147529][ui] Hinzufügen der Konfiguration spark.ui.threadDump.flamegraphEnabled, um das Flammendiagramm ein-/auszuschalten.
• [SPARK-45664] [SC-146878][sql] Einführung eines Mappers für ORC-Komprimierungscodecs
• [SPARK-45481] [SC-146715][sql] Führen Sie einen Mapper für Parquet-Komprimierungscodecs ein
• [SPARK-45752] [SC-148005][sql] Vereinfachen des Codes für die Überprüfung nicht referenzierter CTE-Beziehungen
• [SPARK-44752] [SC-146262][sql] XML: Aktualisieren von Spark-Dokumenten
• [SPARK-45752] [SC-147869][sql] Alle nicht referenzierten CTE sollten von CheckAnalysis0 überprüft werden.
• [SPARK-45842] [SC-147853][sql] Neugestaltung der Katalogfunktions-APIs zur Verwendung des Analysetools
• [SPARK-45639] [SC-147676][sql][PYTHON] Unterstützen das Laden von Python-Datenquellen in DataFrameReader
• [SPARK-45592] [SC-146977][sql] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec
• [SPARK-45794] [SC-147646][ss] Einführung einer Quelle für Zustandsmetadaten, um die Metadaten des Streamingstatus abzufragen.
• [SPARK-45739] [SC-147059][python] Abfangen von IOException, anstatt nur EOFException für den FaultHandler abzurufen
• [SPARK-45677] [SC-146700] Bessere Fehlerprotokollierung für die Beobachtungs-API
• [SPARK-45544] [SC-146873][core] Integrieren der SSL-Unterstützung in TransportContext
• [SPARK-45654] [SC-147152][python] Hinzufügung der API zum Schreiben für Python-Datenquellen
• [SPARK-45771] [SC-147270][core] spark.eventLog.rolling.enabled standardmäßig aktivieren
• [SPARK-45713] [SC-146986][python] Unterstützen des Registrierens von Python-Datenquellen
• [SPARK-45656] [SC-146488][sql] Korrektur der Beobachtung, wenn benannte Beobachtungen mit demselben Namen in verschiedenen Datasets vorhanden sind
• [SPARK-45808] [SC-147571][connect][PYTHON] Bessere Fehlerbehandlung für SQL-Ausnahmen
• [SPARK-45774] [SC-147353][core][UI] Unterstützung von spark.master.ui.historyServerUrl in ApplicationPage
• [SPARK-45776] [SC-147327][Core] Entfernen Sie die defensive Nullüberprüfung für MapOutputTrackerMaster#unregisterShuffle, die in SPARK-39553 hinzugefügt wurde.
• [SPARK-45780] [SC-147410][connect] Verteilung aller Spark Connect-Client-ThreadLocals in InheritableThread
• [SPARK-45785] [SC-147419][core] Unterstützung von spark.deploy.appNumberModulo zum Rotieren der App-Nummer
• [SPARK-45793] [SC-147456][core] Verbessern der integrierten Komprimierungscodecs
• [SPARK-45757] [SC-147282][ml] Vermeidung der Neuberechnung von NNZ in Binarizer
• [SPARK-45209] [SC-146490][core][UI] Unterstützung von Flame-Diagrammen für die Seite mit dem Executor-Threadspeicherabbild
• [SPARK-45777] [SC-147319][core] Unterstützung von spark.test.appId in LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] Umgestaltung der Null-Prüfung, um Abkürzungen zu ermöglichen
• [SPARK-45711] [SC-146854][sql] Einführung eines Mappers für Avro-Komprimierungscodecs
• [SPARK-45523] [SC-146077][python] Gibt eine nützliche Fehlermeldung zurück, wenn UDTF None für eine nicht-nullbare Spalte zurückgibt.
• [SPARK-45614] [SC-146729][sql] Zuweisung von Namen zum Fehler _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] Verbessern Dataset.isEmpty() durch Anwenden des globalen Grenzwerts 1
• [SPARK-45569] [SC-145915][sql] Weisen Sie dem Fehler _LEGACY_ERROR_TEMP_2153 einen Namen zu
• [SPARK-45749] [SC-147153][core][WEBUI] Fix Spark History Server, um die Duration Spalte ordnungsgemäß zu sortieren
• [SPARK-45754] [SC-147169][core] Unterstützung von spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Vereinfachen DataFrameStatFunctions.countMinSketch mit CountMinSketchAgg
• [SPARK-45753] [SC-147167][core] Unterstützung von spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][Core][UI] Verbessern MasterPage, um Resource Spalte nur anzuzeigen, wenn sie vorhanden ist
• [SPARK-45112] [SC-143259][sql] Verwenden der UnresolvedFunction-basierten Auflösung in SQL-Datasetfunktionen

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Weitere Informationen unter Wartungsupdates für Databricks Runtime 14.3.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.3 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die DBR-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu 8.74.0.17-CA-linux64
• Skala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-07-13 installiert: https://packagemanager.posit.co/cran/2023-07-13/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)