Databricks Runtime 14.0 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 14.0, unterstützt von Apache Spark 3.5.0.

Diese Version wurde von Databricks im September 2023 veröffentlicht.

Neue Features und Verbesserungen

• Zeilennachverfolgung ist GA
• Predictive I/O für Updates ist allgemein verfügbar (GA).
• Löschvektoren sind allgemein verfügbar (GA).
• Spark 3.5.0 ist GA
• Öffentliche Vorschau für benutzerdefinierte Tabellenfunktionen für Python
• Öffentliche Vorschau für Parallelität auf Zeilenebene
• Das aktuelle Standardarbeitsverzeichnis hat sich geändert
• Bekanntes Problem mit sparklyr
• Einführung von Spark Connect in der freigegebenen Clusterarchitektur
• Auflisten verfügbarer Spark-Versionen API-Update

Zeilennachverfolgung ist GA

Die Zeilennachverfolgung für Delta Lake ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Verwenden der Zeilenverfolgung für Delta-Tabellen.

Predictive I/O für Updates ist allgemein verfügbar (GA).

Predictive I/O für Updates ist jetzt allgemein verfügbar. Siehe Was ist Predictive I/O?.

Löschvektoren sind allgemein verfügbar (GA).

Löschvektoren sind jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Was sind Löschvektoren?.

Spark 3.5.0 ist GA

Apache Spark 3.5.0 ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unterSpark Release 3.5.0.

Öffentliche Vorschau für benutzerdefinierte Tabellenfunktionen für Python

Mit benutzerdefinierten Tabellenfunktionen (User-Defined Table Functions, UDTFs) können Sie Funktionen registrieren, die Tabellen anstelle von Skalarwerten zurückgeben. Siehe Benutzerdefinierte Tabellenfunktionen (User-Defined Table Functions, UDTFs) in Python.

Öffentliche Vorschau für Parallelität auf Zeilenebene

Parallelität auf Zeilenebene reduziert Konflikte zwischen gleichzeitigen Schreibvorgängen, indem Änderungen auf Zeilenebene erkannt und konkurrierende Änderungen in gleichzeitigen Schreibvorgängen automatisch aufgelöst werden, die unterschiedliche Zeilen in derselben Datendatei aktualisieren oder löschen. Weitere Informationen finden Sie unter Schreibkonflikte mit Parallelität auf Zeilenebene.

Das aktuelle Standardarbeitsverzeichnis hat sich geändert

Das aktuelle Standardarbeitsverzeichnis (Current Working Directory, CWD) für lokal ausgeführten Code ist jetzt das Verzeichnis, das das ausgeführte Notebook oder Skript enthält. Dies umfasst Code wie %sh und Python- oder R-Code, der Spark nicht verwendet. Weitere Informationen finden Sie unter Was ist das aktuelle Standardarbeitsverzeichnis?.

Bekanntes Problem mit sparklyr

Die installierte Version des sparklyr-Pakets (Version 1.8.1) ist nicht kompatibel mit Databricks Runtime 14.0. Um sparklyr zu verwenden, installieren Sie Version 1.8.3 oder höher.

Einführung von Spark Connect in der freigegebenen Clusterarchitektur

Mit Databricks Runtime 14.0 und höher verwenden freigegebene Cluster jetzt standardmäßig Spark Connect mit dem Spark-Treiber aus der Python-REPL. Auf interne Spark-APIs kann nicht mehr über Benutzercode zugegriffen werden.

Spark Connect interagiert jetzt mit dem Spark-Treiber aus der REPL statt mit der älteren REPL-Integration.

Auflisten verfügbarer Spark-Versionen API-Update

Aktivieren Sie Photon durch Festlegen von runtime_engine = PHOTON, und aktivieren Sie aarch64, indem Sie einen Graviton-Instanztyp auswählen. Azure Databricks legt die richtige Databricks-Runtime-Version fest. Zuvor gab die Spark-Versions-API implementierungsspezifische Runtimes für jede Version zurück. Siehe GET "/api/2.0/clusters/spark-versions " in der REST-API-Referenz.

Aktuelle Änderungen

In Databricks Runtime 14.0 und höher verwenden Cluster mit Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus) Spark Connect für die Clientserverkommunikation. Dies umfasst folgende Änderungen.

Weitere Informationen zu Standardzugriffsmodusbeschränkungen finden Sie unter Standard compute requirements and limitations.

Python auf Clustern mit Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus)

• sqlContext ist nicht verfügbar. Azure Databricks empfiehlt die Verwendung der spark-Variablen für die SparkSession-Instanz.
• Spark Context (sc) ist in Notebooks oder bei der Verwendung von Databricks Connect auf einem Cluster mit Standardzugriffsmodus nicht mehr verfügbar. Die folgenden sc-Funktionen sind nicht mehr verfügbar:
  • emptyRDD, range, , init_batched_serializer, parallelize, pickleFiletextFilewholeTextFilesbinaryFiles, , , , binaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Das Feature „Datasetinformationen“ wird nicht mehr unterstützt.
• Für das Abfragen von Apache Spark besteht keine Abhängigkeit mehr von JVMs. Daher werden interne APIs im Zusammenhang mit JVMs wie _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap und _jcols nicht mehr unterstützt.
• Beim Zugriff auf Konfigurationswerte mithilfe der spark.conf-Datei sind lediglich dynamische Laufzeitkonfigurationswerte verfügbar.
• Lakeflow Spark Declarative Pipelines-Analysebefehle werden für freigegebene Cluster noch nicht unterstützt.

Delta auf Clustern mit Standardzugriffsmodus (früher freigegebener Zugriffsmodus)

• In Python gibt es beim Abfragen von Apache Spark keine Abhängigkeit mehr von JVM. Interne APIs im Zusammenhang mit JVMs wie DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder und DeltaOptimizeBuilder._jbuilder werden nicht mehr unterstützt.

SQL auf Clustern mit Standardzugriffsmodus (früher freigegebener Zugriffsmodus)

• DBCACHE- und DBUNCACHE-Befehle werden nicht mehr unterstützt.
• Seltene Anwendungsfälle wie cache table db as show databases werden nicht mehr unterstützt.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • asttokens von 2.2.1 auf 2.0.5
  • attrs von 21.4.0 auf 22.1.0
  • botocore von 1.27.28 auf 1.27.96
  • certifi von 2022.9.14 auf 2022.12.7
  • cryptography von 37.0.1 auf 39.0.1
  • debugpy von 1.6.0 auf 1.6.7
  • docstring-to-markdown von 0.12 auf 0.11
  • executing von 1.2.0 auf 0.8.3
  • facets-overview von 1.0.3 auf 1.1.1
  • googleapis-common-protos von 1.56.4 auf 1.60.0
  • grpcio von 1.48.1 auf 1.48.2
  • idna von 3.3 auf 3.4
  • ipykernel von 6.17.1 auf 6.25.0
  • ipython von 8.10.0 auf 8.14.0
  • Jinja2 von 2.11.3 auf 3.1.2
  • jsonschema von 4.16.0 auf 4.17.3
  • jupyter-core von 4.11.2 auf 5.2.0
  • kiwisolver von 1.4.2 auf 1.4.4
  • MarkupSafe von 2.0.1 auf 2.1.1
  • matplotlib von 3.5.2 auf 3.7.0
  • nbconvert von 6.4.4 auf 6.5.4
  • nbformat von 5.5.0 auf 5.7.0
  • nest-asyncio von 1.5.5 auf 1.5.6
  • notebook von 6.4.12 auf 6.5.2
  • numpy von 1.21.5 auf 1.23.5
  • packaging von 21.3 auf 22.0
  • pandas von 1.4.4 auf 1.5.3
  • pathspec von 0.9.0 auf 0.10.3
  • patsy von 0.5.2 auf 0.5.3
  • Pillow von 9.2.0 auf 9.4.0
  • pip von 22.2.2 auf 22.3.1
  • protobuf von 3.19.4 auf 4.24.0
  • pytoolconfig von 1.2.2 auf 1.2.5
  • pytz von 2022.1 auf 2022.7
  • s3transfer von 0.6.0 auf 0.6.1
  • seaborn von 0.11.2 auf 0.12.2
  • setuptools von 63.4.1 auf 65.6.3
  • soupsieve von 2.3.1 auf 2.3.2.post1
  • stack-data von 0.6.2 auf 0.2.0
  • statsmodels von 0.13.2 auf 0.13.5
  • terminado von 0.13.1 auf 0.17.1
  • traitlets von 5.1.1 auf 5.7.1
  • typing_extensions von 4.3.0 auf 4.4.0
  • urllib3 von 1.26.11 auf 1.26.14
  • virtualenv von 20.16.3 auf 20.16.7
  • wheel von 0.37.1 auf 0.38.4
• Aktualisierte R-Bibliotheken:
  • arrow von 10.0.1 auf 12.0.1
  • base von 4.2.2 auf 4.3.1
  • blob von 1.2.3 auf 1.2.4
  • broom von 1.0.3 bis 1.0.5
  • bslib von 0.4.2 auf 0.5.0
  • cachem von 1.0.6 auf 1.0.8
  • caret von 6.0-93 auf 6.0-94
  • chron von 2.3-59 auf 2.3-61
  • class von 7.3-21 auf 7.3-22
  • cli von 3.6.0 auf 3.6.1
  • clock von 0.6.1 auf 0.7.0
  • commonmark von 1.8.1 auf 1.9.0
  • compiler von 4.2.2 auf 4.3.1
  • cpp11 von 0.4.3 auf 0.4.4
  • curl von 5.0.0 auf 5.0.1
  • data.table von 1.14.6 auf 1.14.8
  • datasets von 4.2.2 auf 4.3.1
  • dbplyr von 2.3.0 auf 2.3.3
  • digest von 0.6.31 auf 0.6.33
  • downlit von 0.4.2 auf 0.4.3
  • dplyr von 1.1.0 auf 1.1.2
  • dtplyr von 1.2.2 auf 1.3.1
  • evaluate von 0.20 auf 0.21
  • fastmap von 1.1.0 auf 1.1.1
  • fontawesome von 0.5.0 auf 0.5.1
  • fs von 1.6.1 auf 1.6.2
  • future von 1.31.0 auf 1.33.0
  • future.apply von 1.10.0 auf 1.11.0
  • gargle von 1.3.0 auf 1.5.1
  • ggplot2 von 3.4.0 auf 3.4.2
  • gh von 1.3.1 auf 1.4.0
  • glmnet von 4.1-6 auf 4.1-7
  • googledrive von 2.0.0 auf 2.1.1
  • googlesheets4 von 1.0.1 auf 1.1.1
  • graphics von 4.2.2 auf 4.3.1
  • grDevices von 4.2.2 auf 4.3.1
  • grid von 4.2.2 auf 4.3.1
  • gtable von 0.3.1 auf 0.3.3
  • hardhat von 1.2.0 auf 1.3.0
  • haven von 2.5.1 auf 2.5.3
  • hms von 1.1.2 auf 1.1.3
  • htmltools von 0.5.4 auf 0.5.5
  • htmlwidgets von 1.6.1 auf 1.6.2
  • httpuv von 1.6.8 auf 1.6.11
  • httr von 1.4.4 auf 1.4.6
  • ipred von 0.9-13 auf 0.9-14
  • jsonlite von 1.8.4 auf 1.8.7
  • KernSmooth von 2.23-20 auf 2.23-21
  • knitr von 1.42 auf 1.43
  • later von 1.3.0 auf 1.3.1
  • lattice von 0.20-45 auf 0.21-8
  • lava von 1.7.1 auf 1.7.2.1
  • lubridate von 1.9.1 auf 1.9.2
  • markdown von 1.5 auf 1.7
  • MASS von 7.3-58.2 auf 7.3-60
  • Matrix von 1.5-1 auf 1.5-4.1
  • methods von 4.2.2 auf 4.3.1
  • mgcv von 1.8-41 auf 1.8-42
  • modelr von 0.1.10 auf 0.1.11
  • nnet von 7.3-18 auf 7.3-19
  • openssl von 2.0.5 auf 2.0.6
  • parallel von 4.2.2 auf 4.3.1
  • parallelly von 1.34.0 auf 1.36.0
  • pillar von 1.8.1 auf 1.9.0
  • pkgbuild von 1.4.0 auf 1.4.2
  • pkgload von 1.3.2 auf 1.3.2.1
  • pROC von 1.18.0 auf 1.18.4
  • processx von 3.8.0 auf 3.8.2
  • prodlim von 2019.11.13 auf 2023.03.31
  • profvis von 0.3.7 auf 0.3.8
  • ps von 1.7.2 auf 1.7.5
  • Rcpp von 1.0.10 auf 1.0.11
  • readr von 2.1.3 auf 2.1.4
  • readxl von 1.4.2 auf 1.4.3
  • recipes von 1.0.4 auf 1.0.6
  • rlang von 1.0.6 auf 1.1.1
  • rmarkdown von 2.20 auf 2.23
  • Rserve von 1.8-12 auf 1.8-11
  • RSQLite von 2.2.20 auf 2.3.1
  • rstudioapi von 0.14 auf 0.15.0
  • sass von 0.4.5 auf 0.4.6
  • shiny von 1.7.4 auf 1.7.4.1
  • sparklyr von 1.7.9 auf 1.8.1
  • SparkR von 3.4.1 auf 3.5.0
  • splines von 4.2.2 auf 4.3.1
  • stats von 4.2.2 auf 4.3.1
  • stats4 von 4.2.2 auf 4.3.1
  • survival von 3.5-3 auf 3.5-5
  • sys von 3.4.1 auf 3.4.2
  • tcltk von 4.2.2 auf 4.3.1
  • testthat von 3.1.6 auf 3.1.10
  • tibble von 3.1.8 auf 3.2.1
  • tidyverse von 1.3.2 auf 2.0.0
  • tinytex von 0.44 auf 0.45
  • tools von 4.2.2 auf 4.3.1
  • tzdb von 0.3.0 auf 0.4.0
  • usethis von 2.1.6 auf 2.2.2
  • utils von 4.2.2 auf 4.3.1
  • vctrs von 0.5.2 auf 0.6.3
  • viridisLite von 0.4.1 auf 0.4.2
  • vroom von 1.6.1 auf 1.6.3
  • waldo von 0.4.0 auf 0.5.1
  • xfun von 0.37 auf 0.39
  • xml2 von 1.3.3 auf 1.3.5
  • zip von 2.2.2 auf 2.3.0
• Aktualisierte Java-Bibliotheken:
  • com.fasterxml.jackson.core.jackson-annotations von 2.14.2 auf 2.15.2
  • com.fasterxml.jackson.core.jackson-core von 2.14.2 auf 2.15.2
  • com.fasterxml.jackson.core.jackson-databind von 2.14.2 auf 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor von 2.14.2 auf 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda von 2.14.2 auf 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.13.4 auf 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer von 2.14.2 auf 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 von 2.14.2 auf 2.15.2
  • com.github.luben.zstd-jni von 1.5.2-5 auf 1.5.5-4
  • com.google.code.gson.gson von 2.8.9 auf 2.10.1
  • com.google.crypto.tink.tink von 1.7.0 auf 1.9.0
  • commons-codec.commons-codec von 1.15 auf 1.16.0
  • commons-io.commons-io von 2.11.0 auf 2.13.0
  • io.airlift.aircompressor von 0.21 auf 0.24
  • io.dropwizard.metrics.metrics-core von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-graphite von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-jmx von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-json von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-jvm von 4.2.10 auf 4.2.19
  • io.dropwizard.metrics.metrics-servlets von 4.2.10 auf 4.2.19
  • io.netty.netty-all von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-buffer von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-codec von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-codec-http von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-codec-http2 von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-codec-socks von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-common von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-handler von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-handler-proxy von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-resolver von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-transport von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-transport-classes-epoll von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue von 4.1.87.Final auf 4.1.93.Final
  • io.netty.netty-transport-native-epoll von 4.1.87.Final-linux-x86_64 auf 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue von 4.1.87.Final-osx-x86_64 auf 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common von 4.1.87.Final auf 4.1.93.Final
  • org.apache.arrow.arrow-format von 11.0.0 auf 12.0.1
  • org.apache.arrow.arrow-memory-core von 11.0.0 auf 12.0.1
  • org.apache.arrow.arrow-memory-netty von 11.0.0 auf 12.0.1
  • org.apache.arrow.arrow-vector von 11.0.0 auf 12.0.1
  • org.apache.avro.avro von 1.11.1 auf 1.11.2
  • org.apache.avro.avro-ipc von 1.11.1 auf 1.11.2
  • org.apache.avro.avro-mapred von 1.11.1 auf 1.11.2
  • org.apache.commons.commons-compress von 1.21 auf 1.23.0
  • org.apache.hadoop.hadoop-client-runtime von 3.3.4 auf 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api von 2.19.0 auf 2.20.0
  • org.apache.logging.log4j.log4j-api von 2.19.0 auf 2.20.0
  • org.apache.logging.log4j.log4j-core von 2.19.0 auf 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl von 2.19.0 auf 2.20.0
  • org.apache.orc.orc-core von 1.8.4-shaded-protobuf auf 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce von 1.8.4-shaded-protobuf auf 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims von 1.8.4 auf 1.9.0
  • org.apache.xbean.xbean-asm9-shaded von 4.22 auf 4.23
  • org.checkerframework.checker-qual von 3.19.0 auf 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet von 2.36 auf 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core von 2.36 auf 2.40
  • org.glassfish.jersey.core.jersey-client von 2.36 auf 2.40
  • org.glassfish.jersey.core.jersey-common von 2.36 auf 2.40
  • org.glassfish.jersey.core.jersey-server von 2.36 auf 2.40
  • org.glassfish.jersey.inject.jersey-hk2 von 2.36 auf 2.40
  • org.javassist.javassist von 3.25.0-GA auf 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client von 2.7.4 auf 2.7.9
  • org.postgresql.postgresql von 42.3.8 auf 42.6.0
  • org.roaringbitmap.RoaringBitmap von 0.9.39 auf 0.9.45
  • org.roaringbitmap.shims von 0.9.39 auf 0.9.45
  • org.rocksdb.rocksdbjni von 7.8.3 auf 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 von 2.4.3 auf 2.9.0
  • org.slf4j.jcl-over-slf4j von 2.0.6 auf 2.0.7
  • org.slf4j.jul-to-slf4j von 2.0.6 auf 2.0.7
  • org.slf4j.slf4j-api von 2.0.6 auf 2.0.7
  • org.xerial.snappy.snappy-java von 1.1.10.1 auf 1.1.10.3
  • org.yaml.snakeyaml von 1.33 auf 2.0

Apache Spark

Databricks Runtime 14.0. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 13.3 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Beheben von aes_decrypt- und ln-Funktionen in Connect
• [SPARK-44980] [ DBRRM-462][sc-141024][PYTHON][connect] Korrektur von geerbten benannten Datentupeln für die Arbeit in createDataFrame
• [SPARK-44795] [ DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache sollte klassenladespezifisch sein
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [ DBRRM-462][sc-139767][CONNECT] Streaming-Abfragen mit der Artefaktverwaltung von Connect kompatibel machen
• [SPARK-44791] [ DBRRM-462][sc-139623][CONNECT] Make ArrowDeserializer work with REPL generated classes
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Arrow-optimierte Python-UDF auf Spark Connect beheben
• [SPARK-44877] [ DBRRM-482][sc-140437][CONNECT][python] Unterstützung von Python-Protobuf-Funktionen für Spark Connect
• [SPARK-44882] [ DBRRM-463][sc-140430][PYTHON][connect] Funktion uuid/random/chr aus PySpark entfernen
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Korrigieren der Metadatenwerte für Artefakte
• [SPARK-44822] [DBRRM-464][Python][SQL] Machen Sie Benutzerdefinierte Tabellenausgabe-Funktionen in Python standardmäßig nichtdeterministisch.
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Arrow Python UDTF refaktorisieren
• [SPARK-44738] [ DBRRM-462][sc-139347][PYTHON][connect] Hinzufügen fehlender Clientmetadaten zu Aufrufen
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType'-Objekt besitzt kein Attribut 'message'.
• [SPARK-44625] [ DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager zum Nachverfolgen aller Ausführungen
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Pfeiloptimierung für Python UDTFs standardmäßig deaktivieren
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Führen Sie ExecuteGrpcResponseSender aus, damit er in einem neuen Thread wieder anschließbar ausgeführt wird, um die Flusssteuerung zu reparieren.
• [SPARK-44656] [ DBRRM-396][sc-138924][CONNECT] Alle Iteratoren zu CloseableIterators machen.
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Retry ExecutePlan für den Fall, dass die anfängliche Anforderung keinen Server im Python-Client erreicht hat
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Ausführungsplan erneut ausführen, falls die erste Anfrage den Server nicht erreicht.
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Fehler, die in sq/api verschoben wurden, sollten auch AnalysisException verwenden
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Hinzufügen Encoders-Objekt
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Folgearbeiten zur Beendigung von Streaming-Abfragen, wenn die Client-Sitzung bei Spark Connect aufgrund eines Zeitüberschreitungsfehlers abläuft.
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute im ExecutePlanResponseReattachableIterator, nachdem ein Fehler vom Server empfangen wurde
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Entfernen der Connect-Client-Catalyst-Abhängigkeit
• [SPARK-44664] [DBRRM-396][python][CONNECT] Ausführung freigeben beim Schließen des Iterators im Python-Client
• [SPARK-44631] [ DBRRM-396][sc-138823][CONNECT][core][14.0.0] Entfernen des sitzungsbasierten Verzeichnisses, wenn der isolierte Sitzungscache entfernt wird
• [SPARK-42941] [ DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [ DBRRM-396][sc-138570][CONNECT] Keine hängen gebliebenen Iteratoren lassen
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Python-Client zum erneuten Verbinden an einer bestehenden Ausführung in Spark Connect
• [SPARK-44637] [SC-138571] Synchronisieren von Zugriffen auf ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Reinstate Row.jsonValue und Freunde
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Wiederverknüpfbare Ausführung in Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Upgrade protobuf von 3.19.5 auf 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Erhöhen des Protobuf-Marshaller-Rekursionslimits
• [SPARK-44591] [SC-138292][connect][SQL] Hinzufügen von JobTags zu SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations sollte Aliasmetadaten beim Erstellen einer neuen Instanz beibehalten.
• [SPARK-44542] [SC-138323][core] SparkExitCode-Klasse im Ausnahmehandler mit Eifer laden
• [SPARK-44264] [ SC-138143][python]E2E-Tests für Deepspeed
• [SPARK-43997] [ SC-138347][connect] Hinzufügen von Unterstützung für Java-UDFs
• [SPARK-44507] [SQL][connect][14.x][14.0] Move AnalysisException to sql/api
• [SPARK-44453] [SC-137013][python] Verwenden Von difflib zum Anzeigen von Fehlern in assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Hinzufügen einer Spark UI-Seite für Spark Connect
• [SPARK-44611] [SC-138415][connect] scala-xml nicht ausschließen
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Verschieben der Encodereinleitung zu sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Problem mit dem Laden von Klassen beheben, verursacht durch…
• [SPARK-44590] [SC-138296][sql][CONNECT] Entfernen des Grenzwerts für den Arrow-Batch-Datensatz bei SqlCommandResult
• [SPARK-43968] [SC-138115][python] Verbessern von Fehlermeldungen für Python UDTFs mit falscher Anzahl von Ausgaben
• [SPARK-44432] [ SC-138293][ss][CONNECT] Beenden von Streamingabfragen, wenn in Spark Connect ein Sitzungstimeout auftritt
• [SPARK-44584] [SC-138295][connect] Setze client_type-Informationen für AddArtifactsRequest und ArtifactStatusesRequest im Scala-Client.
• [SPARK-44552] [14.0][sc-138176][SQL] Entfernen der Definition private object ParseState aus IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Mit Spark Connect aktivieren resample
• [SPARK-44287] [SC-136223][sql] Verwenden Sie die PartitionEvaluator-API in RowToColumnarExec & ColumnarToRowExec SQL-Operatoren.
• [SPARK-39634] [SC-137566][sql] Dateiteilung in Kombination mit Zeilenindexgenerierung zulassen
• [SPARK-44533] [ SC-138058][python] Hinzufügen von Unterstützung für Akkumulator-, Übertragungs- und Spark-Dateien in Python UDTF-Analyse
• [SPARK-44479] [ SC-138146][python] Fix ArrowStreamPandasUDFSerializer für einen pandas DataFrame ohne Spalten
• [SPARK-44425] [SC-138177][connect] Überprüfen, ob die vom Benutzer bereitgestellte SessionId eine UUID ist
• [SPARK-44535] [SC-138038][connect][SQL] Verschieben der erforderlichen Streaming-API in sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Schreiben eines Deepspeed Distributed Learning-Kurses DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Fix ResolveInlineTables können nicht mit RuntimeReplaceable-Ausdruck behandelt werden.
• [SPARK-44060] [SC-135693][sql] Code-Gen für äußere Hashverbindung der übergeordneten Seite mit Umverteilung
• [SPARK-44496] [ SC-137682][sql][CONNECT] Verschieben von Schnittstellen, die von SCSC in sql/api benötigt werden
• [SPARK-44532] [SC-137893][connect][SQL] Verschiebe ArrowUtils zu sql/api
• [SPARK-44413] [SC-137019][python] Klären des Fehlers für nicht unterstützte Arge-Datentyp in assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfo auf common/util verschieben
• [SPARK-36612] [SC-133071][sql] Unterstützung des linken äußeren Verknüpfungsbuilds von links oder rechts im build der äußeren Verknüpfung rechts in der shuffled-Hashverknüpfung
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils hat falsche Parameter für jars generiert
• [SPARK-44449] [SC-137818][connect] Typanhebung für direkte Arrow-Deserialisierung
• [SPARK-44131] [SC-136346][sql] Hinzufügen der Funktion call_function und Außerkraftsetzung von call_udf für die Scala-API
• [SPARK-44541] [SQL] Entfernen der nutzlosen Funktion hasRangeExprAgainstEventTimeCol aus UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition des Filters ist 0, wenn die Bedingung "FalseLiteral" ist
• [SPARK-44540] [SC-137873][ui] Entfernen nicht verwendeter Stylesheet- und Javascript-Dateien von jsonFormatter
• [SPARK-44466] [SC-137856][sql] Schließt Konfigurationen, die mit SPARK_DRIVER_PREFIX und SPARK_EXECUTOR_PREFIX beginnen, von den geänderten Konfigurationen aus.
• [SPARK-44477] [SC-137508][sql] Behandeln von TYPE_CHECK_FAILURE_WITH_HINT als Fehlerunterklasse
• [SPARK-44509] [SC-137855][python][CONNECT] Hinzufügen einer Auftragsabbruch-API im Spark Connect Python-Client
• [SPARK-44059] [SC-137023] Hinzufügen der Analysetoolunterstützung benannter Argumente für integrierte Funktionen
• [SPARK-38476] [ SC-136448][core] Verwenden Sie die Fehlerklasse in org.apache.spark.storage
• [SPARK-44486] [ SC-137817][python][CONNECT] Implementieren des Features von PyArrow self_destruct für toPandas
• [SPARK-44361] [SC-137200][sql] Verwenden der PartitionEvaluator-API in MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Aktualisieren von DataTables auf 1.13.5 und Entfernen einiger nicht mehr erreichbarer PNG-Dateien
• [SPARK-44503] [SC-137808][sql] SQL-Grammatik für PARTITION BY und ORDER BY Klausel nach TABLE Argumenten für TVF-Aufrufe hinzufügen
• [SPARK-38477] [SC-136319][core] Verwenden Sie die Fehlerklasse in org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_227[4-6,8] zu.
• [SPARK-44422] [ SC-137567][connect] Spark Connect feinkörniger Interrupt
• [SPARK-44380] [SC-137415][sql][PYTHON] Unterstützung für Python UDTF zur Analyse in Python
• [SPARK-43923] [ SC-137020][connect] Post listenerBus-Ereignisse durin...
• [SPARK-44303] [SC-136108][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2320-2324] zu.
• [SPARK-44294] [SC-135885][ui] Die HeapHistogram-Spalte wird unerwartet angezeigt mit dem Auswahl-Alle-Feld.
• [SPARK-44409] [SC-136975][sql] Handle char/varchar in Dataset.to, um mit anderen konsistent zu bleiben
• [SPARK-44334] [SC-136576][sql][UI] Der Status in der REST-API-Antwort für eine fehlgeschlagene DDL/DML ohne Aufträge sollte als fehlgeschlagen und nicht als abgeschlossen angegeben werden.
• [SPARK-42309] [ SC-136703][sql] Einführung von INCOMPATIBLE_DATA_TO_TABLE und die Unterklassen.
• [SPARK-44367] [SC-137418][sql][UI] Fehlermeldung auf der Benutzeroberfläche für jede fehlgeschlagene Abfrage anzeigen
• [SPARK-44474] [SC-137195][connect] Erneutes Aktivieren von „Test observe response“ im SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277] zu.
• [SPARK-44310] [SC-136055][connect] Das Verbindungsserver-Startprotokoll sollte den Hostnamen und den Port anzeigen.
• [SPARK-44309] [SC-136193][ui] Anzeigefunktion für das Hinzu-/Entfernen-Zeitpunkt von Ausführungsprozessen auf der Registerkarte "Ausführungsprozesse"
• [SPARK-42898] [SC-137556][sql] Kennzeichnen, dass Zeichenfolgen-/Datumswechsel keine Zeitzonen-ID benötigen
• [SPARK-44475] [SC-137422][sql][CONNECT] Verschieben von DataType und Parser in sql/api
• [SPARK-44484] [SC-137562][ss]Füge batchDuration zur StreamingQueryProgress-json-Methode hinzu.
• [SPARK-43966] [SC-137559][SQL][PYTHON] Unterstützen nicht deterministischer Tabellenwertfunktionen
• [SPARK-44439] [SC-136973][connect][SS] Problem mit listListeners behoben, sodass nur IDs an den Client zurückgesendet werden.
• [SPARK-44341] [SC-137054][SQL][PYTHON] Definieren sie die Computerlogik über die PartitionEvaluator-API und verwenden Sie sie in WindowExec und WindowInPandasExec
• [SPARK-43839] [ SC-132680][sql] Konvertieren _LEGACY_ERROR_TEMP_1337 in UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2305-2309] zu.
• [SPARK-44201] [SC-136778][connect][SS]Unterstützung für Streaming Listener in Scala für Spark Connect hinzufügen
• [SPARK-44260] [SC-135618][sql] Weisen Sie der Fehlerklasse LEGACY_ERROR_TEMP[1215-1245-2329] Namen zu und verwenden Sie checkError(), um die Ausnahme in _CharVarchar_Suite zu prüfen.
• [SPARK-42454] [SC-136913][sql] SPJ: Integration aller SPJ-relevanten Parameter in BatchScanExec
• [SPARK-44292] [SC-135844][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2315-2319] zu.
• [SPARK-44396] [ SC-137221][connect] Direct Arrow Deserialization
• [SPARK-44324] [SC-137172][sql][CONNECT] Move CaseInsensitiveMap to sql/api
• [SPARK-44395] [SC-136744][sql] Füge den Test zurück zur StreamingTableSuite hinzu
• [SPARK-44481] [SC-137401][connect][PYTHON] Mach pyspark.sql.is_remote zu einer API
• [SPARK-44278] [SC-137400][connect] Implementieren eines GRPC-Server-Interceptors zum Bereinigen lokaler Threadeigenschaften
• [SPARK-44264] [SC-137211][ml][PYTHON] Unterstützen verteiltes Training von Funktionen mithilfe von Deepspeed
• [SPARK-44430] [SC-136970][sql] Ursache hinzufügen, AnalysisException wenn die Option ungültig ist
• [SPARK-44264] [SC-137167][ml][PYTHON] Integrieren von FunctionPickler in TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Festlegen der AssertSchemaEqual-API als öffentlich
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch-API
• [SPARK-43203] [SC-134528][sql] Verschiebe alle Drop-Table-Fälle in DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Öffne AdaptiveSparkPlanHelper.allChildren statt kopieren in MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Neugestaltung des TorchDistributor zur Unterstützung eines benutzerdefinierten „run_training_on_file“-Funktionspointers
• [SPARK-43755] [SC-136838][connect] Verschieben der Ausführung aus SparkExecutePlanStreamHandler und in einen anderen Thread
• [SPARK-44411] [SC-137198][sql] Verwenden der PartitionEvaluator-API in ArrowEvalPythonExec und BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Verwenden der PartitionEvaluator-API in DebugExec
• [SPARK-43967] [ SC-137057][python] Unterstützen reguläre Python UDTFs mit leeren Rückgabewerten
• [SPARK-43915] [SC-134766][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2438-2445] zu.
• [SPARK-43965] [SC-136929][python][CONNECT] Unterstützen von Python UDTF in Spark Connect
• [SPARK-44154] [SC-137050][sql] Weitere Komponententests zu BitmapExpressionUtilsSuite hinzugefügt und kleinere Verbesserungen an BitmapAggregatausdrücken vorgenommen
• [SPARK-44169] [SC-135497][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2300-2304] zu.
• [SPARK-44353] [SC-136578][connect][SQL] Entferne StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Unterstützung von Arrow-optimierten Python-UDTFs
• [SPARK-44321] [SC-136308][connect] Entkopplung der ParseException vom AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Test_artifact mit relevanten Änderungen wiederverwenden
• [SPARK-44145] [ SC-136698][sql] Rückruf, wenn sie zur Ausführung bereit ist
• [SPARK-43983] [SC-136404][python][ML][connect] Aktivieren des Tests für Cross-Validator
• [SPARK-44399] [SC-136669][pyhton][CONNECT] Importieren von SparkSession in Python UDF nur, wenn useArrow keine ist
• [SPARK-43631] [SC-135300][connect][PS] Aktivieren Sie Series.interpolate mit Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Fügen Sie Beispielcode für verteilte ML für Spark Connect hinzu.
• [SPARK-44282] [SC-135948][connect] Vorbereiten der DataType-Analyse für die Verwendung in Spark Connect Scala Client
• [SPARK-44052] [SC-134469][connect][PS] Hilfsfunktion hinzufügen, um die richtige Column- oder DataFrame-Klasse für Spark Connect zu erhalten.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementierung des Kreuzvalidierungs-Schätzers
• [SPARK-44290] [ SC-136300][connect] Sitzungsbasierte Dateien und Archive in Spark Connect
• [SPARK-43710] [ SC-134860][ps][CONNECT] Unterstützung functions.date_part für Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Bereinigung und Konsolidierung von Tickets, um Aufgaben zu vereinfachen.
• [SPARK-44150] [SC-135790][python][CONNECT] Explizite Pfeilwandlung für nicht übereinstimmenden Rückgabetyp in Arrow Python UDF
• [SPARK-43903] [SC-134754][python][CONNECT] Verbessern der ArrayType-Eingabeunterstützung in Arrow Python UDF
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Klassifizierungsbewertung implementieren
• [SPARK-44255] [SC-135704][sql] Verschieben von StorageLevel in gemeinsame/utils
• [SPARK-42169] [SC-135735] [SQL] Implementieren der Codegenerierung für to_csv-Funktion (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refactor PythonUDTFRunner, um den Rückgabetyp separat zu senden
• [SPARK-43353] [SC-132734][python] Migrieren verbleibender Sitzungsfehler in fehlerklasse
• [SPARK-44133] [SC-134795][python] Upgrade MyPy von 0.920 auf 0.9822
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde im JSON-Format
• [SPARK-43353] Rückgängigmachen von "[SC-132734][es-729763][PYTHON] Migrieren verbleibender Sitzungsfehler in Fehlerklasse"
• [SPARK-44100] [ SC-134576][ml][CONNECT][python] Verschieben des Namespace von pyspark.mlv2 zu pyspark.ml.connect
• [SPARK-44220] [ SC-135484][sql] StringConcat in sql/api verschieben
• [SPARK-43992] [ SC-133645][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listFunctions hinzu.
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementierung eines Pipeline-Schätzers für ML auf Spark Connect
• [SPARK-43888] [SC-132893][core] Verlagern der Protokollierung zu gemeinsamen Dienstprogrammen
• [SPARK-42941] Wiederherstellen von "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde im JSON-Format"
• [SPARK-43624] [SC-134557][ps][CONNECT] Zu SparkConnectPlanner hinzufügen EWM .
• [SPARK-43981] [SC-134137][python][ML] Grundlegende Speicher-/Ladeimplementierung für ML bei Spark Connect
• [SPARK-43205] [SC-133371][sql] Fehlerbehebung SQLQueryTestSuite
• [SPARK-43376] Zurücksetzen von “[SC-130433][sql] Verbessern der Wiederverwendung von Unterabfragen mit Tabellencache”
• [SPARK-44040] [SC-134366][sql] Berechnung von Statistiken korrigieren, wenn der AggregateExec-Knoten über dem QueryStageExec liegt
• [SPARK-43919] [SC-133374][sql] Extrahierung der JSON-Funktionalität aus Zeile
• [SPARK-42618] [SC-134433][python][PS] Warnung für die Änderungen des pandasbezogenen Verhaltens in der nächsten Hauptversion
• [SPARK-43893] [SC-133381][python][CONNECT] Nicht-atomische Datentypunterstützung in pfeiloptimierten Python-UDF
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] In Spark Connect aktivieren pyspark.pandas.spark.functions.{kurt, skew} .
• [SPARK-43798] [SC-133990][sql][PYTHON] Unterstützen von benutzerdefinierten Python-Tabellenfunktionen
• [SPARK-43616] [SC-133849][ps][CONNECT] In Spark Connect aktivieren pyspark.pandas.spark.functions.mode
• [SPARK-43133] [SC-133728] DataStreamWriter-Foreach-Unterstützung in Scala-Client
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) für Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Aktivieren pyspark.pandas.spark.functions.{var, stddev} in Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] In Spark Connect aktivieren pyspark.pandas.spark.functions.product
• [SPARK-43610] [SC-133832][connect][PS] In Spark Connect aktivieren InternalFrame.attach_distributed_column .
• [SPARK-43621] [SC-133852][ps][CONNECT] In Spark Connect aktivieren pyspark.pandas.spark.functions.repeat
• [SPARK-43921] [SC-133461][protobuf] Generieren von Protobuf-Deskriptordateien während des Erstellungsprozesses
• [SPARK-43613] [SC-133727][ps][CONNECT] In Spark Connect aktivieren pyspark.pandas.spark.functions.covar
• [SPARK-43376] [SC-130433][sql] Verbessern der Wiederverwendung von Unterabfragen mit Tabellencache
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementieren von SparkSession.addArtifact(s) in Python-Client
• [SPARK-43920] [SC-133611][sql][CONNECT] Sql/API-Modul erstellen
• [SPARK-43097] [SC-133372][ml] Neuer pyspark ML-Logistikregressionsschätzer, der auf dem Verteiler implementiert wurde
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] MLv2 (ML on spark connect) unterstützt Pandas >= 2,0
• [SPARK-43024] [ SC-132716][python] Aktualisieren von Pandas auf 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listDatabases hinzu.
• [SPARK-39281] [SC-131422][sql] Beschleunigung der Zeitstempeltyperkennung mit Legacy-Format in der JSON/CSV-Datenquelle
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listCatalogs hinzu.
• [SPARK-43132] [SC-131623] [SS] [CONNECT] DataStreamWriter-foreach()-API in Python-Client
• [SPARK-43545] [SC-132378][sql][PYTHON] Unterstützung des geschachtelten Zeitstempeltyps
• [SPARK-43353] [SC-132734][python] Migrieren verbleibender Sitzungsfehler in fehlerklasse
• [SPARK-43304] [ SC-129969][connect][PYTHON] Migrieren NotImplementedError zu PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Basisschnittstellen von sparkML für spark3.5: estimator/transformer/model/evaluator
• [SPARK-43128] Wiederherstellen von "[SC-131628][connect][SS] Make recentProgress and lastProgress return StreamingQueryProgress consistent with the native Scala API"
• [SPARK-43543] [SC-131839][python] Beheben des geschachtelten MapType-Verhaltens in Pandas UDF
• [SPARK-38469] [SC-131425][core] Verwenden Sie die Fehlerklasse in org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Erweitern INTERNAL_ERROR mit Kategorien und Hinzufügen von Fehlerklassen INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Verschieben des Fehlerframeworks in ein allgemeines utils-Modul
• [SPARK-43440] [SC-131229][python][CONNECT] Unterstützung der Registrierung einer Arrow-optimierten Python-UDF
• [SPARK-43528] [SC-131531][sql][PYTHON] Unterstützen duplizierter Feldnamen in createDataFrame mit Pandas DataFrame
• [SPARK-43412] [SC-130990][python][CONNECT] Einführung von SQL_ARROW_BATCHED_UDF EvalType für pfeiloptimierte Python-UDFs
• [SPARK-40912] [SC-130986][core]Overhead von Ausnahmen im KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Beschleunigung der Typableitung von Zeitstempeln mit benutzerdefiniertem Format in JSON/CSV-Datenquellen
• [SPARK-43473] [SC-131372][python] Unterstützung des Strukturtyps bei der Erstellung eines DataFrame aus einem Pandas DataFrame
• [SPARK-43443] [SC-131024][sql] Benchmark für die Typableitung von Zeitstempeln bei Verwendung ungültiger Werte hinzufügen
• [SPARK-41532] [SC-130523][connect][CLIENT] Fügen Sie die Überprüfung auf Vorgänge hinzu, die mehrere Datenframes umfassen
• [SPARK-43296] [SC-130627][connect][PYTHON] Sitzungsfehler von Spark Connect in die Fehlerklasse migrieren
• [SPARK-43324] [SC-130455][sql] Verarbeitung von Befehlen für deltabasierte Quellen
• [SPARK-43347] [ SC-130148][python] Python 3.7-Unterstützung entfernen
• [SPARK-43292] [SC-130525][core][CONNECT] Wechsle ExecutorClassLoader zu core Modul und vereinfache Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Hinzufügen des TorchDistributor-Datenladeprogramms, das Daten aus Spark-Partitionsdaten lädt
• [SPARK-43331] [ SC-130061][connect] Spark Connect SparkSession.interruptAll hinzufügen
• [SPARK-43306] [SC-130320][python] Migrieren ValueError von Spark SQL-Typen zur Fehlerklasse
• [SPARK-43261] [SC-129674][python] Migrieren Sie TypeError von Spark SQL-Typen in die Fehlerklasse.
• [SPARK-42992] [ SC-129465][python] Führt PySparkRuntimeError ein
• [SPARK-16484] [SC-129975][sql] Hinzufügen von Unterstützung für Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Verschieben von canWrite zu DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] Pfeiloptimierte Python-UDFs in Spark Connect
• [SPARK-43084] [SC-128654] [SS] Hinzufügen von ApplyInPandasWithState-Unterstützung für Spark Connect
• [SPARK-42657] [SC-128621][connect] Unterstützung zum Suchen und Übertragen von clientseitigen REPL-Klassendateien als Artefakte auf den Server
• [SPARK-43098] [SC-77059][sql] Korrektur der Richtigkeit des COUNT-Fehlers bei skalaren Unterabfragen mit GROUP BY-Klausel
• [SPARK-42884] [SC-126662][connect] Hinzufügen der Ammonite-REPL-Integration
• [SPARK-42994] [ SC-128333][ml][CONNECT] PyTorch-Distributor unterstützt den lokalen Modus
• [SPARK-41498] [SC-125343]Zurücksetzen von „Weitergeben von Metadaten über Union“
• [SPARK-42993] [SC-127829][ml][CONNECT] Den PyTorch Distributor mit Spark Connect kompatibel machen
• [SPARK-42683] [LC-75] Automatisches Umbenennen in Konflikt stehender Metadatenspalten
• [SPARK-42874] [SC-126442][sql] Aktivieren eines neuen Golden-Dateitestframeworks für die Analyse aller Eingabedateien
• [SPARK-42779] [SC-126042][sql] Zulassen, dass V2-Schreibvorgänge die empfohlene Shuffle-Partitionsgröße angeben
• [SPARK-42891] [SC-126458][connect][PYTHON] Implementieren der CoGrouped Map API
• [SPARK-42791] [ SC-126134][sql] Erstellen eines neuen goldenen Dateitestframeworks für die Analyse
• [SPARK-42615] [SC-124237][connect][PYTHON] Überarbeiten Sie das AnalyzePlan-RPC und fügen Sie session.version hinzu.
• [SPARK-41302] Rückgängig machen von “[ALLE TESTS][sc-122423][SQL] Zuweisen des Namens zu _LEGACY_ERROR_TEMP_1185”
• [SPARK-40770] [SC-122652][python] Verbesserte Fehlermeldungen für applyInPandas für Schemakonflikt
• [SPARK-40770] Änderungen bei “[ALLE TESTS][sc-122652][PYTHON] Verbesserte Fehlermeldungen für applyInPandas bei Schemaabweichung” rückgängig machen
• [SPARK-42398] [SC-123500][sql] Standardspaltenwert DS v2-Schnittstelle verfeinern
• [SPARK-40770] [ALLE TESTS][sc-122652][PYTHON] Verbesserte Fehlermeldungen für applyInPandas bei Schema-Unstimmigkeit
• [SPARK-40770] Rückgängig machen von "[SC-122652][python] Verbesserte Fehlermeldungen für applyInPandas bei Schemakonflikt"
• [SPARK-40770] [SC-122652][python] Verbesserte Fehlermeldungen für applyInPandas für Schemakonflikt
• [SPARK-42038] [ ALLE TESTS] Wiederherstellen "[SC-122533][sql] SPJ: Teilweise gruppierte Verteilung unterstützen""
• [SPARK-42038] Wiederherstellen von "[SC-122533][sql] SPJ: Unterstützung teilweise gruppierter Verteilung"
• [SPARK-42038] [SC-122533][sql] SPJ: Unterstützung teilweise gruppierter Verteilung
• [SPARK-40550] [SC-120989][sql] DataSource V2: Behandeln von DELETE-Befehlen für deltabasierte Quellen
• [SPARK-40770] Rückgängig machen von "[SC-122652][python] Verbesserte Fehlermeldungen für applyInPandas bei Schemakonflikt"
• [SPARK-40770] [SC-122652][python] Verbesserte Fehlermeldungen für applyInPandas für Schemakonflikt
• [SPARK-41302] Rückgängig machen von "[SC-122423][sql] Zuweisen von Namen zu _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Rückgängig machen von "[SC-120989][sql] DataSource V2: Behandlung von DELETE-Befehlen für delta-basierte Quellen"
• [SPARK-42123] Rückgängigmachen “[SC-121453][sql] Einschließen von Spaltenstandardwerten in DESCRIBE und SHOW CREATE TABLE Ausgabe”
• [SPARK-42146] [SC-121172][core] Refaktorisieren Utils#setStringField, um den Maven-Build erfolgreich abzuschließen, wenn das SQL-Modul diese Methode verwendet.
• [SPARK-42119] Rückgängig machen von "[SC-121342][sql] Hinzufügen integrierter Tabellenwertfunktionen inline und inline_outer"

Höhepunkte

• Korrigieren der Funktionen aes_decryp und ln in Connect SPARK-45109
• Korrigieren geerbter benannter Tupel für die Arbeit in createDataFrame SPARK-44980
• CodeGenerator Cache ist jetzt Classloader-spezifisch[SPARK-44795].
• SparkListenerConnectOperationStarted.planRequest wurde hinzugefügt. [SPARK-44861]
• Streamingabfragen mit der Artefaktverwaltung von Connect funktionsfähig machen [SPARK-44794]
• ArrowDeserializer funktioniert mit REPL-generierten Klassen [SPARK-44791]
• Arrow-optimierte Python-UDF für Spark Connect [SPARK-44876] wurde korrigiert.
• Scala- und Go-Clientunterstützung in Spark Connect SPARK-42554SPARK-43351
• PyTorch-basierte verteilte ML-Unterstützung für Spark Connect SPARK-42471
• Unterstützung für strukturiertes Streaming für Spark Connect in Python und Scala SPARK-42938
• Pandas-API-Unterstützung für den Python Spark Connect Client SPARK-42497
• Einführung von Arrow Python UDFs SPARK-40307
• Unterstützen von benutzerdefinierten Python-Tabellenfunktionen SPARK-43798
• Migrieren von PySpark-Fehlern auf Fehlerklassen SPARK-42986
• PySpark-Test-Framework SPARK-44042
• Unterstützung für Datasketches HllSketch hinzufügen SPARK-16484
• Integrierte SQL-Funktionsverbesserung SPARK-41231
• IDENTIFIERKlausel SPARK-43205
• Hinzufügen von SQL-Funktionen zu Scala, Python und R-API SPARK-43907
• Hinzufügen der Unterstützung von benannten Argumenten für SQL-Funktionen SPARK-43922
• Vermeiden Sie unnötige erneute Aufgabenausführungen auf außer Betrieb gesetztem Executor, der verloren geht, wenn Shuffle-Daten migriert werden SPARK-41469
• Verteiltes ML <> Spark Connect SPARK-42471
• DeepSpeed-Verteiler SPARK-44264
• Implementieren des Änderungsprotokollprüfpunkts für den RocksDB-Zustandsspeicher SPARK-43421
• Einführung der Wasserzeichenweitergabe zwischen Betreibern SPARK-42376
• Einführung von dropDuplicatesWithinWatermark SPARK-42931
• Verbesserungen des RocksDB-Zustandsspeicheranbieters für die Speicherverwaltung SPARK-43311

Spark Connect

• Refactoring des SQL-Moduls in sql und sql-api, um eine minimale Menge von Abhängigkeiten zu erzeugen, die zwischen dem Scala Spark Connect-Client und Spark gemeinsam genutzt werden können, und verhindert das Abrufen aller transitiven Spark-Abhängigkeiten. SPARK-44273
• Einführung des Scala-Clients für Spark Connect SPARK-42554
• Pandas-API-Unterstützung für den Python Spark Connect Client SPARK-42497
• PyTorch-basierte verteilte ML-Unterstützung für Spark Connect SPARK-42471
• Unterstützung für strukturiertes Streaming für Spark Connect in Python und Scala SPARK-42938
• Erste Version des Go-Clients SPARK-43351
• Verbesserungen der Kompatibilität zwischen Spark native und Spark Connect-Clients in Python und Scala
• Verbesserte Debugbarkeit und Anforderungsverarbeitung für Clientanwendungen (asynchrone Verarbeitung, Wiederholungen, langlebige Abfragen)

Spark SQL

Funktionen

• Start und Länge der Metadatenspaltendatei hinzufügen SPARK-42423
• Unterstützung von Positionsparametern in Scala/Java sql() SPARK-44066
• Hinzufügen der Unterstützung benannter Parameter im Parser für Funktionsaufrufe SPARK-43922
• Unterstützung SELECT DEFAULT mit ORDER BY, LIMIT, OFFSET für die INSERT Quellbeziehung SPARK-43071
• Hinzufügen von SQL-Grammatik für PARTITION BY und ORDER BY Klausel nach TABLE Argumenten für TVF-Aufrufe SPARK-44503
• Standardwerte der Spalten in DESCRIBE und SHOW CREATE TABLE-Ausgabe einbeziehen SPARK-42123
• Optionales Muster für Catalog.listCatalogs hinzufügen SPARK-43792
• Optionales Muster für Catalog.listDatabases hinzufügen SPARK-43881
• Rückruf, wenn für Ausführung bereit SPARK-44145
• Unterstützen der Insert By Name-Anweisung SPARK-42750
• Hinzufügen von call_function für Scala-API SPARK-44131
• Stabile abgeleitete Spaltenaliase SPARK-40822
• Unterstützen allgemeiner Konstantenausdrücke als CREATE/REPLACE TABLEOPTIONS-Werte SPARK-43529
• Unterstützung von Unterabfragen mit Korrelation über INTERSECT/EXCEPT SPARK-36124
• IDENTIFIERKlausel SPARK-43205
• ANSI MODE: Conv sollte einen Fehler zurückgeben, wenn die interne Konvertierung überläuft SPARK-42427

Funktionen

• Unterstützung für Datasketches HllSketch hinzufügen SPARK-16484
• Unterstützung des CBC-Modus durch aes_encrypt()/aes_decrypt() SPARK-43038
• Unterstützung der Argumentparserregel TABLE für die Table-Valued Function SPARK-44200
• Implementieren von Bitmapfunktionen SPARK-44154
• Hinzufügen der Funktion try_aes_decrypt() SPARK-42701
• array_insert sollte mit 0 Index fehlschlagen SPARK-43011
• Hinzufügen von to_varchar Alias für to_char SPARK-43815
• Funktion hoher Ordnung: array_compact-Implementierung SPARK-41235
• Hinzufügen der Analysetoolunterstützung benannter Argumente für integrierte Funktionen SPARK-44059
• NULL für INSERT-Befehle mit vom Benutzer angegebenen Listen mit weniger Spalten als die Zieltabelle hinzufügen SPARK-42521
• Hinzufügen der Unterstützung für aes_encrypt-IVs und AAD SPARK-43290
• DECODE-Funktion gibt falsche Ergebnisse zurück, wenn NULL übergeben wurde SPARK-41668
• Unterstützung von udf 'luhn_check' SPARK-42191
• Unterstützung der impliziten Auflösung des Alias von lateralen Spalten für Aggregat SPARK-41631
• Unterstützung impliziter lateraler Spaltenalias in Abfragen mit Window SPARK-42217
• Hinzufügen von 3-args-Funktionsaliasen DATE_ADD und DATE_DIFF SPARK-43492

Data Sources (Datenquellen)

• Char/Varchar-Unterstützung für JDBC-Katalog SPARK-42904
• Unterstützen des dynamischen Abrufs von SQL-Schlüsselwörtern über JDBC-API und TVF SPARK-43119
• DataSource V2: Behandeln von MERGE-Befehlen für deltabasierte Quellen SPARK-43885
• DataSource V2: Behandeln von MERGE-Befehlen für gruppenbasierte Quellen SPARK-43963
• DataSource V2: Verarbeiten von UPDATE Befehlen für gruppenbasierte Quellen SPARK-43975
• DataSource V2: Zulassen der Darstellung von Updates als Lösch- und Einfügevorgänge SPARK-43775
• Ermöglichen des Überschreibens der Abfrage zum Erstellen einer Tabelle für JDBC-Dialekte SPARK-41516
• SPJ: Unterstützen teilweise gruppierter Verteilung SPARK-42038
• DSv2 ermöglicht CTAS/RTAS das Beibehalten von Schema-NULL-Zulässigkeit SPARK-43390
• Hinzufügen von spark.sql.files.maxPartitionNum SPARK-44021
• Verarbeiten von UPDATE Befehlen für deltabasierte Quellen SPARK-43324
• Zulassen von V2-Schreibvorgängen, um Größenempfehlung für Shufflepartitionen anzugeben SPARK-42779
• Unterstützung des lz4raw-Kompressionscodec für Parquet SPARK-43273
• Avro: Schreiben komplexer Unions SPARK-25050
• Beschleunigen des Zeitstempel-Typrückschlusses mit benutzerdefiniertem Format in JSON-/CSV-Datenquelle SPARK-39280
• Avro-Unterstützung für benutzerdefinierte Dezimaltypen, gestützt von Long SPARK-43901
• Vermeiden von Mischvorgängen im speicherpartitionierten Join, wenn die Partitionsschlüssel nicht übereinstimmen, die Join-Ausdrücke aber kompatibel sind SPARK-41413
• Ändern der Binärdatei in nicht unterstützten dataType im CSV-Format SPARK-42237
• Gestatten der Konvertierung des Union-Typs in SQL für Avro, wobei der Feldname mit dem Typ stabil bleibt SPARK-43333
• Beschleunigen des Zeitstempel-Typrückschlusses mit älterem Format in JSON-/CSV-Datenquelle SPARK-39281

Abfrageoptimierung

• Unterstützen der Beseitigung von Unterausdruck bei Verknüpfungsausdruck SPARK-42815
• Verbessern der Bewertung von Joinstatistiken, wenn eine Seite die Eindeutigkeit beibehalten kann SPARK-39851
• Einführen des Fenster-Gruppengrenzwerts für rangbasierte Filter zur Optimierung der Top-K-Berechnung SPARK-37099
• Beheben des Verhaltens von null IN (leere Liste) in Optimierungsregeln SPARK-44431
• Rückschließen und Herabsetzen des Fensterlimits, wenn partitionSpec leer ist SPARK-41171
• Entfernen des äußeren Joins, wenn es sich um verschiedene Aggregatfunktionen handelt SPARK-42583
• Reduzieren von zwei benachbarten Fenstern mit derselben Partition/Reihenfolge in Unterabfragen SPARK-42525
• Pushdownlimit über Python-UDFs SPARK-42115
• Optimierung der Reihenfolge der Filter-Prädikate SPARK-40045

Codegenerierung und Abfrageausführung

• Der Runtime-Filter sollte eine Mehrebenen-Shuffle-Join-Seite als Filtererstellungsseite unterstützen SPARK-41674
• Codegen-Unterstützung für HiveSimpleUDF SPARK-42052
• Codegen-Unterstützung für HiveGenericUDF SPARK-42051
• Codegenerierungs-Unterstützung für buildseitigen äußeren gemischten Hashjoin SPARK-44060
• Implementieren der Codegenerierung für to_csv-Funktion (StructsToCsv) SPARK-42169
• Ermöglichen der Unterstützung von AQE für inMemoryTableScanExec SPARK-42101
• Unterstützen des linken äußeren Joinbuilds links oder der rechten äußeren Joinbuilds rechts im gemischten Hashjoin SPARK-36612
• [SPARK-43088] [SC-128403][SQL] Beachten von RequiresDistributionAndOrdering in CTAS/RTAS
• Zusammenfügen von Buckets in Join, die auf der Broadcastjoin-Streamseite angewendet wurden SPARK-43107
• Korrektes Festlegen von „Nullwerte zulassend“ bei zusammengeführtem Joinschlüssel in vollständigem äußerem USING-Join SPARK-44251
• Beheben der NULL-Zulässigkeit der IN-Unterabfrage ListQuery SPARK-43413

Andere wichtige Änderungen

• Korrektes Festlegen von Nullwerte zulassenden Elementen für Schlüssel in USING-Joins SPARK-43718
• Beheben des Fehlers COUNT(*) ist null in korrelierten skalaren Unterabfragen SPARK-43156
• Der äußere Join von Dataframe.joinWith sollte einen NULL-Wert für nicht übereinstimmende Zeilen zurückgeben SPARK-37829
• Automatisches Umbenennen in Konflikt stehender Metadatenspalten SPARK-42683
• Dokumentieren der Spark-SQL-Fehlerklassen in der benutzerdefinierten Dokumentation SPARK-42706

PySpark

Funktionen

• Unterstützung von Positionsparametern in Python sql() SPARK-44140
• Unterstützung von parametrisierter SQL durch sql() SPARK-41666
• Unterstützen von benutzerdefinierten Python-Tabellenfunktionen SPARK-43797
• Unterstützung für das Festlegen einer ausführbaren Python-Datei für UDF- und Pandas-Funktions-APIs in Workern während der Laufzeit SPARK-43574
• Hinzufügen von DataFrame.offset zu PySpark SPARK-43213
• Implementieren von dir() in pyspark.sql.dataframe.DataFrame, um Spalten einzubeziehen SPARK-43270
• Hinzufügen einer Option zum Verwenden von Vektoren mit großer variabler Breite für Arrow-UDF-Vorgänge SPARK-39979
• Ermöglichen der Unterstützung von mapInPandas / mapInArrow für die Ausführung des Barrieremodus SPARK-42896
• Hinzufügen von JobTag-APIs zu PySpark SparkContext SPARK-44194
• Unterstützung für Python-UDTF zum Analysieren in Python SPARK-44380
• Verfügbarmachen von TimestampNTZType in pyspark.sql.types SPARK-43759
• Unterstützung des geschachtelten Zeitstempeltyps SPARK-43545
• Unterstützung für UserDefinedType in createDataFrame von pandas DataFrame und toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Hinzufügen binärer Deskriptoroption zur Pyspark Protobuf-API SPARK-43799
• Akzeptieren von Generics-Tupel als Eingabehinweise für Pandas-UDF SPARK-43886
• Hinzufügen der array_prepend-Funktion SPARK-41233
• Hinzufügen der AssertDataFrameEqual util-Funktion SPARK-44061
• Unterstützen von für Arrow optimierten Python-UDTFs SPARK-43964
• Zulassen der benutzerdefinierten Genauigkeit für fp approx-Gleichheit SPARK-44217
• Festlegen der AssertSchemaEqual-API als öffentlich SPARK-44216
• Unterstützung von fill_value für ps.Series SPARK-42094
• Unterstützen des Strukturtyps in createDataFrame aus Pandas-DataFrame SPARK-43473

Andere wichtige Änderungen

• Hinzufügen von AutoVervollständigen-Unterstützung für df[|] in pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Einstellen und Entfernen der APIs, die in Pandas 2.0 entfernt werden [SPARK-42593]
• Python zur ersten Registerkarte für Codebeispiele machen – Spark SQL, DataFrames und Datasets Guide SPARK-42493
• Aktualisieren der verbleibenden Codebeispiele in der Spark-Dokumentation zum standardmäßigen Anzeigen von Python SPARK-42642
• Verwenden von deduplizierten Feldnamen beim Erstellen von Arrow RecordBatch [SPARK-41971]
• Unterstützen duplizierter Feldnamen in createDataFrame mit Pandas-DataFrame [SPARK-43528]
• columns-Parameter beim Erstellen von DataFrame mit Series zulassen [SPARK-42194]

Kernspeicher

• Planen von MergeFinalize, wenn Pushen der Zusammenführung von shuffleMapStage neu versucht wird, aber keine ausgeführten Tasks vorhanden sind SPARK-40082
• Einführen von PartitionEvaluator für die Ausführung des SQL-Operators SPARK-43061
• Ermöglichen der Deklaration der zuverlässigen Speicherung von Shuffledaten für ShuffleDriverComponent SPARK-42689
• Hinzufügen eines Grenzwerts für die maximale Anzahl von Versuchen für Stages, um potenziell endlose Wiederholungen zu vermeiden SPARK-42577
• Unterstützen der Konfiguration auf Protokollebene mit statischer Spark-Konfiguration SPARK-43782
• Optimieren von PercentileHeap SPARK-42528
• Argument „reason“ zu TaskScheduler.cancelTasks hinzufügen SPARK-42602
• Vermeiden Sie unnötige erneute Aufgabenausführungen auf außer Betrieb gesetztem Executor, der verloren geht, wenn Shuffle-Daten migriert werden SPARK-41469
• Korrigieren der zu gering erfassten Akkumulatoranzahl im Fall der Wiederholungsaufgabe mit RDD-Cache SPARK-41497
• Standardmäßiges Verwenden von RocksDB für spark.history.store.hybridStore.diskBackend SPARK-42277
• NonFateSharingCache-Wrapper für Guava Cache SPARK-43300
• Verbessern der Leistung von MapOutputTracker.updateMapOutput SPARK-43043
• Zulassen, dass Apps steuern können, ob ihre Metadaten vom externen Shuffledienst in der Datenbank gespeichert werden SPARK-43179
• Hinzufügen von SPARK_DRIVER_POD_IP env-Variable zu Executor-Pods SPARK-42769
• Bindet die hadoop-ConfigMap auf dem Executor-Pod ein SPARK-43504

Strukturiertes Streaming

• Hinzufügen von Unterstützung für die Nachverfolgung der Speicherauslastung angehefteter Blöcke für den RocksDB-Zustandsspeicher SPARK-43120
• Hinzufügen von Verbesserungen des RocksDB-Zustandsspeicheranbieters für die Speicherverwaltung SPARK-43311
• Einführung von dropDuplicatesWithinWatermark SPARK-42931
• Einführen eines neuen Rückrufs „onQueryIdle“ für StreamingQueryListener SPARK-43183
• Hinzufügen der Option zum Überspringen des Commitkoordinators als Teil der StreamingWrite-API für DSv2-Quellen/-Senken SPARK-42968
• Einführen eines neuen Rückrufs „onQueryIdle“ für StreamingQueryListener SPARK-43183
• Implementieren von Änderungsprotokoll-basierten Prüfpunkten für Anbieter des RocksDB-Zustandsspeichers SPARK-43421
• Hinzufügen von Unterstützung für WRITE_FLUSH_BYTES für beim Streaming zustandsbehafteter Operatoren verwendete RocksDB SPARK-42792
• Hinzufügen von Unterstützung für das Festlegen von max_write_buffer_number und write_buffer_size für beim Streaming verwendete RocksDB SPARK-42819
• RocksDB StateStore-Lock-Erfassung sollte erfolgen, nachdem der Eingabe-Iterator von inputRDD abgerufen wurde SPARK-42566
• Einführung der Wasserzeichenweitergabe zwischen Betreibern SPARK-42376
• Bereinigen von verwaisten Dateien und Protokolldateien im RocksDB-Prüfpunktverzeichnis SPARK-42353
• Erweitern von QueryTerminatedEvent um eine Fehlerklasse, wenn sie in der Ausnahme vorhanden ist SPARK-43482

Maschinelles Lernen

• Unterstützen des verteilten Trainings von Funktionen mithilfe von Deepspeed SPARK-44264
• Basisschnittstellen von sparkML für spark3.5: estimator/transformer/model/evaluator SPARK-43516
• MLv2-Unterstützung (ML in Spark Connect) für Pandas >= 2.0 SPARK-43783
• Aktualisieren von MLv2-Transformatorschnittstellen SPARK-43516
• Neuer pyspark-ML-Schätzer für logistische Regression oberhalb des Verteilers implementiert SPARK-43097
• Erneutes Hinzufügen von Classifier.getNumClasses SPARK-42526
• Schreiben einer Deepspeed-Klasse DeepspeedTorchDistributor für verteiltes Lernen SPARK-44264
• Grundlegende Implementierung zum Speichern/Laden von ML in Spark Connect SPARK-43981
• Verbessern des Speicherns des logistischen Regressionsmodells SPARK-43097
• Implementieren eines Pipelineschätzers für ML in Spark Connect SPARK-43982
• Implementieren eines Validierungssteuerelement-übergreifenden Schätzers SPARK-43983
• Implementieren der Klassifizierungsauswertung SPARK-44250
• Herstellen von Kompatibilität des PyTorch-Verteilers mit Spark Connect SPARK-42993

Benutzeroberfläche

• Hinzufügen einer Spark UI-Seite für Spark Connect SPARK-44394
• Unterstützung der Heap-Histogrammspalte auf der Registerkarte „Executors“ SPARK-44153
• Anzeigen einer Fehlermeldung für jede fehlgeschlagene Abfrage auf der Benutzeroberfläche SPARK-44367
• Anzeigen der Zeit für Hinzufügen/Entfernen von Executors auf der Registerkarte „Executors“ SPARK-44309

Build und andere

• Entfernen der Unterstützung für Python 3.7 SPARK-43347
• Erhöhen der PyArrow-Mindestversion auf 4.0.0 SPARK-44183
• Unterstützung von R 4.3.1 SPARK-43447SPARK-44192
• Hinzufügen von JobTag-APIs zu SparkR SparkContext SPARK-44195
• Hinzufügen von mathematischen Funktionen zu SparkR SPARK-44349
• Upgrade von Parquet auf 1.13.1 SPARK-43519
• Upgrade von ASM auf 9.5 SPARK-43537SPARK-43588
• Upgrade von rocksdbjni auf 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Upgrade von Netty auf 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Upgrade von zstd-jni auf 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465
• Upgrade von dropwizard.metrics auf 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Upgrade von gcs-connector auf 2.2.14 SPARK-42888SPARK-43842
• Upgrade von commons-crypto auf 1.2.0 SPARK-42488
• Upgrade von scala-parser-combinators von 2.1.1 auf 2.2.0 SPARK-42489
• Upgrade von protobuf-java auf 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Upgrade von commons-codec auf 1.16.0 SPARK-44151
• Upgrade von Apache Kafka auf 3.4.1 SPARK-42396SPARK-44181
• Upgrade von RoaringBitmap auf 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Aktualisierung von ORC auf 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Upgrade auf Avro 1.11.2 SPARK-44277
• Upgrade von commons-compress auf 1.23.0 SPARK-43102
• Upgrade von joda-time von 2.12.2 auf 2.12.5 SPARK-43008
• Upgrade von snappy-java auf 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Upgrade von mysql-connector-java von 8.0.31 auf 8.0.32 SPARK-42717
• Upgrade von Apache Arrow auf 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Upgrade von commons-io auf 2.12.0 SPARK-43739
• Upgrade von Apache commons-io auf 2.13.0 SPARK-43739SPARK-44028
• Upgrade von fasterxml.jackson auf 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Upgrade von log4j 2 auf 2.20.0 SPARK-42536
• Upgrade von slf4j auf 2.0.7 SPARK-42871
• Upgrade von numpy und pandas in der Release-Dockerfile SPARK-42524
• Upgrade von Jersey auf 2.40 SPARK-44316
• Upgrade von H2 von 2.1.214 auf 2.2.220 SPARK-44393
• Upgrade von optionator auf ^0.9.3 SPARK-44279
• Upgrade von bcprov-jdk15on und bcpkix-jdk15on auf 1.70 SPARK-44441
• Upgrade von mlflow auf 2.3.1 SPARK-43344
• Upgrade von Tink auf 1.9.0 SPARK-42780
• Upgrade von silencer auf 1.7.13 SPARK-41787SPARK-44031
• Upgrade von Ammonite auf 2.5.9 SPARK-44041
• Upgrade von Scala auf 2.12.18 SPARK-43832
• Upgrade von org.scalatestplus:selenium-4-4 auf org.scalatestplus:selenium-4-7 SPARK-41587
• Upgrade von minimatch auf 3.1.2 SPARK-41634
• Upgrade von sbt-assembly von 2.0.0 auf 2.1.0 SPARK-41704
• Update von Maven-checkstyle-plugin von 3.1.2 auf 3.2.0 SPARK-41714
• Upgrade von dev.ludovic.netlib auf 3.0.3 SPARK-41750
• Upgrade von hive-storage-api auf 2.8.1 SPARK-41798
• Upgrade von Apache httpcore auf 4.4.16 SPARK-41802
• Upgrade von Jetty auf 9.4.52.v20230823 SPARK-45052
• Upgrade von compress-lzf auf 1.1.2 SPARK-42274

Entfernungen, Verhaltensänderungen und Einstellungen

Bevorstehende Entfernung

Die folgenden Features werden in der nächsten Spark-Hauptversion entfernt

• Unterstützung für Java 8 und Java 11, und die minimale unterstützte Java-Version wird Java 17 sein
• Unterstützung für Scala 2.12, und die minimale unterstützte Scala-Version wird 2.13 sein

Migrationshandbücher

• Spark Core
• SQL, Datasets und DataFrame
• Strukturiertes Streaming
• MLlib (Machine Learning)
• PySpark (Python auf Spark)
• SparkR (R auf Spark)

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Skala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-07-13installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)