Databricks Runtime 14.0 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.0 optimisé par Apache Spark 3.5.0.

Databricks a publié cette version en septembre 2023.

Améliorations et nouvelles fonctionnalités

• Le suivi des lignes est en GA
• Les E/S prédictives pour les mises à jour sont en disponibilité générale
• Les vecteurs de suppression sont en disponibilité générale
• Spark 3.5.0 est en disponibilité générale
• Préversion publique pour les fonctions table définies par l’utilisateur pour Python
• Préversion publique pour l’accès concurrentiel au niveau des lignes
• Le répertoire de travail courant par défaut a changé
• Problème connu avec sparklyr
• Présentation de Spark Connect dans l’architecture de cluster partagé
• Mise à jour de l’API de liste des versions Spark disponibles

Le suivi des lignes est en GA

Le suivi des lignes pour Delta Lake est désormais en disponibilité générale. Consultez Utiliser le suivi des lignes pour les tables Delta.

Les E/S prédictives pour les mises à jour sont en disponibilité générale

Les E/S prédictives pour les mises à jour sont désormais en disponibilité générale. Consultez Qu’est-ce que les E/S prédictives ?.

Les vecteurs de suppression sont en disponibilité générale

Les vecteurs de suppression sont désormais en disponibilité générale. Consultez Que sont les vecteurs de suppression ?.

Spark 3.5.0 est en disponibilité générale

Apache Spark 3.5.0 est désormais en disponibilité générale. Consultez Spark Release 3.5.0.

Préversion publique pour les fonctions table définies par l’utilisateur pour Python

Les fonctions table définies par l’utilisateur (UDTF) vous permettent d’inscrire des fonctions qui retournent des tables plutôt que des valeurs scalaires. Consultez Fonctions de table définies par l’utilisateur (UDTF) Python.

Préversion publique pour l’accès concurrentiel au niveau des lignes

L’accès concurrentiel au niveau des lignes réduit les conflits entre les opérations d’écriture simultanées en détectant les modifications au niveau des lignes et en résolvant automatiquement les modifications concurrentes dans les écritures simultanées qui mettent à jour ou suppriment des lignes différentes dans le même fichier de données. Consultez Conflits d’écriture avec concurrence au niveau des lignes.

Le répertoire de travail courant par défaut a changé

Le répertoire de travail courant (CWD) par défaut pour le code exécuté localement est désormais le répertoire contenant le notebook ou le script en cours d’exécution. Cela inclut le code tel que %sh et le code Python ou R n’utilisant pas Spark. Consultez Quel est le répertoire de travail actuel par défaut ?.

Problème connu avec sparklyr

La version installée du package sparklyr (version 1.8.1) n’est pas compatible avec Databricks Runtime 14.0. Pour utiliser sparklyr, installer la version 1.8.3 ou ultérieure.

Présentation de Spark Connect dans l’architecture de cluster partagé

Avec Databricks Runtime 14.0 et versions ultérieures, les clusters partagés utilisent désormais Spark Connect avec le pilote Spark du REPL Python par défaut. Les API Spark internes ne sont plus accessibles à partir du code utilisateur.

Spark Connect interagit désormais avec le pilote Spark à partir de Read–eval–print loop (REPL), au lieu de l’intégration REPL héritée.

Mise à jour de l’API de liste des versions Spark disponibles

Activez Photon en définissant runtime_engine = PHOTON, et activez aarch64 en choisissant un type d’instance graviton. Azure Databricks définit la version correcte de Databricks Runtime. Auparavant, l’API de version Spark retournait les runtimes propres à l’implémentation pour chaque version. Consultez GET /api/2.0/clusters/spark-versions dans la référence de l’API REST.

Dernières modifications

Dans Databricks Runtime 14.0 et versions ultérieures, les clusters avec le mode d’accès standard (anciennement mode d’accès partagé) utilisent Spark Connect pour la communication client-serveur. Cela inclut les modifications suivantes.

Pour plus d’informations sur les limitations du mode d’accès standard, consultez exigences et limitations de calcul standard.

Python sur les clusters avec le mode d’accès standard (anciennement mode d’accès partagé)

• sqlContext n’est pas disponible. Azure Databricks recommande d'utiliser la variable spark pour l'instance SparkSession.
• Le contexte Spark (sc) n’est plus disponible dans les notebooks, ni pendant l'utilisation de Databricks Connect sur un cluster avec un mode d’accès standard. Les fonctions sc suivantes ne sont plus disponibles :
  • emptyRDD, , rangeinit_batched_serializerparallelizepickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroup, , setLocalPropertygetConf
• La fonctionnalité Informations sur l'ensemble de données n'est plus prise en charge.
• Il n'y a plus de dépendance à la JVM lors de l'interrogation d'Apache Spark et, par conséquent, les API internes liées à la JVM, telles que _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap, et _jcols ne sont plus prises en charge.
• Lors de l'accès aux valeurs de configuration à l'aide de spark.conf seulement les valeurs de configuration d'exécution dynamique sont accessibles.
• Les commandes d’analyse des pipelines déclaratifs De Lakeflow Spark ne sont pas encore prises en charge sur les clusters partagés.

Delta sur les clusters avec le mode d'accès standard (auparavant mode d'accès partagé)

• En Python, il n'y a plus de dépendance à la JVM lors de l'interrogation d'Apache Spark. Les API internes liées à JVM, telles que DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder, et DeltaOptimizeBuilder._jbuilder ne sont plus prises en charge.

SQL sur les clusters avec le mode d’accès standard (anciennement mode d’accès partagé)

• Les commandes DBCACHE et DBUNCACHE ne sont plus prises en charge.
• Les cas d’usage rares tels que cache table db as show databases ne sont plus pris en charge.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • asttokens de 2.2.1 à 2.0.5
  • attrs de 21.4.0 à 22.1.0
  • botocore de 1.27.28 à 1.27.96
  • certifi de 2022.9.14 à 2022.12.7
  • chiffrement de 37.0.1 à 39.0.1
  • debugpy de la version 1.6.0 vers la version 1.6.7
  • docstring-to-markdown de 0.12 à 0.11
  • exécution de 1.2.0 à 0.8.3
  • facets-overview de 1.0.3 à 1.1.1
  • googleapis-common-protos de 1.56.4 à 1.60.0
  • grpcio de 1.48.1 à 1.48.2
  • idna de 3.3 à 3.4
  • ipykernel de 6.17.1 à 6.25.0
  • ipython de 8.10.0 à 8.14.0
  • Jinja2 de 2.11.3 à 3.1.2
  • jsonschema de 4.16.0 à 4.17.3
  • jupyter-core de 4.11.2 à 5.2.0
  • kiwisolver de 1.4.2 à 1.4.4
  • MarkupSafe de 2.0.1 à 2.1.1
  • matplotlib de 3.5.2 à 3.7.0
  • nbconvert de 6.4.4 à 6.5.4
  • nbformat de 5.5.0 à 5.7.0
  • nest-asyncio de 1.5.5 à 1.5.6
  • notebook de 6.4.12 à 6.5.2
  • numpy de 1.21.5 à 1.23.5
  • packaging de 21.3 à 22.0
  • pandas de 1.4.4 à 1.5.3
  • pathspec de 0.9.0 à 0.10.3
  • patsy de 0.5.2 à 0.5.3
  • Pillow de 9.2.0 à 9.4.0
  • pip de 22.2.2 à 22.3.1
  • protobuf de 3.19.4 à 4.24.0
  • pytoolconfig de 1.2.2 à 1.2.5
  • pytz de 2022.1 à 2022.7
  • s3transfer de 0.6.0 à 0.6.1
  • seaborn 0.11.2 à 0.12.2
  • setuptools de 63.4.1 à 65.6.3
  • soupsieve de 2.3.1 à 2.3.2.post1
  • stack-data de 0.6.2 à 0.2.0
  • statsmodels de 0.13.2 à 0.13.5
  • terminado de 0.13.1 à 0.17.1
  • traitlets de 5.1.1 à 5.7.1
  • typing_extensions de la version 4.3.0 à la version 4.4.0
  • urllib3 de 1.26.11 à 1.26.14
  • virtualenv de 20.16.3 à 20.16.7
  • wheel de 0.37.1 à 0.38.4
• Bibliothèques R mises à niveau :
  • flèche de 10.0.1 à 12.0.1
  • base de 4.2.2 à 4.3.1
  • blob de 1.2.3 à 1.2.4
  • broom de 1.0.3 à 1.0.5
  • bslib de 0.4.2 à 0.5.0
  • cachem la version 1.0.6 à la version 1.0.8
  • caret de la version 6.0-93 à la version 6.0-94
  • chron de 2.3-59 à 2.3-61
  • class de 7.3-21 à 7.3-22
  • cli de 3.6.0 à 3.6.1
  • horloge de 0.6.1 à 0.7.0
  • commonmark de 1.8.1 à 1.9.0
  • compiler de 4.2.2 à 4.3.1
  • cpp11 de 0.4.3 à 0.4.4
  • curl de 5.0.0 à 5.0.1
  • data.table de 1.14.6 à 1.14.8
  • datasets de 4.2.2 à 4.3.1
  • dbplyr de 2.3.0 à 2.3.3
  • digest de 0.6.31 à 0.6.33
  • downlit de 0.4.2 à 0.4.3
  • dplyr de 1.1.0 à 1.1.2
  • dtplyr de la version 1.2.2 à la version 1.3.1
  • evaluate 0.20 à 0.21
  • fastmap de 1.1.0 à 1.1.1
  • fontawesome de 0.5.0 à 0.5.1
  • fs de 1.6.1 à 1.6.2
  • future de 1.31.0 à 1.33.0
  • future.apply de 1.10.0 à 1.11.0
  • gargle de 1.3.0 à 1.5.1
  • ggplot2 de 3.4.0 à 3.4.2
  • gh de 1.3.1 à 1.4.0
  • glmnet de 4.1-6 à 4.1-7
  • googledrive de 2.0.0 à 2.1.1
  • googlesheets4 de la version 1.0.1 à la version 1.1.1
  • graphics de 4.2.2 à 4.3.1
  • grDevices de 4.2.2 à 4.3.1
  • grid de 4.2.2 à 4.3.1
  • gtable de la version 0.3.1 à la version 0.3.3
  • hardhat de la version 1.2.0 à la version 1.3.0
  • haven de la version 2.5.1 à la version 2.5.3
  • hms de 1.1.2 à 1.1.3
  • htmltools de 0.5.4 à 0.5.5
  • htmlwidgets de 1.6.1 à 1.6.2
  • httpuv de 1.6.8 à 1.6.11
  • httr de la version 1.4.4 à la version 1.4.6
  • ipred de la version 0.9-13 à la version 0.9-14
  • jsonlite de 1.8.4 à 1.8.7
  • KernSmooth de 2.23-20 à 2.23-21
  • knitr de 1.42 à 1.43
  • later de 1.3.0 à 1.3.1
  • lattice de 0.20-45 à 0.21-8
  • lava de 1.7.1 à 1.7.2.1
  • lubridate de 1.9.1 à 1.9.2
  • markdown de 1.5 à 1.7
  • MASS de 7.3-58.2 à 7.3-60
  • Matrix de 1.5-1 à 1.5-4.1
  • methods de 4.2.2 à 4.3.1
  • mgcv de 1.8-41 à 1.8-42
  • modeleur de 0.1.10 à 0.1.11
  • nnet de 7.3-18 à 7.3-19
  • openssl de 2.0.5 à 2.0.6
  • parallel de 4.2.2 à 4.3.1
  • parallèlement de 1.34.0 à 1.36.0
  • pillar de la version 1.8.1 à la version 1.9.0
  • pkgbuild de 1.4.0 à 1.4.2
  • pkgload de 1.3.2 à 1.3.2.1
  • pROC de 1.18.0 à 1.18.4
  • processx de 3.8.0 à 3.8.2
  • prodlim de 2019.11.13 à 2023.03.31
  • profvis de 0.3.7 à 0.3.8
  • ps de 1.7.2 1 à 1.7.5
  • Rcpp de 1.0.10 à 1.0.11
  • readr de 2.1.3 à 2.1.4
  • readxl de 1.4.2 à 1.4.3
  • recettes de 1.0.4 à 1.0.6
  • rlang de 1.0.6 à 1.1.1
  • rmarkdown de 2.20 à 2.23
  • Rserve de 1.8-12 à 1.8-11
  • RSQLite de 2.2.20 à 2.3.1
  • rstudioapi de 0.14 à 0.15.0
  • sass de 0.4.5 à 0.4.6
  • shiny de 1.7.4 à 1.7.4.1
  • sparklyr de 1.7.9 à 1.8.1
  • SparkR de 3.4.1 vers 3.5.0
  • splines de 4.2.2 à 4.3.1
  • stas de 4.2.2 à 4.3.1
  • stats4 de 4.2.2 à 4.3.1
  • survie de 3.5-3 à 3.5-5
  • sys de 3.4.1 à 3.4.2
  • tcltk de 4.2.2 à 4.3.1
  • testthat de 3.1.6 à 3.1.10
  • tibble de la version 3.1.8 vers la version 3.2.1
  • tidyverse de 1.3.2 à 2.0.0
  • tinytex de 0.44 à 0.45
  • tools de 4.2.2 à 4.3.1
  • tzdb de 0.3.0 vers 0.4.0
  • usethis de 2.1.6 à 2.2.2
  • utils de 4.2.2 à 4.3.1
  • vctrs de 0.5.2 à 0.6.3
  • viridisLite de 0.4.1 à 0.4.2
  • vroom de 1.6.1 à 1.6.3
  • waldo de 0.4.0 à 0.5.1
  • xfun de 0.37 à 0.39
  • xml2 de 1.3.3 à 1.3.5
  • zip de 2.2.2 à 2.3.0
• Bibliothèques Java mises à niveau :
  • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 à 2.15.2
  • com.fasterxml.jackson.core.jackson-core de 2.14.2 à 2.15.2
  • com.fasterxml.jackson.core.jackson-databind de 2.14.2 à 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 à 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 à 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 à 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 à 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 à 2.15.2
  • com.github.luben.zstd-jni de 1.5.2-5 à 1.5.5-4
  • com.google.code.gson.gson de 2.8.9 à 2.10.1
  • com.google.crypto.tink.tink de 1.7.0 à 1.9.0
  • commons-codec.commons-codec de 1.15 à 1.16.0
  • commons-io.commons-io de 2.11.0 vers 2.13.0
  • io.airlift.aircompressor de 0.21 à 0.24
  • io.dropwizard.metrics.metrics-core de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-graphite de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-jmx de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-json de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-jvm de 4.2.10 à 4.2.19
  • io.dropwizard.metrics.metrics-servlets de 4.2.10 à 4.2.19
  • io.netty.netty-all de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-buffer de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-codec de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-codec-http from 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-codec-http2 from 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-codec-socks from 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-common de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-handler de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-handler-proxy from 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-resolver de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-transport de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-transport-classes-epoll de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.87.Final à 4.1.93.Final
  • io.netty.netty-transport-native-epoll from 4.1.87.Final-linux-x86_64 à 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue from 4.1.87.Final-osx-x86_64 à 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.87.Final à 4.1.93.Final
  • org.apache.arrow.arrow-format de 11.0.0 à 12.0.1
  • org.apache.arrow.arrow-memory-core de 11.0.0 à 12.0.1
  • org.apache.arrow.arrow-memory-netty de 11.0.0 à 12.0.1
  • org.apache.arrow.arrow-vector de 11.0.0 à 12.0.1
  • org.apache.avro.avro de 1.11.1 à 1.11.2
  • org.apache.avro.avro-ipc de 1.11.1 à 1.11.2
  • org.apache.avro.avro-mapred de 1.11.1 à 1.11.2
  • org.apache.commons.commons-compress de 1.21 à 1.23.0
  • org.apache.hadoop.hadoop-client-runtime de 3.3.4 à 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 à 2.20.0
  • org.apache.logging.log4j.log4j-api de 2.19.0 à 2.20.0
  • org.apache.logging.log4j.log4j-core de 2.19.0 à 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 à 2.20.0
  • org.apache.orc.orc-core de 1.8.4-shaded-protobuf vers 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf vers 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.4 vers 1.9.0
  • org.apache.xbean.xbean-asm9-shaded de 4.22 à 4.23
  • org.checkerframework.checker-qual de 3.19.0 à 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet de la version 2.36 vers la version 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core de la version 2.36 vers la version 2.40
  • org.glassfish.jersey.core.jersey-client de la version 2.36 vers la version 2.40
  • org.glassfish.jersey.core.jersey-common de la version 2.36 vers la version 2.40
  • org.glassfish.jersey.core.jersey-server de la version 2.36 vers la version 2.40
  • org.glassfish.jersey.inject.jersey-hk2 de la version 2.36 vers la version 2.40
  • org.javassist.javassist de 3.25.0-GA à 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client de 2.7.4 à 2.7.9
  • org.postgresql.postgresql de 42.3.8 à 42.6.0
  • org.roaringbitmap.RoaringBitmap de 0.9.39 vers 0.9.45
  • org.roaringbitmap.shims de 0.9.39 à 0.9.45
  • org.rocksdb.rocksdbjni de 7.8.3 vers 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 à 2.9.0
  • org.slf4j.jcl-over-slf4j de2.0.6 à 2.0.7
  • org.slf4j.jul-to-slf4j de 2.0.6 à 2.0.7
  • org.slf4j.slf4j-api de 2.0.6 vers 2.0.7
  • org.xerial.snappy.snappy-java de 1.1.10.1 vers 1.1.10.3
  • org.yaml.snakeyaml de 1.33 à 2.0

Apache Spark

Databricks Runtime 14.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 13.3 LTS ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Correction des fonctions aes_decrypt et ln dans Connect
• [SPARK-44980] [DBRRM-462] [sc-141024] [PYTHON] [connect] Corriger les namedtuples hérités afin qu’ils fonctionnent dans createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache doit être spécifique au chargeur de classes
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Rendre les requêtes de flux compatibles avec la gestion des artefacts de Connect
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Faire fonctionner ArrowDeserializer avec les classes générées par REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Correction de la fonction UDF Python optimisée par flèche sur Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Prise en charge des fonctions python protobuf pour Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Supprimer la fonction uuid/random/chr de PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Corriger les valeurs de métadonnées pour les artefacts
• [SPARK-44822] [DBRRM-464][python][SQL] Rendre les UDTFs Python par défaut non-déterministiques
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refactorisation de Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Ajouter des métadonnées client manquantes aux appels
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter : AttributeError : 'NoneType' object has no attribute 'message'
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager pour suivre toutes les exécutions
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Désactiver l’optimisation des flèches par défaut pour les fonctions définies par l’utilisateur Python
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Exécuter ExecuteGrpcResponseSender dans une exécution reattachable dans un nouveau thread pour corriger le contrôle de flux
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Rendre tous les itérateurs CloseableIterators
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Retry ExecutePlan dans le cas où la requête initiale n’a pas atteint le serveur dans le client Python
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Retry ExecutePlan dans le cas où la requête initiale n’a pas atteint le serveur
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Erreurs déplacées dans sq/api doivent également utiliser AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Ajouter l'objet Encoders
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Suivi de l'arrêt de requête de streaming lorsque la session cliente est expirée pour Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute dans ExecutePlanResponseReattachableIterator après avoir reçu une erreur du serveur
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Supprimer la dépendance de Connect Client Catalyst
• [SPARK-44664] [DBRRM-396][python][CONNECT] Libérer l’exécution lors de la fermeture de l’itérateur dans le client Python
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Supprimer le répertoire basé sur une session lorsque le cache de session isolé est supprimé
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Ne laissez pas d’itérateurs pendants
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Client Python pour le rattachement à l’exécution existante dans Spark Connect
• [SPARK-44637] [SC-138571] Synchroniser les accès à ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Rétablir Row.jsonValue et amis
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Exécution retachable dans Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Mettre à niveau protobuf de 3.19.5 à 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Augmenter la limite de récursivité du marshaller protobuf
• [SPARK-44591] [SC-138292][connect][SQL] Ajouter des jobTags à SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations doit conserver les métadonnées d’alias lors de la création d’une nouvelle instance
• [SPARK-44542] [SC-138323][core] Charger avec impatience la classe SparkExitCode dans le gestionnaire d’exceptions
• [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
• [SPARK-43997] [SC-138347][connect] Ajouter la prise en charge des UDF Java
• [SPARK-44507] [SQL][connect][14.x][14.0] Déplacer AnalysisException vers sql/api
• [SPARK-44453] [SC-137013][python] Utiliser difflib pour afficher des erreurs dans assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Ajouter une page d’interface utilisateur Spark pour Spark Connect
• [SPARK-44611] [SC-138415][connect] Ne pas exclure scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Déplacer l’inférence de l’encodeur vers sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Correction du problème de chargement de classe caus...
• [SPARK-44590] [SC-138296][sql][CONNECT] Supprimer la limite d’enregistrement par lot de flèches pour SqlCommandResult
• [SPARK-43968] [SC-138115][python] Améliorer les messages d’erreur pour les fonctions définies par l’utilisateur Python avec un nombre incorrect de sorties
• [SPARK-44432] [SC-138293][ss][CONNECT] Arrêter les requêtes de diffusion en continu lorsqu’une session expire dans Spark Connect
• [SPARK-44584] [SC-138295][connect] Définir des informations client_type pour AddArtifactsRequest et ArtifactStatusesRequest dans Scala Client
• [SPARK-44552] [14.0][sc-138176][SQL] Supprimer private object ParseState la définition de IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Activer resample avec Spark Connect
• [SPARK-44287] [SC-136223][sql] Utiliser l’API PartitionEvaluator dans les opérateurs SQL RowToColumnarExec &ColumnarToRowExec.
• [SPARK-39634] [SC-137566][sql] Autoriser le fractionnement de fichiers en combinaison avec la génération d’index de ligne
• [SPARK-44533] [SC-138058][python] Ajouter la prise en charge de l’accumulation, de la diffusion et des fichiers Spark dans l’analyse de Python UDTF
• [SPARK-44479] [SC-138146][python] Corriger ArrowStreamPandasUDFSerializer pour accepter un DataFrame pandas sans colonnes
• [SPARK-44425] [SC-138177][connect] Valider que l’ID de session fourni par l’utilisateur est un UUID
• [SPARK-44535] [SC-138038][connect][SQL] Déplacer l’API de streaming requise vers sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Écrire une classe pour l'apprentissage distribué avec Deepspeed, DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Fix ResolveInlineTables ne peut pas gérer avec l’expression RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Code-gen pour la jointure de hachage aléatoire externe côté build
• [SPARK-44496] [SC-137682][sql][CONNECT] Déplacer les interfaces nécessaires par SCSC vers sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Déplacer ArrowUtils vers sql/api
• [SPARK-44413] [SC-137019][python] Clarifier l’erreur pour le type de données arg non pris en charge dans assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Déplacer SparkBuildInfo vers common/util
• [SPARK-36612] [SC-133071][sql] Supporter la construction de la jointure externe gauche ou de la construction à droite pour la jointure externe droite dans la jointure de hachage avec distribution aléatoire
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils a généré des paramètres incorrects pour les fichiers jar
• [SPARK-44449] [SC-137818][connect] Upcasting pour désérialisation directe d'Arrow
• [SPARK-44131] [SC-136346][sql] Ajouter call_function et déprécier call_udf pour l’API Scala
• [SPARK-44541] [SQL] Supprimer la fonction hasRangeExprAgainstEventTimeCol inutile de UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition du filtre est 0 si la condition est FalseLiteral
• [SPARK-44540] [SC-137873][ui] Supprimer les fichiers javascript et feuilles de style inutilisés de jsonFormatter
• [SPARK-44466] [SC-137856][sql] Exclure les configurations commençant par SPARK_DRIVER_PREFIX et SPARK_EXECUTOR_PREFIX à partir de modifiedConfigs
• [SPARK-44477] [SC-137508][sql] Traiter TYPE_CHECK_FAILURE_WITH_HINT comme sous-classe d’erreur
• [SPARK-44509] [SC-137855][python][CONNECT] Ajouter un ensemble d’API d’annulation de travail dans le client Python Spark Connect
• [SPARK-44059] [SC-137023] Ajout de la prise en charge de l’analyseur d’arguments nommés pour les fonctions intégrées
• [SPARK-38476] [SC-136448][core] Utiliser la classe d’erreur dans org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implémenter la fonctionnalité PyArrow self_destruct pour toPandas
• [SPARK-44361] [SC-137200][sql] Utiliser l’API PartitionEvaluator dans MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Mettre à jour les DataTables vers la version 1.13.5 et supprimer certains fichiers png non atteints.
• [SPARK-44503] [SC-137808][sql] Ajouter la grammaire SQL pour PARTITION BY et ORDER BY clause après les TABLE arguments pour les appels TVF
• [SPARK-38477] [SC-136319][core] Utilisation de la classe d'erreur dans org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Interruption granulaire Spark Connect
• [SPARK-44380] [SC-137415][sql][PYTHON] Prise en charge des fonctions de table définies par l'utilisateur (UDTF) pour être analysées en Python
• [SPARK-43923] [SC-137020][connect] Publier les événements listenerBus pendant...
• [SPARK-44303] [SC-136108][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Correction du problème où la colonne HeapHistogram s'affiche de manière inattendue avec la case à cocher tout sélectionner
• [SPARK-44409] [SC-136975][sql] Gérer char/varchar dans Dataset.to pour rester cohérent avec d’autres personnes
• [SPARK-44334] [SC-136576][sql][UI] Le statut dans la réponse de l'API REST pour un DDL/DML échoué sans tâches devrait être ÉCHOUÉ plutôt que TERMINÉ.
• [SPARK-42309] [SC-136703][sql] Introduire INCOMPATIBLE_DATA_TO_TABLE et sous-classes.
• [SPARK-44367] [SC-137418][sql][UI] Afficher le message d’erreur sur l’interface utilisateur pour chaque requête ayant échoué
• [SPARK-44474] [SC-137195][connect] Réactiver "Test d'observation des réponses" à SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][connect] Le journal de démarrage du serveur de connexion doit afficher le nom d’hôte et le port
• [SPARK-44309] [SC-136193][ui] Afficher le temps d'ajout/suppression des exécuteurs sur l'onglet des exécuteurs
• [SPARK-42898] [SC-137556][sql] Indiquer que les conversions de chaîne/date n’ont pas besoin d’identifiant de fuseau horaire
• [SPARK-44475] [SC-137422][sql][CONNECT] Déplacer dataType et analyseur vers sql/api
• [SPARK-44484] [SC-137562][ss]Ajouter batchDuration à la méthode json de StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Prise en charge des fonctions à valeurs de table non déterministes
• [SPARK-44439] [SC-136973][connect][SS]Correction de listListeners pour ne retourner que les identifiants au client
• [SPARK-44341] [SC-137054][sql][PYTHON] Définir la logique informatique via l’API PartitionEvaluator et l’utiliser dans WindowExec et WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Convertir _LEGACY_ERROR_TEMP_1337 en UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Ajouter la prise en charge de l’écouteur de streaming dans Scala pour Spark Connect
• [SPARK-44260] [SC-135618][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[1215-1245-2329] & Utiliser checkError() pour vérifier l’exception dans _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ : encapsuler tous les paramètres associés à SPJ dans BatchScanExec
• [SPARK-44292] [SC-135844][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Désérialisation directe d’Arrow
• [SPARK-44324] [SC-137172][sql][CONNECT] Move CaseInsensitiveMap to sql/api
• [SPARK-44395] [SC-136744][sql] Ajouter un test à StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Transformer pyspark.sql.is_remote en une API
• [SPARK-44278] [SC-137400][connect] Implémenter un intercepteur de serveur GRPC qui nettoie les propriétés locales des threads
• [SPARK-44264] [SC-137211][ml][PYTHON] Prise en charge de la formation distribuée de fonctions à l’aide de Deepspeed
• [SPARK-44430] [SC-136970][sql] Ajouter une cause au AnalysisException moment où l’option n’est pas valide
• [SPARK-44264] [SC-137167][ml][PYTHON] Incorporation de FunctionPickler dans TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Rendre l’API assertSchemaEqual publique
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-43203] [SC-134528][sql] Déplacer tous les cas de suppression de table vers DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Ouvrir AdaptiveSparkPlanHelper.allChildren au lieu d’utiliser la copie dans MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Refactorisation de TorchDistributor pour permettre une fonction pointer « run_training_on_file » personnalisée
• [SPARK-43755] [SC-136838][connect] Déplacer l’exécution hors de SparkExecutePlanStreamHandler et vers un autre thread
• [SPARK-44411] [SC-137198][sql] Utiliser l’API PartitionEvaluator dans ArrowEvalPythonExec et BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Utiliser l’API PartitionEvaluator dans DebugExec
• [SPARK-43967] [SC-137057][python] Prise en charge des UDTFs Python réguliers avec des valeurs de retour vides
• [SPARK-43915] [SC-134766][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Prise en charge des UDTF Python dans Spark Connect
• [SPARK-44154] [SC-137050][sql] Ajout de tests unitaires à BitmapExpressionUtilsSuite et apporté des améliorations mineures aux expressions d’agrégation Bitmap
• [SPARK-44169] [SC-135497][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Support des UDTF Python optimisées par Arrow
• [SPARK-44321] [SC-136308][connect] Détacher l'Exception de Parsing de l'Exception d'Analyse
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reenable test_artifact avec les modifications pertinentes
• [SPARK-44145] [SC-136698][sql] Rappel lors de l’exécution
• [SPARK-43983] [SC-136404][python][ML][connect] Activer le test d'estimation du validateur croisé
• [SPARK-44399] [SC-136669][pyhton][CONNECT] Import SparkSession in Python UDF uniquement quand useArrow est None
• [SPARK-43631] [SC-135300][connect][PS] Activer Series.interpolate avec Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Ajouter un exemple de code pour le ML distribué pour Spark Connect
• [SPARK-44282] [SC-135948][connect] Préparer l’analyse DataType à utiliser dans le client Scala Spark Connect
• [SPARK-44052] [SC-134469][connect][PS] Ajouter un util pour obtenir une classe Column ou DataFrame appropriée pour Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implémenter un estimateur de validation croisée
• [SPARK-44290] [SC-136300][connect] Fichiers et archives basés sur des sessions dans Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Prise en charge functions.date_part de Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Nettoyer et consolider les tickets pour simplifier les tâches.
• [SPARK-44150] [SC-135790][python][CONNECT] Conversion explicite Arrow pour le type de retour incompatible dans la fonction UDF Python Arrow
• [SPARK-43903] [SC-134754][python][CONNECT] Améliorer la prise en charge des entrées ArrayType dans les UDF Python Apache Arrow
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implémenter l’évaluateur de classification
• [SPARK-44255] [SC-135704][sql] Déplacer StorageLevel vers common/utils
• [SPARK-42169] [SC-135735] [SQL] Implémenter la génération de code pour to_csv fonction (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refactoriser PythonUDTFRunner pour envoyer son type de retour séparément
• [SPARK-43353] [SC-132734][python] Migrer les erreurs de session restantes dans la classe d’erreur
• [SPARK-44133] [SC-134795][python] Mettre à niveau MyPy de 0,920 à 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde au format JSON
• [SPARK-43353] Annuler « [SC-132734][es-729763][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur »
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Déplacer l'espace de noms de pyspark.mlv2 vers pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Déplacer StringConcat vers sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implémenter l’estimateur de pipeline pour ML sur spark connect
• [SPARK-43888] [SC-132893][core] Déplacer la journalisation vers common/utils
• [SPARK-42941] Rétablir « [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde au format JSON »
• [SPARK-43624] [SC-134557][ps][CONNECT] Ajouter EWM à SparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Implémentation d’enregistrement/chargement de base pour ML sur spark connect
• [SPARK-43205] [SC-133371][sql] fix SQLQueryTestSuite
• [SPARK-43376] Annuler « [SC-130433][sql] Optimiser la réutilisation des sous-requêtes avec le cache de table »
• [SPARK-44040] [SC-134366][sql] Correction des statistiques de calcul lorsque le nœud AggregateExec est situé au-dessus de QueryStageExec
• [SPARK-43919] [SC-133374][sql] Extraire la fonctionnalité JSON du Row
• [SPARK-42618] [SC-134433][python][PS] Avertissement pour les changements de comportement liés aux pandas dans la prochaine version majeure
• [SPARK-43893] [SC-133381][python][CONNECT] Prise en charge des types de données non atomiques dans la fonction UDF Python optimisée par flèche
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Activer pyspark.pandas.spark.functions.{kurt, skew} dans Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Prise en charge des fonctions de table définies par l’utilisateur Python
• [SPARK-43616] [SC-133849][ps][CONNECT] Activer pyspark.pandas.spark.functions.mode dans Spark Connect
• [SPARK-43133] [SC-133728] Prise en charge de Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][ps] Un correctif (NullOps|NumOps).(eq|ne) pour Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Activer pyspark.pandas.spark.functions.{var, stddev} dans Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Activer pyspark.pandas.spark.functions.product dans Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Activer InternalFrame.attach_distributed_column dans Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Activer pyspark.pandas.spark.functions.repeat dans Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Générer des fichiers de descripteur Protobuf au moment de la génération
• [SPARK-43613] [SC-133727][ps][CONNECT] Activer pyspark.pandas.spark.functions.covar dans Spark Connect
• [SPARK-43376] [SC-130433][sql] Améliorer la sous-requête de réutilisation avec le cache de table
• [SPARK-43612] [SC-132011][connect][PYTHON] Implémenter SparkSession.addArtifact(s) dans le client Python
• [SPARK-43920] [SC-133611][sql][CONNECT] Créer un module sql/api
• [SPARK-43097] [SC-133372][ml] Nouvel estimateur de régression logistique pyspark ML implémenté sur le distributeur
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Faire en sorte que MLv2 (ML sur spark connect) prenne en charge pandas >= 2,0
• [SPARK-43024] [SC-132716][python] Mettre à niveau pandas vers 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Accélérer l’inférence de type Timestamp avec le format hérité dans la source de données JSON/CSV
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API Python Client DataStreamWriter foreach()
• [SPARK-43545] [SC-132378][sql][PYTHON] Prise en charge du type d’horodatage imbriqué
• [SPARK-43353] [SC-132734][python] Migrer les erreurs de session restantes dans la classe d’erreur
• [SPARK-43304] [SC-129969][connect][PYTHON] Migrer NotImplementedError vers PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfaces de base de sparkML pour spark3.5 : estimateur/transformateur/model/évaluateur
• [SPARK-43128] Rétablir « [SC-131628][connect][SS] Rendre recentProgress et lastProgress retourner StreamingQueryProgress cohérents avec l’API Scala native »
• [SPARK-43543] [SC-131839][python] Correction du comportement de MapType imbriqué dans les UDF Pandas
• [SPARK-38469] [SC-131425][core] Utiliser la classe d’erreur dans org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Étendre INTERNAL_ERROR avec des catégories et ajouter une classe d’erreur INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Déplacer l’infrastructure d’erreur vers un module utils commun
• [SPARK-43440] [SC-131229][python][CONNECT] Prise en charge de l’inscription d’une UDF Python optimisée par Arrow
• [SPARK-43528] [SC-131531][sql][PYTHON] Permettre les noms de champs dupliqués dans createDataFrame avec pandas DataFrame
• [SPARK-43412] [SC-130990][python][CONNECT] Introduire SQL_ARROW_BATCHED_UDF EvalType pour les fonctions définies par l'utilisateur Python optimisées pour Arrow
• [SPARK-40912] [SC-130986][core]Surcoût des exceptions dans KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Accélérer l’inférence de type Timestamp avec le format fourni par l’utilisateur dans la source de données JSON/CSV
• [SPARK-43473] [SC-131372][python] Prise en charge du type struct dans createDataFrame à partir d'un pandas DataFrame.
• [SPARK-43443] [SC-131024][sql] Ajouter un benchmark pour l’inférence de type Timestamp lors de l’utilisation d’une valeur non valide
• [SPARK-41532] [SC-130523][connect][CLIENT] Ajouter une vérification des opérations impliquant plusieurs trames de données
• [SPARK-43296] [SC-130627][connect][PYTHON] Migrer les erreurs de session Spark Connect dans la classe d’erreur
• [SPARK-43324] [SC-130455][sql] Gérer les UPDATE commandes pour les sources delta
• [SPARK-43347] [SC-130148][python] Supprimer la prise en charge de Python 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Déplacer ExecutorClassLoader vers core le module et simplifier Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Ajout d’un chargeur de données de distribution de torche qui charge des données de partition Spark
• [SPARK-43331] [SC-130061][connect] Ajouter Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migrer ValueError à partir de types SPARK SQL dans la classe d’erreur
• [SPARK-43261] [SC-129674][python] Migrer TypeError à partir de types SPARK SQL en classe d’erreur.
• [SPARK-42992] [SC-129465][python] Introduction de PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Ajouter le support de Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Déplacer canWrite vers DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] UDFs Python optimisées par Arrow dans Spark Connect
• [SPARK-43084] [SC-128654] [SS] Ajout de la prise en charge de applyInPandasWithState pour spark connect
• [SPARK-42657] [SC-128621][connect] Prise en charge de la recherche et du transfert des fichiers de classes REPL côté client vers le serveur en tant qu’artefacts
• [SPARK-43098] [SC-77059][sql] Correction du bogue de précision COUNT lorsque la sous-requête scalaire utilise une clause GROUP BY
• [SPARK-42884] [SC-126662][connect] Ajouter une intégration REPL Ammonite
• [SPARK-42994] [SC-128333][ml][CONNECT] Le serveur de distribution PyTorch prend en charge le mode local
• [SPARK-41498] [SC-125343]Rétablir « Propager des métadonnées par le biais d’Union »
• [SPARK-42993] [SC-127829][ml][CONNECT] Rendre le serveur de distribution PyTorch compatible avec Spark Connect
• [SPARK-42683] [LC-75] Renommer automatiquement les colonnes de métadonnées en conflit
• [SPARK-42874] [SC-126442][sql] Activer la nouvelle infrastructure de test de fichier golden pour l’analyse de tous les fichiers d’entrée
• [SPARK-42779] [SC-126042][sql] Permettre aux écritures de la version 2 d'indiquer la taille de partition recommandée pour le shuffle
• [SPARK-42891] [SC-126458][connect][PYTHON] Implement CoGrouped Map API
• [SPARK-42791] [SC-126134][sql] Créer une infrastructure de test de fichier golden pour l’analyse
• [SPARK-42615] [SC-124237][connect][PYTHON] Refactoriser le RPC AnalyzePlan et ajouter session.version
• [SPARK-41302] Annuler « [ALL TESTS][sc-122423][SQL] Attribution du nom à _LEGACY_ERROR_TEMP_1185 »
• [SPARK-40770] [SC-122652][python] Amélioration des messages d’erreur pour applyInPandas pour l’incompatibilité de schéma
• [SPARK-40770] Annuler « [ALL TESTS][sc-122652][PYTHON] Amélioration des messages d’erreur pour applyInPandas pour la non-concordance de schéma »
• [SPARK-42398] [SC-123500][sql] Affiner la valeur de colonne par défaut d’interface DS v2
• [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] Amélioration des messages d’erreur pour applyInPandas pour la non-concordance de schéma
• [SPARK-40770] Annuler « [SC-122652][python] Messages d’erreur améliorés pour applyInPandas en cas de discordance de schéma »
• [SPARK-40770] [SC-122652][python] Amélioration des messages d’erreur pour applyInPandas pour l’incompatibilité de schéma
• [SPARK-42038] [TOUS LES TESTS] Annulation de "Revert «[SC-122533][sql] SPJ : Support de la distribution partiellement regroupée»"
• [SPARK-42038] Rétablir « [SC-122533][sql] SPJ : Prise en charge de la distribution partiellement en cluster »
• [SPARK-42038] [SC-122533][sql] SPJ : Prise en charge de la distribution partiellement clusterisée
• [SPARK-40550] [SC-120989][sql] DataSource V2 : Gérer les commandes DELETE pour les sources delta
• [SPARK-40770] Annuler « [SC-122652][python] Messages d’erreur améliorés pour applyInPandas en cas de discordance de schéma »
• [SPARK-40770] [SC-122652][python] Amélioration des messages d’erreur pour applyInPandas pour l’incompatibilité de schéma
• [SPARK-41302] Rétablir « [SC-122423][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_1185 »
• [SPARK-40550] Rétablir « [SC-120989][sql] DataSource V2 : gérer les commandes DELETE pour les sources basées sur Delta »
• [SPARK-42123] Rétablir « [SC-121453][sql] Inclure les valeurs par défaut des colonnes dans DESCRIBE et sortie ».
• [SPARK-42146] [SC-121172][core] Réorganiser Utils#setStringField pour réussir la compilation Maven lorsque le module SQL utilise cette méthode
• [SPARK-42119] Annuler « [SC-121342][sql] Ajouter des fonctions intégrées de table inline et inline_outer »

Points essentiels

• Correction des fonctions aes_decrypt et ln dans Connect SPARK-45109
• Correction des tuples nommés hérités pour qu’ils puissent être utilisés dans createDataFrame SPARK-44980
• CodeGenerator Cache est désormais spécifique au chargeur de classe [SPARK-44795]
• Ajout de SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Rendre les requêtes de streaming compatibles avec la gestion des artefacts de Connect [SPARK-44794]
• ArrowDeserializer fonctionne avec les classes générées REPL [SPARK-44791]
• Correction de la fonction UDF Python optimisée pour Arrow sur Spark Connect [SPARK-44876]
• Prise en charge du client Scala et Go dans Spark Connect SPARK-42554SPARK-43351
• Prise en charge du ML distribué basé sur PyTorch pour Spark Connect SPARK-42471
• Prise en charge de Structured Streaming pour Spark Connect en Python et Scala SPARK-42938
• Prise en charge de l’API Pandas pour le client Python Spark Connect SPARK-42497
• Introduction des fonctions UDF Python Arrow SPARK-40307
• Prise en charge des fonctions table définies par l’utilisateur Python SPARK-43798
• Migrer les erreurs PySpark vers les classes d’erreur SPARK-42986
• Framework de test PySpark SPARK-44042
• Ajout de la prise en charge de Datasketches HllSketch SPARK-16484
• Amélioration de fonction SQL intégrée SPARK-41231
• IDENTIFIER clause SPARK-43205
• Ajout de fonctions SQL dans l’API R, Scala et Python SPARK-43907
• Ajout de la prise en charge des arguments nommés pour les fonctions SQL SPARK-43922
• Éviter la réexécution inutile de la tâche sur l’exécuteur mis hors service en cas de migration de données aléatoires SPARK-41469
• ML distribué <> spark connect SPARK-42471
• Serveur de distribution DeepSpeed SPARK-44264
• Implémentation des points de contrôle du journal des modifications pour le magasin d’état RocksDB SPARK-43421
• Introduction de la propagation des filigranes parmi les opérateurs SPARK-42376
• Introduction de dropDuplicatesWithinWatermark SPARK-42931
• Améliorations de la gestion de la mémoire du fournisseur de magasin d’état RocksDB SPARK-43311

Spark Connect

• Refactorisation du module sql dans sql et sql-api pour produire un ensemble minimal de dépendances qui peuvent être partagées entre le client Scala Spark Connect et Spark, et évite d’extraire toutes les dépendances transitives Spark. SPARK-44273
• Introduction du client Scala pour Spark Connect SPARK-42554
• Prise en charge de l’API Pandas pour le client Python Spark Connect SPARK-42497
• Prise en charge du ML distribué basé sur PyTorch pour Spark Connect SPARK-42471
• Prise en charge de Structured Streaming pour Spark Connect en Python et Scala SPARK-42938
• Version initiale du client Go SPARK-43351
• Améliorations de compatibilité entre les clients Spark natifs et Spark Connect sur Python et Scala
• Amélioration de la capacité de débogage et de la gestion des requêtes pour les applications clientes (traitement asynchrone, nouvelles tentatives, requêtes de longue durée)

Spark SQL

Fonctionnalités

• Ajout du début et de la longueur du bloc de fichiers de colonne de métadonnées SPARK-42423
• Prise en charge des paramètres positionnels en Scala/Java SPARK-44066
• Ajout de la prise en charge des paramètres nommés dans l’analyseur pour les appels de fonction SPARK-43922
• Prise en charge SELECT DEFAULT avec ORDER BY, LIMIT, OFFSET pour INSERT la relation source SPARK-43071
• Ajouter une grammaire SQL pour PARTITION BY et une ORDER BY clause après les TABLE arguments pour les appels TVF SPARK-44503
• Inclure les valeurs par défaut de colonne dans DESCRIBE et SHOW CREATE TABLEla sortie SPARK-42123
• Ajout d’un modèle facultatif pour Catalog.listCatalogs SPARK-43792
• Ajout d’un modèle facultatif pour Catalog.listDatabases SPARK-43881
• Rappel quand prêt pour l’exécution SPARK-44145
• Prise en charge de l’instruction Insert By Name SPARK-42750
• Ajout de call_function pour l’API Scala SPARK-44131
• Alias de colonne dérivée stables SPARK-40822
• Prendre en charge les expressions constantes générales en tant que valeurs pour CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Prise en charge des sous-requêtes avec corrélation via INTERSECT/EXCEPT SPARK-36124
• IDENTIFIER clause SPARK-43205
• MODE ANSI : Conv doit retourner une erreur si la conversion interne déborde SPARK-42427

Fonctions

• Ajout de la prise en charge de Datasketches HllSketch SPARK-16484
• Prise en charge du mode CBC par aes_encrypt()/aes_decrypt() SPARK-43038
• Règle d’analyseur d’arguments de support TABLE pour TableValuedFunction SPARK-44200
• Implémentation de fonctions bitmap SPARK-44154
• Ajout de la fonction try_aes_decrypt() SPARK-42701
• array_insert doit échouer avec index 0 SPARK-43011
• Ajout de l’alias to_varchar pour to_char SPARK-43815
• Fonction d’ordre élevé : implémentation d’array_compact SPARK-41235
• Ajout de la prise en charge des arguments nommés par l’analyseur pour les fonctions intégrées SPARK-44059
• Ajout des valeurs NULL pour INSERT avec des listes spécifiées par l’utilisateur de moins de colonnes que la table cible SPARK-42521
• Ajout de la prise en charge des aes_encrypt IV et AAD SPARK-43290
• La fonction DECODE retourne des résultats incorrects lors de la transmission de la valeur NULL SPARK-41668
• La prise en charge de l’udf 'luhn_check' SPARK-42191
• Prise en charge de la résolution d’alias de colonne latérale implicite sur l’agrégation SPARK-41631
• Prise en charge de la résolution d’alias de colonne latérale dans les requêtes avec Window SPARK-42217
• Ajout d’alias de fonction à trois arguments DATE_ADD et DATE_DIFF SPARK-43492

Data Sources (Sources de données)

• Prise en charge Char/Varchar pour le catalogue JDBC SPARK-42904
• Prise en charge de l’obtention dynamique de mots clés SQL via l’API JDBC et TVF SPARK-43119
• DataSource V2 : gestion des commandes MERGE pour les sources delta SPARK-43885
• DataSource V2 : gestion des commandes MERGE pour les sources basées sur des groupes SPARK-43963
• DataSource V2 : Gérer les UPDATE commandes pour les sources basées sur un groupe SPARK-43975
• DataSource V2 : autorisation de la représentation des mises à jour sous forme de suppressions et d’insertions SPARK-43775
• Autoriser les dialectes JDBC à remplacer la requête utilisée pour créer une table SPARK-41516
• SPJ : prise en charge de la distribution partiellement en cluster SPARK-42038
• DSv2 permet à CTAS/RTAS de réserver la possibilité de valeur nulle du schéma SPARK-43390
• Ajout de spark.sql.files.maxPartitionNum SPARK-44021
• Gérer les UPDATE commandes pour les sources basées sur delta SPARK-43324
• Autoriser les écritures V2 à indiquer la taille de partition aléatoire SPARK-42779
• Prise en charge du codec de compression lz4raw pour Parquet SPARK-43273
• Avro : écriture d’unions complexes SPARK-25050
• Accélération de l’inférence de type timestamp avec le format fourni par l’utilisateur dans la source de données JSON/CSV SPARK-39280
• Avro pour prendre en charge le type décimal personnalisé soutenu par Long SPARK-43901
• Éviter la lecture aléatoire dans Storage-Partitioned Join lorsque les clés de partition ne correspondent pas, mais que les expressions de jointure sont compatibles SPARK-41413
• Modification du fichier binaire en dataType non pris en charge au format CSV SPARK-42237
• Autoriser Avro à convertir le type d’union en SQL avec un nom de champ stable avec type SPARK-43333
• Accélération de l’inférence de type Horodatage avec le format hérité dans la source de données JSON/CSV SPARK-39281

Optimisation des requêtes

• L’élimination des sous-expressions prend en charge l’expression de raccourci SPARK-42815
• Amélioration de l’estimation des statistiques de jointure si un côté peut conserver l’unicité SPARK-39851
• Introduction de la limite de groupe de Window pour le filtre basé sur le classement afin d’optimiser le calcul top-k SPARK-37099
• Correction du comportement de IN Null (liste vide) dans les règles d’optimisation SPARK-44431
• Inférence et envoi (push) de la limite de fenêtre par le biais de la fenêtre si partitionSpec est vide SPARK-41171
• Suppression de la jointure externe si toutes les fonctions d’agrégation sont distinctes SPARK-42583
• Réduction de deux fenêtres adjacentes avec la même partition/ordre dans la sous-requête SPARK-42525
• Poussée de la limite via les UDF Python SPARK-42115
• Optimisation de l’ordre des prédicats de filtrage SPARK-40045

Génération de code et exécution des requêtes

• Le filtre d’exécution doit prendre en charge le côté de jointure aléatoire à plusieurs niveaux en tant que côté création de filtre SPARK-41674
• Prise en charge de Codegen pour HiveSimpleUDF SPARK-42052
• Prise en charge de Codegen pour HiveGenericUDF SPARK-42051
• Prise en charge de Codegen pour la jointure hachée aléatoire externe côté build SPARK-44060
• Implémentation de la génération de code pour la fonction to_csv (StructsToCsv) SPARK-42169
• Prise en charge d’InMemoryTableScanExec par AQE SPARK-42101
• Prise en charge de la build gauche de jointure externe gauche ou de la build droite de jointure externe droite dans la jointure hachée aléatoire SPARK-36612
• Respect de RequiresDistributionAndOrdering dans CTAS/RTAS SPARK-43088
• Compartiments coalesce dans la jointure appliqués côté flux de jointure de diffusion SPARK-43107
• Définition correcte de la possibilité d’accepter la valeur Null sur une clé de jointure fusionnée dans une jointure externe complète USING SPARK-44251
• Correction de la possibilité d’accepter la valeur Null ListQuery de sous-requête IN SPARK-43413

Autres changements notables

• Définition correcte de la possibilité d’accepter la valeur Null pour les clés dans les jointures USING SPARK-43718
• Correction de COUNT(*) est un bogue Null dans la sous-requête scalaire corrélée SPARK-43156
• La jointure externe Dataframe.joinWith doit retourner une valeur Null pour une ligne sans correspondance SPARK-37829
• Modification automatique des noms des colonnes de métadonnées en conflit SPARK-42683
• Documentation des classes d’erreur Spark SQL dans la documentation orientée utilisateur SPARK-42706

PySpark

Fonctionnalités

• Prise en charge des paramètres positionnels en Python sql() SPARK-44140
• Prise en charge de SQL paramétrisé par sql() SPARK-41666
• Prise en charge des fonctions table définies par l’utilisateur Python SPARK-43797
• Prise en charge de la définition de l’exécutable Python pour les API de fonction UDF et Pandas dans les Workers pendant l’exécution SPARK-43574
• Ajout de DataFrame.offset à PySpark SPARK-43213
• Implémentation de dir() dans pyspark.sql.dataframe.DataFrame pour inclure des colonnes SPARK-43270
• Ajout d’une option pour utiliser des vecteurs de grande largeur variable pour les opérations UDF d’Arrow SPARK-39979
• Prise en charge par mapInPandas / mapInArrow de l’exécution en mode barrière SPARK-42896
• Ajout des API JobTag à PySpark SparkContext SPARK-44194
• Prise en charge de l’UDTF Python pour l’analyse en Python SPARK-44380
• Exposition de TimestampNTZType dans pyspark.sql.types SPARK-43759
• Prise en charge du type d’horodatage imbriqué SPARK-43545
• Prise en charge de UserDefinedType dans createDataFrame à partir de pandas DataFrame et toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Ajout d’une option binaire de descripteur à l’API Pyspark Protobuf SPARK-43799
• Acceptation des tuples génériques comme indicateurs de saisie des fonctions UDF Pandas SPARK-43886
• Ajout de la fonction array_prepend SPARK-41233
• Ajout de la fonction util assertDataFrameEqual SPARK-44061
• Prise en charge des fonctions UDTF Python optimisées pour Arrow SPARK-43964
• Autorisation de la précision personnalisée pour l’égalité approximative fp SPARK-44217
• Rendre l’API assertSchemaEqual publique SPARK-44216
• Prise en charge de fill_value pour ps.Series SPARK-42094
• Prise en charge du type struct dans createDataFrame à partir de DataFrame Pandas SPARK-43473

Autres changements notables

• Ajout de la prise en charge de l’autocomplétion pour df[|] dans pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Déprécier et supprimer les API qui seront supprimées dans Pandas 2.0 [SPARK-42593]
• Python est désormais le premier onglet pour les exemples de code - Guide de jeux de données, Spark SQL et DataFrames SPARK-42493
• Mise à jour des exemples de code de documentation Spark restants pour afficher Python par défaut SPARK-42642
• Utilisation de noms de champs dédupliqués lors de la création d’Arrow RecordBatch [SPARK-41971]
• Prise en charge des noms de champs dupliqués dans createDataFrame avec DataFrame Pandas [SPARK-43528]
• Autorisation du paramètre de colonnes lors de la création d’un DataFrame avec Series [SPARK-42194]

Cœur

• Planification de mergeFinalize pendant une nouvelle tentative de fusion par poussée shuffleMapStage sans exécution de tâche SPARK-40082
• Introduction de PartitionEvaluator pour l’exécution de l’opérateur SQL SPARK-43061
• Autoriser ShuffleDriverComponent à déclarer si les données aléatoires sont stockées de manière fiable SPARK-42689
• Ajout d’une limitation maximale du nombre de tentatives pour les étapes afin d’éviter le risque de nouvelles tentatives infinies SPARK-42577
• Prise en charge de la configuration au niveau du journal avec une configuration Spark statique SPARK-43782
• Optimisation de percentileHeap SPARK-42528
• Ajout d’un argument de motif à TaskScheduler.cancelTasks SPARK-42602
• Éviter la réexécution inutile de la tâche sur l’exécuteur mis hors service en cas de migration de données aléatoires SPARK-41469
• Correction du sous-dénombrement d’accumulateurs dans le cas de la tâche de nouvelle tentative avec cache rdd SPARK-41497
• Utilisation de RocksDB pour spark.history.store.hybridStore.diskBackend par défaut SPARK-42277
• Wrapper NonFateSharingCache pour Guava Cache SPARK-43300
• Amélioration des performances de MapOutputTracker.updateMapOutput SPARK-43043
• Autoriser les applications à contrôler si leurs métadonnées sont enregistrées dans la base de données par le service aléatoire externe SPARK-43179
• Ajout de la variable d’environnement SPARK_DRIVER_POD_IP aux pods d’exécuteur SPARK-42769
• Montage du ConfigMap hadoop sur le pod d’exécuteur SPARK-43504

Diffusion Structurée

• Ajout de la prise en charge du suivi de l’utilisation de la mémoire des blocs épinglés pour le magasin d’état RocksDB SPARK-43120
• Ajout d’améliorations de la gestion de la mémoire du fournisseur de magasin d’état RocksDB SPARK-43311
• Introduction de dropDuplicatesWithinWatermark SPARK-42931
• Introduction d’un nouveau rappel onQueryIdle dans StreamingQueryListener SPARK-43183
• Ajout de l’option pour ignorer le coordinateur de validation dans le cadre de l’API StreamingWrite pour les sources/récepteurs DSv2 SPARK-42968
• Introduction d’un nouveau rappel « onQueryIdle » dans StreamingQueryListener SPARK-43183
• Implémentation de points de contrôle basés sur le journal des modifications pour le fournisseur de magasin d’état RocksDB SPARK-43421
• Ajout de la prise en charge de WRITE_FLUSH_BYTES pour RocksDB utilisé dans les opérateurs avec état de streaming SPARK-42792
• Ajout de la prise en charge de la définition de max_write_buffer_number et de write_buffer_size pour RocksDB utilisé dans le streaming SPARK-42819
• L’acquisition de verrou StateStore RocksDB doit se produire après l’obtention d’un itérateur d’entrée à partir d’inputRDD SPARK-42566
• Introduction de la propagation des filigranes parmi les opérateurs SPARK-42376
• Nettoyage des fichiers journaux et fichiers sst orphelins dans le répertoire de points de contrôle RocksDB SPARK-42353
• Développement de QueryTerminatedEvent de façon à contenir la classe d’erreur si elle existe dans l’exception SPARK-43482

ML

• Prise en charge de l’entraînement distribué des fonctions à l’aide de Deepspeed SPARK-44264
• Interfaces de base de sparkML pour spark3.5 : estimateur/transformateur/modèle/évaluateur SPARK-43516
• Prise en charge par MLv2 (ML sur Spark Connect) de Pandas >= 2.0 SPARK-43783
• Mise à jour des interfaces MLv2 Transformer SPARK-43516
• Nouvel estimateur de régression logistique pyspark ML implémenté sur le serveur de distribution SPARK-43097
• Rajout de Classifier.getNumClasses SPARK-42526
• Écriture d’une classe Deepspeed Distributed Learning DeepspeedTorchDistributor SPARK-44264
• Implémentation d’enregistrement/chargement de base pour ML sur Spark Connect SPARK-43981
• Amélioration de l’enregistrement du modèle de régression logistique SPARK-43097
• Implémentation de l’estimateur de pipeline pour ML sur Spark Connect SPARK-43982
• Implémentation de l’estimateur de validateur croisé SPARK-43983
• Implémentation de l’évaluateur de classification SPARK-44250
• Compatibilité du serveur de distribution PyTorch avec Spark Connect SPARK-42993

interface utilisateur

• Ajout d’une page d’interface utilisateur Spark pour Spark Connect SPARK-44394
• Prise en charge de la colonne d’histogramme du tas sous l’onglet Exécuteurs SPARK-44153
• Affichage d’un message d’erreur sur l’interface utilisateur pour chaque requête ayant échoué SPARK-44367
• Affichage de l’heure d’ajout/suppression des exécuteurs sous l’onglet Exécuteurs SPARK-44309

Build et autres

• Suppression de la prise en charge de Python 3.7 SPARK-43347
• La version minimale d’Increate PyArrow est désormais la version 4.0.0 SPARK-44183
• Prise en charge de R 4.3.1 SPARK-43447SPARK-44192
• Ajout des API JobTag à SparkR SparkContext SPARK-44195
• Ajout de fonctions mathématiques à SparkR SPARK-44349
• Mise à niveau de Parquet vers 1.13.1 SPARK-43519
• Mise à niveau d’ASM vers 9.5 SPARK-43537SPARK-43588
• Mise à niveau de rochesdbjni vers 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Mise à niveau de Netty vers 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Mise à niveau de zstd-jni vers 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465
• Mise à niveau des métriques dropwizard vers 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Mise à niveau de gcs-connector vers 2.2.14 SPARK-42888SPARK-43842
• Mise à niveau de commons-crypto vers 1.2.0 SPARK-42488
• Mise à niveau de scala-parser-combinators de 2.1.1 vers 2.2.0 SPARK-42489
• Mise à niveau de protobuf-java vers 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Mise à niveau de commons-codec vers 1.16.0 SPARK-44151
• Mise à niveau d’Apache Kafka vers 3.4.1 SPARK-42396SPARK-44181
• Mise à niveau de RoaringBitmap vers 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Mise à jour d’ORC vers 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Mise à niveau vers Avro 1.11.2 SPARK-44277
• Mise à niveau de commons-compress vers 1.23.0 SPARK-43102
• Mise à niveau de joda-time de 2.12.2 vers 2.12.5 SPARK-43008
• Mise à niveau de snappy-java vers 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Mise à niveau de mysql-connector-java de 8.0.31 vers 8.0.32 SPARK-42717
• Mise à niveau d’Apache Arrow vers 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Mise à niveau de commons-io vers 2.12.0 SPARK-43739
• Mise à niveau d’Apache commons-io vers 2.13.0 SPARK-43739SPARK-44028
• Mise à niveau de FasterXML jackson vers 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Mise à niveau de log4j2 vers 2.20.0 SPARK-42536
• Mise à niveau de slf4j vers 2.0.7 SPARK-42871
• Mise à niveau de NumPy et Pandas dans la version Dockerfile SPARK-42524
• Mise à niveau de Jersey vers 2.40 SPARK-44316
• Mise à niveau de H2 de 2.1.214 vers 2.2.220 SPARK-44393
• Mise à niveau d’optionator vers ^0.9.3 SPARK-44279
• Mise à niveau de bcprov-jdk15on et bcpkix-jdk15on vers 1.70 SPARK-44441
• Mise à niveau de mlflow vers 2.3.1 SPARK-43344
• Mise à niveau de Tink vers 1.9.0 SPARK-42780
• Mise à niveau de silencer vers 1.7.13 SPARK-41787SPARK-44031
• Mise à niveau d’Ammonite vers 2.5.9 SPARK-44041
• Mise à niveau de Scala vers 2.12.18 SPARK-43832
• Mise à niveau d’scalatestplus:selenium-4-4 vers org.scalatestplus:selenium-4-7 SPARK-41587
• Mise à niveau de minimatch vers 3.1.2 SPARK-41634
• Mise à niveau de sbt-assembly de 2.0.0 vers 2.1.0 SPARK-41704
• Mise à jour de maven-checkstyle-plugin de 3.1.2 vers 3.2.0 SPARK-41714
• Mise à jour de dev.ludovic.netlib vers 3.0.3 (SPARK-41750)
• Mise à niveau de hive-storage-api vers 2.8.1 SPARK-41798
• Mise à niveau de Apache httpcore vers 4.4.16 SPARK-41802
• Mise à niveau de jetty vers 9.4.52.v20230823 SPARK-45052
• Mise à niveau de compress-lzf vers 1.1.2 SPARK-42274

Suppressions, modifications de comportement et dépréciations

Suppression à venir

Les fonctionnalités suivantes seront supprimées dans la prochaine version majeure de Spark

• Prise en charge de Java 8 et Java 11, et la version Java minimale prise en charge sera Java 17
• Prise en charge de Scala 2.12, et la version Scala minimale prise en charge sera 2.13

Guides de migration

• Spark Core :
• SQL, jeux de données et DataFrame
• Diffusion en continu structurée
• MLlib (Machine Learning)
• PySpark (Python sur Spark)
• SparkR (R sur Spark)

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Environnement du système

• Système d’exploitation : Ubuntu 22.04.3 LTS
• Java : Zulu 8.70.0.23-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 13-07-2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)