Databricks Runtime 17.0

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 17.0, alimentées par Apache Spark 4.0.0.

Databricks a publié cette version en juin 2025.

Nouvelles fonctionnalités et améliorations

• SparkML est désormais pris en charge sur les clusters standard
• Prise en charge des procédures SQL
• Définir un classement par défaut pour SQL Functions
• Expressions de table courantes récursives (préversion publique)
• ANSI SQL activé par défaut
• PySpark et Spark Connect prennent désormais en charge l’API DataFrames df.mergeInto
• Prise en charge ALL CATALOGS dans SHOW SCHEMAS
• Le clustering liquide compacte désormais les vecteurs de suppression plus efficacement
• Autoriser les expressions non déterministes dans UPDATE/INSERT les valeurs de colonne pour les MERGE opérations
• Ignorer et récupérer des structures vides pour l'ingestion AutoLoader (en particulier Avro)
• Modifier les API Python et Scala Delta MERGE pour retourner un DataFrame au lieu d’Unité
• Prise en charge du mot clé VAR pour la déclaration et la suppression de variables SQL
• Mettre à niveau des bibliothèques Apache Parquet
• Prise en charge de la fédération des identités de charge de travail pour Google Cloud Pub/Sub

SparkML est désormais pris en charge sur les clusters standard

Le mode d’accès standard (anciennement mode d’accès partagé) prend désormais en charge Spark ML dans PySpark (pyspark.ml) et MLflow pour Spark (mlflow.spark). Pour le réglage des hyperparamètres, Databricks recommande d’utiliser Optuna et Joblib Spark sur des clusters standard.

Les limitations suivantes s’appliquent lors de l’exécution de SparkML sur des clusters standard :

• La taille maximale du modèle est de 1 Go.
• La taille maximale du cache de modèle par session est de 10 Go.
• L’entraînement du modèle d'arbre s’arrête tôt si la taille du modèle est sur le point de dépasser 1 Go.
• Les modèles SparkML suivants ne sont pas pris en charge :
  • DistributedLDAModel
  • FPGrowthModel

Prise en charge des procédures SQL

Les scripts SQL peuvent désormais être encapsulés dans une procédure stockée en tant que ressource réutilisable dans le catalogue Unity. Vous pouvez créer une procédure à l’aide de la commande CREATE PROCEDURE , puis l’appeler à l’aide de la commande CALL .

Définir un classement par défaut pour SQL Functions

L’utilisation de la nouvelle DEFAULT COLLATION clause dans la CREATE FUNCTION commande définit le classement par défaut utilisé pour STRING les paramètres, le type de retour et STRING les littéraux dans le corps de la fonction.

Expressions de table courantes récursives (préversion publique)

Azure Databricks prend désormais en charge la navigation des données hiérarchiques à l’aide d’expressions de table courantes récursives (RCTEs). Utilisez un CTE auto-référençant avec UNION ALL pour suivre la relation récursive.

ANSI SQL activé par défaut

Le dialecte SQL par défaut est maintenant ANSI SQL. ANSI SQL est une norme bien établie et permet de protéger les utilisateurs contre les résultats inattendus ou incorrects. Pour plus d’informations, consultez le guide d’activation DATAbricks ANSI .

PySpark et Spark Connect prennent désormais en charge l’API DataFrames df.mergeInto

PySpark et Spark Connect prennent désormais en charge l’API df.mergeInto , qui était auparavant disponible uniquement pour Scala.

Prise en charge ALL CATALOGS dans SHOW SCHEMAS

La SHOW SCHEMAS syntaxe est mise à jour pour accepter la syntaxe suivante :

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Lorsque ALL CATALOGS est spécifié dans une requête SHOW, l’exécution itère tous les catalogues actifs qui prennent en charge les espaces de noms à l’aide du gestionnaire de catalogues (DsV2). Pour chaque catalogue, elle inclut les espaces de noms de niveau supérieur.

Les attributs de sortie et le schéma de la commande ont été modifiés pour ajouter une catalog colonne indiquant le catalogue de l’espace de noms correspondant. La nouvelle colonne est ajoutée à la fin des attributs de sortie, comme indiqué ci-dessous :

Sortie précédente

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Nouvelle sortie

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

Le clustering liquide compacte désormais les vecteurs de suppression plus efficacement

Les tables Delta avec regroupement Liquid appliquent désormais les changements physiques des vecteurs de suppression plus efficacement lorsque OPTIMIZE est en cours d'exécution. Pour plus d’informations, consultez Appliquer des modifications aux fichiers de données Parquet.

Autoriser les expressions non déterministes dans les valeurs de colonne UPDATE/INSERT pour les opérations MERGE

Azure Databricks permet désormais l’utilisation d’expressions non déterministes dans les valeurs de colonne mises à jour et insérées des MERGE opérations. Toutefois, les expressions non déterministes dans les conditions des instructions MERGE ne sont pas prises en charge.

Par exemple, vous pouvez maintenant générer des valeurs dynamiques ou aléatoires pour les colonnes :

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Cela peut être utile pour la confidentialité des données afin d’obfusquer les données réelles tout en préservant les propriétés de données (telles que les valeurs moyennes ou d’autres colonnes calculées).

Ignorer et récupérer des structures vides pour l'ingestion AutoLoader (en particulier Avro)

Le chargeur automatique sauve désormais les types de données Avro avec un schéma vide, car la table Delta ne prend pas en charge l’ingestion de données de type vide struct.

Modifier les API Python et Scala Delta MERGE pour retourner un DataFrame au lieu d’Unité

Les API Scala et Python MERGE (telles que DeltaMergeBuilder) retournent désormais un DataFrame comme l’API SQL, avec les mêmes résultats.

Prise en charge du mot clé VAR pour la déclaration et la suppression de variables SQL

La syntaxe SQL pour déclarer et supprimer des variables prend désormais en charge le VAR mot clé en plus de VARIABLE. Cette modification unifie la syntaxe entre toutes les opérations liées aux variables, ce qui améliore la cohérence et réduit la confusion pour les utilisateurs qui utilisent VAR déjà lors de la définition de variables.

Mettre à niveau des bibliothèques Apache Parquet

Les bibliothèques Apache Parquet ont été mises à niveau de la version 1.13.1 vers la version 1.15.1 pour garantir la compatibilité avec Spark 4.0. Cette mise à jour inclut des améliorations des performances, des correctifs de bogues et une prise en charge améliorée des fonctionnalités Parquet sur les modules suivants :

• parquet-column
• parquet-common
• parquet-encoding
• parquet-format-structures
• parquet-hadoop
• parquet-jackson

Prise en charge de la fédération des identités de charge de travail pour Google Cloud Pub/Sub

Vous pouvez désormais utiliser la fédération des identités de charge de travail pour vous connecter en toute sécurité à Google Cloud Pub/Sub à partir de Databricks sans nécessiter de clés de compte de service. Cela simplifie l’authentification pour les charges de travail de diffusion en continu et d’ingestion de données qui s’intègrent à Pub/Sub.

Changements comportementaux

• Les certificats d’autorité de certification personnalisés Databricks File System (DBFS) ne sont plus pris en charge
• Suppression de la section « True cache misses » dans l’interface utilisateur Spark
• Suppression de la métrique « Utilisation maximale du disque du Gestionnaire de métadonnées du cache » dans l’interface utilisateur Spark
• Suppression de la section « Octets manquants du cache replanifié » dans l’interface utilisateur Spark
• CREATE VIEW Les clauses au niveau des colonnes génèrent désormais des erreurs lorsque les clauses s’appliquent uniquement aux vues matérialisées

Les certificats d’autorité de certification personnalisés Databricks File System (DBFS) ne sont plus pris en charge

** Dans le cadre des efforts continus visant à mettre hors service le stockage des données dans la racine du DBFS et les montages DBFS, les certificats de l'autorité de certification (CA) personnalisée DBFS ne sont pas pris en charge dans Databricks Runtime 17.0 et les versions ultérieures. Pour obtenir des recommandations sur l’utilisation des fichiers, consultez Utiliser des fichiers sur Azure Databricks.

Suppression de la section « True cache misses » dans l’interface utilisateur Spark

Ces modifications suppriment la prise en charge de la métrique « Cache true misses size » (pour les caches compressés et non compressés). La métrique « ratés d'écriture de cache » mesure les mêmes informations.

Utilisez le numLocalScanTasks comme proxy viable pour cette métrique lorsque vous souhaitez voir comment le cache fonctionne lorsque les fichiers sont attribués au processeur approprié.

Suppression de la métrique « Utilisation maximale du disque du Gestionnaire de métadonnées du cache » dans l’interface utilisateur Spark

Cette modification supprime la prise en charge des métriques cacheLocalityMgrDiskUsageInBytes et cacheLocalityMgrTimeMs du runtime Databricks et de l'interface utilisateur Spark.

Suppression de la section « Rescheduled cache miss bytes » dans l’interface utilisateur Spark

Suppression des métriques « cache rescheduled misses size » et « cache rescheduled misses size » (caches non compressés) de DBR. Pour ce faire, cela mesure la façon dont le cache s’exécute lorsque les fichiers sont affectés à des exécuteurs non préférés. numNonLocalScanTasks est un bon proxy pour cette métrique.

CREATE VIEW Les clauses au niveau des colonnes génèrent désormais des erreurs lorsqu'elles ne s'appliquent qu'aux vues matérialisées.

CREATE VIEW les commandes spécifiant une clause au niveau des colonnes valide uniquement pour MATERIALIZED VIEWs génèrent désormais une erreur. Les clauses affectées pour les commandes CREATE VIEW sont :

• NOT NULL
• Type de données spécifié, tel que FLOAT ou STRING
• DEFAULT
• COLUMN MASK

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :

  • azure-core de la version 1.31.0 vers la version 1.34.0
  • noir de 24.4.2 à 24.10.0
  • boto3 de 1.34.69 à 1.36.2
  • botocore de 1.34.69 à 1.36.3
  • cachetools de la version 5.3.3 vers la version 5.5.1
  • certifi de 2024.6.2 à 2025.1.31
  • cffi de 1.16.0 à 1.17.1
  • charset-normalizer de la version 2.0.4 vers la version 3.3.2
  • cloudpickle de la version 2.2.1 vers la version 3.0.0
  • contourpy de 1.2.0 à 1.3.1
  • chiffrement de 42.0.5 à 43.0.3
  • Cython de 3.0.11 à 3.0.12
  • databricks-sdk de 0.30.0 à 0.49.0
  • debugpy de 1.6.7 à 1.8.11
  • Déconseillé de 1.2.14 à 1.2.13
  • distlib de 0.3.8 à 0.3.9
  • filelock de la version 3.15.4 vers la version 3.18.0
  • fonttools de 4.51.0 à 4.55.3
  • GitPython de 3.1.37 à 3.1.43
  • google-auth de 2.35.0 à 2.40.0
  • google-cloud-core de 2.4.1 à 2.4.3
  • google-cloud-storage de 2.18.2 à 3.1.0
  • google-crc32c de 1.6.0 à 1.7.1
  • grpcio de la version 1.60.0 vers la version 1.67.0
  • grpcio-status de la version 1.60.0 vers la version 1.67.0
  • importlib-metadata de 6.0.0 à 6.6.0
  • ipyflow-core de 0.0.201 à 0.0.209
  • ipykernel de 6.28.0 à 6.29.5
  • ipython de 8.25.0 à 8.30.0
  • ipywidgets de 7.7.2 à 7.8.1
  • jedi de 0.19.1 à 0.19.2
  • jupyter_client de 8.6.0 à 8.6.3
  • kiwisolver de 1.4.4 à 1.4.8
  • matplotlib de 3.8.4 à 3.10.0
  • matplotlib-inline de 0.1.6 à 0.1.7
  • mlflow-skinny de 2.19.0 à 2.22.0
  • numpy de 1.26.4 à 2.1.3
  • opentelemetry-api de 1.27.0 à 1.32.1
  • opentelemetry-sdk de 1.27.0 à 1.32.1
  • opentelemetry-semantic-conventions de la version 0.48b0 vers la version 0.53b1
  • pandas de 1.5.3 à 2.2.3
  • parso de 0.8.3 à 0.8.4
  • patsy de la version 0.5.6 vers la version 1.0.1
  • pillow de la version 10.3.0 vers la version 11.1.0
  • plotly de la version 5.22.0 vers la version 5.24.1
  • pluggy de la version 1.0.0 vers la version 1.5.0
  • proto-plus de 1.24.0 à 1.26.1
  • protobuf de la version 4.24.1 vers la version 5.29.4
  • pyarrow de 15.0.2 à 19.0.1
  • pyccolo de la version 0.0.65 vers la version 0.0.71
  • pydantic de la version 2.8.2 vers la version 2.10.6
  • pydantic_core de 2.20.1 à 2.27.2
  • PyJWT de 2.7.0 à 2.10.1
  • pyodbc de 5.0.1 à 5.2.0
  • pyparsing de 3.0.9 à 3.2.0
  • pyright de 1.1.294 à 1.1.394
  • python-lsp-server de 1.10.0 à 1.12.0
  • PyYAML de 6.0.1 à 6.0.2
  • pyzmq de 25.1.2 à 26.2.0
  • demandes comprises entre 2.32.2 et 2.32.3
  • rsa de la version 4.9 vers la version 4.9.1
  • s3transfer de 0.10.2 à 0.11.3
  • scikit-learn de 1.4.2 à 1.6.1
  • scipy de 1.13.1 à 1.15.1
  • sqlparse de la version 0.5.1 vers la version 0.5.3
  • statsmodels de 0.14.2 à 0.14.4
  • tenacity de la version 8.2.2 vers la version 9.0.0
  • threadpoolctl de 2.2.0 à 3.5.0
  • tornado de 6.4.1 à 6.4.2
  • typing_extensions de la version 4.11.0 vers la version 4.12.2
  • urllib3 de 1.26.16 à 2.3.0
  • virtualenv de 20.26.2 à 20.29.3
  • wheel de 0.43.0 à 0.45.1
  • wrapt de la version 1.14.1 vers la version 1.17.0
  • yapf de la version 0.33.0 vers la version 0.40.2
  • zipp de la version 3.17.0 vers la version 3.21.0

• Bibliothèques R mises à niveau :

  • arrow de la version 16.1.0 vers la version 19.0.1
  • askpass de 1.2.0 à 1.2.1
  • base de 4.4.0 à 4.4.2
  • BigD de 0.2.0 à 0.3.0
  • bit de la version 4.0.5 vers la version 4.6.0
  • bit64 de 4.0.5 à 4.6.0-1
  • bitops de la version 1.0-8 vers la version 1.0-9
  • broom de la version 1.0.6 vers la version 1.0.7
  • bslib de 0.8.0 à 0.9.0
  • caret de la version 6.0-94 vers la version 7.0-1
  • chron de 2.3-61 à 2.3-62
  • cli de 3.6.3 à 3.6.4
  • clock de la version 0.7.1 vers la version 0.7.2
  • commonmark de 1.9.1 à 1.9.5
  • compilateur de 4.4.0 à 4.4.2
  • cpp11 de 0.4.7 à 0.5.2
  • credentials de 2.0.1 à 2.0.2
  • curl de 5.2.1 à 6.2.1
  • data.table de 1.15.4 à 1.17.0
  • datasets de 4.4.0 à 4.4.2
  • digest de 0.6.36 vers 0.6.37
  • e1071 de 1.7-14 à 1.7-16
  • evaluate de la version 0.24.0 vers la version 1.0.3
  • fontawesome de la version 0.5.2 vers la version 0.5.3
  • fs de 1.6.4 à 1.6.5
  • future.apply de la version 1.11.2 vers la version 1.11.3
  • gert de la version 2.1.0 vers la version 2.1.4
  • git2r de 0.33.0 à 0.35.0
  • glue de 1.7.0 à 1.8.0
  • mise à jour de gower de la version 1.0.1 à la version 1.0.2
  • graphiques de 4.4.0 à 4.4.2
  • grDevices de 4.4.0 à 4.4.2
  • grid de 4.4.0 à 4.4.2
  • gt de 0.11.0 à 0.11.1
  • gtable de la version 0.3.5 vers la version 0.3.6
  • hardhat de la version 1.4.0 vers la version 1.4.1
  • httr2 de la version 1.0.2 vers la version 1.1.1
  • jsonlite de 1.8.8 à 1.9.1
  • knitr de la version 1.48 vers la version 1.50
  • later de la version 1.3.2 vers la version 1.4.1
  • lave de 1.8.0 à 1.8.1
  • lubridate de 1.9.3 à 1.9.4
  • méthodes comprises entre 4.4.0 et 4.4.2
  • mime de 0.12 vers 0.13
  • mlflow de 2.14.1 à 2.20.4
  • nlme de 3.1-165 à 3.1-164
  • openssl de 2.2.0 à 2.3.2
  • parallel de 4.4.0 à 4.4.2
  • parrallelly de la version 1.38.0 vers la version 1.42.0
  • pilier de 1.9.0 à 1.10.1
  • pkgbuild de 1.4.4 à 1.4.6
  • pkgdown de la version 2.1.0 vers la version 2.1.1
  • processx de la version 3.8.4 vers la version 3.8.6
  • profvis de la version 0.3.8 vers la version 0.4.0
  • progressr de la version 0.14.0 vers la version 0.15.1
  • promises de la version 1.3.0 vers la version 1.3.2
  • ps de 1.7.7 vers 1.9.0
  • purrr mise à jour de la version 1.0.2 à la version 1.0.4
  • R6 de la version 2.5.1 vers la version 2.6.1
  • ragg de 1.3.2 à 1.3.3
  • randomForest de 4.7-1.1 à 4.7-1.2
  • Rcpp de 1.0.13 à 1.0.14
  • RcppEigen de 0.3.4.0.0 à 0.3.4.0.2
  • reactR de la version 0.6.0 vers la version 0.6.1
  • readxl de la version 1.4.3 vers la version 1.4.5
  • recettes comprises entre 1.1.0 et 1.2.0
  • rlang de 1.1.4 à 1.1.5
  • rmarkdown de la version 2.27 vers la version 2.29
  • RODBC de 1.3-23 à 1.3-26
  • Rserve de la version 1.8-13 vers la version 1.8-15
  • RSQLite de 2.3.7 à 2.3.9
  • rstudioapi de 0.16.0 à 0.17.1
  • sessioninfo de 1.2.2 à 1.2.3
  • shiny de la version 1.9.1 vers la version 1.10.0
  • sparklyr de la version 1.8.6 vers la version 1.9.0
  • SparkR de 3.5.2 à 4.0.0
  • splines de 4.4.0 à 4.4.2
  • statistiques comprises entre 4.4.0 et 4.4.2
  • stats4 de 4.4.0 à 4.4.2
  • survival de la version 3.6-4 vers la version 3.5-8
  • sys de 3.4.2 à 3.4.3
  • systemfonts de la version 1.1.0 vers la version 1.2.1
  • tcltk de 4.4.0 à 4.4.2
  • testthat de 3.2.1.1 à 3.2.3
  • textshaping de la version 0.4.0 vers la version 1.0.0
  • timeDate de la version 4032.109 vers la version 4041.110
  • tinytex de 0,52 à 0,56
  • tools de 4.4.0 à 4.4.2
  • tzdb de 0.4.0 à 0.5.0
  • usethis de 3.0.0 à 3.1.0
  • utilitaires de la version 4.4.0 à la version 4.4.2
  • V8 de 4.4.2 à 6.0.2
  • waldo de 0.5.2 à 0.6.1
  • withr de 3.0.1 à 3.0.2
  • xfun de 0,46 à 0,51
  • xml2 de 1.3.6 à 1.3.8
  • zip de 2.3.1 à 2.3.2

• Bibliothèques Java mises à niveau :

  • com.clearspring.analytics.stream de 2.9.6 à 2.9.8
  • com.esotericsoftware.kryo-shaded de la version 4.0.2 vers la version 4.0.3
  • com.fasterxml.classmate de la version 1.3.4 vers la version 1.5.1
  • com.fasterxml.jackson.core.jackson-annotations de la version 2.15.2 vers la version 2.18.2
  • com.fasterxml.jackson.core.jackson-core de 2.15.2 à 2.18.2
  • com.fasterxml.jackson.core.jackson-databind de 2.15.2 à 2.18.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de la version 2.15.2 vers la version 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.15.2 à 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.16.0 à 2.18.2
  • com.fasterxml.jackson.module.jackson-module-paranamer de la version 2.15.2 vers la version 2.18.2
  • com.github.luben.zstd-jni de 1.5.5-4 à 1.5.6-10
  • com.google.code.gson.gson de 2.10.1 à 2.11.0
  • com.google.crypto.tink.tink de 1.9.0 vers 1.16.0
  • com.google.errorprone.error_prone_annotations de la version 2.10.0 vers la version 2.36.0
  • com.google.flatbuffers.flatbuffers-java de la version 23.5.26 vers la version 24.3.25
  • com.google.guava.guava de la version 15.0 vers la version 33.4.0-jre
  • com.google.protobuf.protobuf-java de 3.25.1 à 3.25.5
  • com.microsoft.azure.azure-data-lake-store-sdk de 2.3.9 à 2.3.10
  • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 à 12.8.0.jre8
  • commons-cli.commons-cli de la version 1.5.0 vers la version 1.9.0
  • commons-codec.commons-codec de la version 1.16.0 vers la version 1.17.2
  • commons-io.commons-io de la version 2.13.0 vers la version 2.18.0
  • io.airlift.aircompressor de 0.27 à 2.0.2
  • io.dropwizard.metrics.metrics-annotation de la version 4.2.19 vers la version 4.2.30
  • io.dropwizard.metrics.metrics-core de la version 4.2.19 vers la version 4.2.30
  • io.dropwizard.metrics.metrics-graphite de la version 4.2.19 vers la version 4.2.30
  • io.dropwizard.metrics.metrics-healthchecks de la version 4.2.19 vers la version 4.2.30
  • io.dropwizard.metrics.metrics-jetty9 de 4.2.19 à 4.2.30
  • io.dropwizard.metrics.metrics-jmx de 4.2.19 à 4.2.30
  • io.dropwizard.metrics.metrics-json de la version 4.2.19 vers la version 4.2.30
  • io.dropwizard.metrics.metrics-jvm de la version 4.2.19 vers la version 4.2.30
  • io.dropwizard.metrics.metrics-servlets de la version 4.2.19 vers la version 4.2.30
  • io.netty.netty-all de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-buffer de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-codec de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-codec-http de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-codec-http2 de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-codec-socks de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-common de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-handler de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-handler-proxy de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-resolver de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-tcnative-boringssl-static de la version 2.0.61.Final-db-r16-windows-x86_64 vers la version 2.0.70.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes de la version 2.0.61.Final vers la version 2.0.70.Final
  • io.netty.netty-transport de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-transport-classes-epoll de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-transport-classes-kqueue de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.netty.netty-transport-native-epoll de la version 4.1.108.Final-linux-x86_64 vers la version 4.1.118.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de la version 4.1.108.Final-osx-x86_64 vers la version 4.1.118.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de la version 4.1.108.Final vers la version 4.1.118.Final
  • io.prometheus.jmx.collector de 0.12.0 à 0.18.0
  • io.prometheus.simpleclient de la version 0.7.0 vers la version 0.16.1-databricks
  • io.prometheus.simpleclient_common de la version 0.7.0 vers la version 0.16.1-databricks
  • io.prometheus.simpleclient_dropwizard de la version 0.7.0 vers la version 0.16.1-databricks
  • io.prometheus.simpleclient_pushgateway de la version 0.7.0 vers la version 0.16.1-databricks
  • io.prometheus.simpleclient_servlet de la version 0.7.0 vers la version 0.16.1-databricks
  • joda-time.joda-time de 2.12.1 à 2.13.0
  • net.razorvine.pickle de la version 1.3 vers la version 1.5
  • org.antlr.antlr4-runtime de la version 4.9.3 vers la version 4.13.1
  • org.apache.arrow.arrow-format de la version 15.0.0 vers la version 18.2.0
  • org.apache.arrow.arrow-memory-core de la version 15.0.0 vers la version 18.2.0
  • org.apache.arrow.arrow-memory-netty de la version 15.0.0 vers la version 18.2.0
  • org.apache.arrow.arrow-vector de la version 15.0.0 vers la version 18.2.0
  • org.apache.avro.avro de 1.11.4 à 1.12.0
  • org.apache.avro.avro-ipc de 1.11.4 à 1.12.0
  • org.apache.avro.avro-mapred de 1.11.4 à 1.12.0
  • org.apache.commons.commons-compress de 1.23.0 à 1.27.1
  • org.apache.commons.commons-lang3 de 3.12.0 à 3.17.0
  • org.apache.commons.commons-text de la version 1.10.0 vers la version 1.13.0
  • org.apache.curator.curator-client de la version 2.13.0 vers la version 5.7.1
  • org.apache.curator.curator-framework de la version 2.13.0 vers la version 5.7.1
  • org.apache.curator.curator-recipes de la version 2.13.0 vers la version 5.7.1
  • org.apache.datasketches.datasketches-java de 3.1.0 à 6.1.1
  • org.apache.datasketches.datasketches-memory de la version 2.0.0 vers la version 3.0.2
  • org.apache.hadoop.hadoop-client-runtime de la version 3.3.6 vers la version 3.4.1
  • org.apache.hive.hive-beeline de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.hive-cli de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.hive-jdbc de 2.3.9 à 2.3.10
  • org.apache.hive.hive-llap-client de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.hive-llap-common de 2.3.9 à 2.3.10
  • org.apache.hive.hive-serde de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.hive-shims de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.shims.hive-shims-0.23 de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.shims.hive-shims-common de la version 2.3.9 vers la version 2.3.10
  • org.apache.hive.shims.hive-shims-scheduler de la version 2.3.9 vers la version 2.3.10
  • org.apache.ivy.ivy de 2.5.2 à 2.5.3
  • org.apache.logging.log4j.log4j-1.2-api de 2.22.1 à 2.24.3
  • org.apache.logging.log4j.log4j-api de 2.22.1 à 2.24.3
  • org.apache.logging.log4j.log4j-core de 2.22.1 à 2.24.3
  • org.apache.logging.log4j.log4j-layout-template-json de 2.22.1 à 2.24.3
  • org.apache.logging.log4j.log4j-slf4j2-impl de 2.22.1 à 2.24.3
  • org.apache.orc.orc-core de la version 1.9.2-shaded-protobuf vers la version 2.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de la version 1.9.2-shaded-protobuf vers la version 2.1.1-shaded-protobuf
  • org.apache.orc.orc-shims de la version 1.9.2 vers la version 2.1.1
  • org.apache.thrift.libthrift de 0.12.0 à 0.16.0
  • org.apache.ws.xmlschema.xmlschema-core de la version 2.3.0 vers la version 2.3.1
  • org.apache.xbean.xbean-asm9-shaded de la version 4.23 vers la version 4.26
  • org.apache.zookeeper.zookeeper de la version 3.9.2 vers la version 3.9.3
  • org.apache.zookeeper.zookeeper-jute de la version 3.9.2 vers la version 3.9.3
  • org.checkerframework.checker-qual de 3.31.0 à 3.43.0
  • org.eclipse.jetty.jetty-client de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-continuation de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-http de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.jetty-io de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.jetty-jndi de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-plus de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-proxy de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-security de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.jetty-server de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlet de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlets de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.jetty-webapp de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-client de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 à 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-server de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-servlet de la version 9.4.52.v20230823 vers la version 9.4.53.v20231009
  • org.glassfish.jersey.containers.jersey-container-servlet de la version 2.40 vers la version 2.41
  • org.glassfish.jersey.containers.jersey-container-servlet-core de la version 2.40 vers la version 2.41
  • org.glassfish.jersey.core.jersey-client de la version 2.40 vers la version 2.41
  • org.glassfish.jersey.core.jersey-common de la version 2.40 vers la version 2.41
  • org.glassfish.jersey.core.jersey-server de la version 2.40 vers la version 2.41
  • org.glassfish.jersey.inject.jersey-hk2 de la version 2.40 vers la version 2.41
  • org.hibernate.validator.hibernate-validator de la version 6.1.7.Final vers la version 6.2.5.Final
  • org.jboss.logging.jboss-logging de la version 3.3.2.Final vers la version 3.4.1.Final
  • org.objenesis.objenesis de la version 2.5.1 vers la version 3.3
  • org.roaringbitmap.RoaringBitmap de la version 0.9.45-databricks vers la version 1.2.1
  • org.rocksdb.rocksdbjni de 9.2.1 à 9.8.4
  • org.scalatest.scalatest-compatible de la version 3.2.16 vers la version 3.2.19
  • org.slf4j.jcl-over-slf4j de la version 2.0.7 vers la version 2.0.16
  • org.slf4j.jul-to-slf4j de 2.0.7 à 2.0.16
  • org.slf4j.slf4j-api de 2.0.7 à 2.0.16
  • org.threeten.threeten-extra de 1.7.1 à 1.8.0
  • org.tukaani.xz de 1.9 à 1.10

Apache Spark

La plupart de ses fonctionnalités étaient déjà disponibles dans Databricks Runtime 14.x, 15.x et 16.x, et elles sont désormais prêtes à l’emploi avec Runtime 17.0.

• SPARK-52311 Redéfinir la sortie UnionLoop pour ne pas être dupliquée si la sortie d’ancre est dupliquée
• SPARK-50104 Prise en charge de SparkSession.executeCommand dans Connect
• SPARK-51085 Restaurer le compagnon SQLContext
• SPARK-49698 Ajoutez l’annotation ClassicOnly pour les méthodes classiques uniquement.
• SPARK-52026 Bloquer l’API Pandas sur Spark en mode ANSI par défaut
• SPARK-43415 Implémenter KVGDS.agg avec une fonction personnalisée mapValues
• SPARK-50979 Supprimer les implicites .expr/.typedExpr
• SPARK-49961 Signature de type de transformation correcte pour Scala et Java
• SPARK-51012 Supprimer SparkStrategy des Connect Shims.
• SPARK-50915 Ajouter getCondition et déprécier getErrorClass dans PySparkException
• SPARK-51821 Appeler interrupt() sans détenir uninterruptibleLock pour éviter un blocage possible
• SPARK-52192 Vérification du chemin de chargement MLCache
• SPARK-52122 Correction de la vulnérabilité RCE DefaultParamsReader
• SPARK-52191 Suppression du désérialiseur Java dans le chargeur de chemin d’accès local du modèle
• SPARK-52051 Rétroportage de « Permettre de résumer le modèle lorsque le contrôle de mémoire est activé » et « Affiner le message d’erreur et masquer la configuration interne de Spark » dans DBR 17.0.0
• SPARK-51391 Corriger SparkConnectClient pour respecter SPARK_USER et user.name
• SPARK-51416 Supprimer SPARK_CONNECT_MODE lors du démarrage du serveur Spark Connect
• SPARK-51156 Prise en charge de l’authentification par jeton statique dans Spark Connect
• SPARK-51279 Éviter une veille constante pour le serveur Spark Connect en attente dans Scala
• SPARK-51254 Interdire --master avec l’URL Spark Connect
• SPARK-51267 Mettre en correspondance la logique de serveur Spark Connect locale entre Python et Scala
• SPARK-51212 Ajouter un package PySpark séparé pour Spark Connect par défaut
• SPARK-52017 Activation des auto-références multiples et des auto-références à partir d’une sous-requête dans les rCTE
• SPARK-52035 Dissocier le résumé d'entraînement de régression linéaire et le modèle de régression linéaire
• SPARK-50511 Éviter d’encapsuler les messages d’erreur de source de données Python
• SPARK-51974 Limiter la taille du modèle et la taille du cache de modèle par session
• SPARK-51947 Déchargement du cache du modèle Spark Connect
• SPARK-49751 Correction de la désérialisation de l’événement SparkListenerConnectServiceStarted
• SPARK-47952 Prise en charge de la récupération de l’adresse GRPC SparkConnectService réelle et du port par programmation lors de l’exécution sur Yarn
• SPARK-47587 Module Hive : Migrer logWarn avec des variables vers une infrastructure de journalisation structurée
• SPARK-50768 Présentation de TaskContext.createResourceUninterruptibly pour éviter la fuite de flux lorsque la tâche est interrompue
• SPARK-51818 Déplacer la création de QueryExecution vers AnalyzeHandler et ne pas exécuter pour AnalyzePlanRequests
• SPARK-51609 Optimiser l’exécution de CTE récursive pour les requêtes simples
• SPARK-49748 Ajouter getCondition et déprécier getErrorClass dans SparkThrowable
• SPARK-51867 Effectuer une prise en charge par le modèle Scala des méthodes d’enregistrement/chargement sur un chemin de système de fichiers local
• SPARK-51856 Mettre à jour l’API taille du modèle pour compter la taille distribuée du DataFrame
• SPARK-51941 Résoudre le problème de précision pour convertToCatalyst lorsque l’entrée est BigDecimal entre -1.0 et 1.0
• SPARK-50605 Prise en charge du mode API SQL pour faciliter la migration vers Spark Connect
• SPARK-51849 Refactorisation ResolveDDLCommandStringTypes
• SPARK-51673 Appliquer le classement par défaut pour modifier la requête d’affichage
• SPARK-51880 Corriger les références du client Python pour l'objet de cache ML
• SPARK-51873 Pour l’algorithme OneVsRest, autorisez l’utilisation de l’enregistrement/chargement pour remplacer le cache
• SPARK-51072 CallerContext pour définir le contexte d’audit cloud Hadoop
• SPARK-51790 Enregistrer UTF8String avec KryoSerializer
• SPARK-51022 Supprimer tableSampleClause inutilisé dans la méthode build() de MsSqlServerSQLQueryBuilder et DB2SQLQueryBuilder
• SPARK-51219 Correction de ShowTablesExec.isTempView pour permettre le fonctionnement horsV2SessionCatalog catalogues
• SPARK-49700 Interface Scala unifiée pour Connect et Classic
• SPARK-50458 Gestion des erreurs appropriée pour le système de fichiers non pris en charge lors de la lecture des fichiers
• SPARK-50666 Indicateur de support pour la lecture dans la source de données JDBC
• SPARK-50131 Réapplication de «Ajouter une sous-requête IN DataFrame »
• SPARK-51899 Implémenter des règles de gestion des erreurs pour spark.catalog.listTables()
• SPARK-51820 Résolution des problèmes restants pour les nouveaux group/order avec une approche ordinale
• SPARK-48585 Faire en sorte que built-in la méthode classifyException jdbcDialect lève l’exception original
• SPARK-48387 Postgres : Associer le type TimestampType à TIMESTAMP WITH TIME ZONE
• SPARK-51820 Déplacement de la construction UnresolvedOrdinal avant l’analyse pour éviter le problème lié au groupement ordinal
• SPARK-48337 Corriger la perte de précision pour les valeurs JDBC TIME
• SPARK-51711 Propagation de la session Spark distante active aux nouveaux threads pour corriger CrossValidator
• SPARK-47515 Enregistrer TimestampNTZType en tant que DATETIME dans MySQL
• SPARK-48439 Derby : Calculer la précision et l’échelle appropriées pour le type DECIMAL
• SPARK-51820 Préparer la logique de rédaction pour SPARK-51820 codesync
• SPARK-48323 DB2 : Associer BooleanType à BOOLEAN plutôt qu'à CHAR(1)
• SPARK-51635 Fusionner PushProjectionThroughLimit et PushProjectionThroughOffset
• SPARK-48211 DB2 : Lire SMALLINT en tant que ShortType
• SPARK-51803 Stocker le type JDBC du moteur externe dans les métadonnées de StructField
• SPARK-51845 Ajout de messages de protocole CleanCache et GetCacheInfo
• SPARK-49511 Appliquer des règles de mise en forme à sql/api
• SPARK-47968 MsSQLServer : Associer datetimeoffset au TimestampType
• SPARK-51726 Utilisation de TableInfo pour la phase de la table CRÉER/REMPLACER/CRÉER OU REMPLACER
• SPARK-47967 Faire lire à JdbcUtils.makeGetter le type d’heure en tant que NTZ correctement
• SPARK-47989 MsSQLServer : Correction de l’étendue de spark.sql.legacy.mssqlserver.numericMapping.enabled
• SPARK-51193 Mise à niveau Netty vers 4.1.118.Final et netty-tcnative vers 2.0.70.Final
• SPARK-47882 createTableColumnTypes doit être mappé aux types de base de données au lieu d’utiliser directement
• SPARK-47879 Oracle : Utilisez VARCHAR2 au lieu de VARCHAR pour le mappage VarcharType
• SPARK-51372 Présentation de TableInfo pour les créations de tables
• SPARK-47791 Troncage des décimales dépassant la limite en priorisant l’échelle plutôt que la précision de la source de données JDBC
• SPARK-51404 Analyse du type de time(n) en tant que TimeType(n)
• SPARK-50350 Avro : ajouter une nouvelle fonction schema_of_avro (côté scala)
• SPARK-51136 Définir CallerContext pour le serveur d’historique
• SPARK-50641 Déplacer GetJsonObjectEvaluator vers JsonExpressionEvalUtils
• SPARK-50083 Intégrer _LEGACY_ERROR_TEMP_1231 à PARTITIONS_NOT_FOUND
• SPARK-51556 Ajouter la try_to_time fonction
• SPARK-47684 Postgres : Mapper la longueur non spécifiée bpchar à StringType
• SPARK-48688 Retourner une erreur raisonnable lors de l’appel des fonctions SQL to_avro et from_avro lorsque Avro n’est pas chargé par défaut
• SPARK-49839 SPJ : Ignorer les lectures aléatoires si possible lors des tris
• SPARK-45534 Utiliser java.lang.ref.Cleaner au lieu de finaliser pour RemoteBlockPushResolver
• SPARK-51816 Simplifier StatFunctions.multipleApproxQuantiles avec les API de trame de données
• SPARK-49179 Correction des jointures internes à plusieurs compartiments v2 qui entraînent une AssertionError
• SPARK-47456 Prise en charge du codec ORC Brotli
• SPARK-51542 Ajouter un bouton de défilement pour l’adressage en haut et en bas
• SPARK-51541 Prise en charge du type de données TIME dans les méthodes Literal
• SPARK-51615 Refactoriser ShowNamespaces pour utiliser RunnableCommand
• SPARK-51191 Valider la gestion des valeurs par défaut dans DELETE, , UPDATEMERGE
• SPARK-51829 Le côté client doit être mis à jour client.thread_local.ml_caches après la suppression
• SPARK-51358 Introduction de la détection du retard de téléchargement de capture instantanée via StateStoreCoordinator
• SPARK-51686 Lier les ID d’exécution des sous-exécutions pour l’exécution actuelle, le cas échéant
• SPARK-51456 Ajouter la to_time fonction
• SPARK-51773 Transformer les formats de fichier en classes de cas pour les comparer correctement
• SPARK-517777 Inscrire des classes sql.columnar.* dans KryoSerializer
• SPARK-51432 Lever une exception appropriée lorsque les schémas de flèche sont incompatibles
• SPARK-51395 Affiner la gestion des valeurs par défaut dans les procédures
• SPARK-50582 Ajouter une fonction prédéfinie de guillemets
• SPARK-51684 Corriger l’échec de test dans test_pandas_transform_with_state
• SPARK-51213 Conserver les informations de classe Expression lors de la résolution des paramètres d’indicateur
• SPARK-51651 Associer l'ID d'exécution racine à l'exécution en cours, si possible
• SPARK-50947 Affecter la classe d’erreur appropriée et SparkException pour les artefacts dupliqués
• SPARK-51574 Sérialisation de filtres pour le filtre de source de données Python en mode push
• SPARK-51608 Sauvegarde de l’exception lors de l'arrêt de l'exécuteur Python
• SPARK-51266 Supprimer la définition inutilisée de private[spark] object TaskDetailsClassNames
• SPARK-51011 Ajout de la journalisation pour savoir si une tâche va être interrompue lors de l’arrêt
• SPARK-49646 Ajouter une configuration Spark pour remédier à la décorrélation de sous-requête
• SPARK-51107 Refactoriser CommandBuilderUtils#join pour réutiliser les lignes et réduire la redondance
• SPARK-51758 Correction du cas de test lié à un lot supplémentaire qui provoque un cadre de données vide à cause d’un filigrane
• SPARK-51664 Prise en charge du type de données TIME dans l’expression de hachage
• SPARK-51819 Mettre à jour le module de test pyspark-errors pour inclure des tests manquants
• SPARK-50751 Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1305
• SPARK-50973 Nettoyage de l’utilisation déconseillée de l’API liée à avro.Schema#toString(boolean)
• SPARK-50908 Désactivation du test TTL non fiable dans test_pandas_transform_with_state.py
• SPARK-50811 Prise en charge de l’activation du profileur JVM sur le pilote
• SPARK-50808 Résolution du problème dans writeAll avec des types mixtes qui ne sont pas correctement écrits
• SPARK-51780 Implémentation de la procédure Décrire
• SPARK-50370 Prise en charge de Codegen pour json_tuple
• SPARK-50756 Utiliser la classe d’erreur pour les exceptions dans SparkConf.validateSettings
• SPARK-50805 Déplacer la méthode nameForAppAndAttempt vers o.a.s.u.Utils
• SPARK-51812 Supprimer les paramètres redondants de certaines méthodes dans QueryExecution
• SPARK-50819 Refactoriser le module du profileur Spark
• SPARK-51547 Attribuer le nom à la condition d’erreur : _LEGACY_ERROR_TEMP_2130
• SPARK-48538 Éviter la fuite de mémoire HMS causée par bonecp
• SPARK-51176 Respecter la cohérence pour les erreurs inattendues PySpark Connect <> Classic
• SPARK-50773 Désactiver la journalisation structurée par défaut
• SPARK-50616 Ajouter une option d’extension de fichier à l’enregistreur de sources de données CSV
• SPARK-50624 Ajouter TimestampNTZType à ColumnarRow/MutableColumnarRow
• SPARK-51590 Désactiver TIME dans les sources de données intégrées basées sur des fichiers
• SPARK-49886 Test d’échec au niveau des requêtes pour le format rocksDB V2
• SPARK-50823 Mettre à niveau cloudpickle de la version 3.1.0 vers la version 3.1.1
• SPARK-50780 Utiliser overrideStdFeatures plutôt que setFeatureMask dans JacksonParser
• SPARK-50621 Mettre à niveau Cloudpickle vers la version 3.1.0
• SPARK-50719 Prise en charge de interruptOperation pour PySpark
• SPARK-50545AccessControlException doit être levée même si ignoreCorruptFiles elle est activée
• SPARK-51517 Prise en charge du type de données TIME dans les résultats Hive
• SPARK-47856 Mappage de documents Spark SQL Data Types à partir d’Oracle et ajout de tests
• SPARK-46066 Utilisez l’API Séparateurs au lieu de l’API String pour construire le DefaultPrettyPrinter
• SPARK-50718 Prise en charge de addArtifact(s) pour PySpark
• SPARK-51497 Ajouter le formateur de temps par défaut
• SPARK-51488 Prendre en charge le mot clé TIME en tant que type de données
• SPARK-51273 Spark Connect Call Procedure exécute la procédure deux fois
• SPARK-51092 Abstraction des tests de FlatMapGroupsWithState v1 avec délais d’expiration sur les plateformes Big Endian
• SPARK-50606 Correction du NPE sur un SessionHolder non initialisé
• SPARK-49530 Prise en charge des sous-graphiques circulaires dans le tracé PySpark
• SPARK-50357 Prise en charge des API d'interruption (Tag|All) pour PySpark
• SPARK-51290 Activer le remplissage des valeurs par défaut dans les écritures DSv2
• SPARK-50485 Extraction de SparkThrowable dans (Unchecked)ExecutionException levée par tableRelationCache
• SPARK-51513 Correction d'une règle RewriteMergeIntoTable qui génère un plan non résolu
• SPARK-51482 Prise en charge de la conversion de chaîne en date/heure
• SPARK-51462 Prise en charge des littéraux typés pour le type de données TIME
• SPARK-51454 Prise en charge de la conversion de date/heure en chaîne
• SPARK-51447 Ajouter stringToTime et stringToTimeAnsi
• SPARK-51775 Normalize LogicalRelation et HiveTableRelation par NormalizePlan
• SPARK-51791ImputerModel stocke les coefficients avec des tableaux au lieu d’un dataframe
• SPARK-51442 Ajouter des formatteurs de temps
• SPARK-51384 Prise en charge de java.time.LocalTime comme type externe de TimeType
• SPARK-51747 Le plan mis en cache de source de données doit respecter les options
• SPARK-51774 Ajouter le code d'état GRPC à l'exception Python Connect GRPC
• SPARK-51660 Gestion appropriée lorsque le MDC n’est pas pris en charge
• SPARK-51296 Prise en charge de la collecte de données endommagées en mode singleVariantColumn.
• SPARK-45907 Utiliser des API ProcessHandle Java9+ pour computeProcessTree dans ProcfsMetricsGetter
• SPARK-51342 Ajouter TimeType
• SPARK-51769 Ajouter maxRecordsPerOutputBatch pour limiter le nombre d’enregistrements du lot de sortie Arrow
• SPARK-51350 Implémenter des procédures d’affichage
• SPARK-51711 Stratégie d’éviction MLCache basée sur la mémoire
• SPARK-51178 Déclenchement d’une erreur PySpark appropriée au lieu de SparkConnectGrpcException
• SPARK-51738 Sous-requête IN avec type de struct
• SPARK-51714 Ajouter un test d’ingestion des échecs pour vérifier le format de point de contrôle du magasin d’états V2.
• SPARK-51704 Éliminer les opérations de collecte inutiles
• SPARK-51512 Filtrage MapStatus null lors du nettoyage des données de lecture aléatoire avec ExternalShuffleService
• SPARK-49308 Prise en charge de UserDefinedAggregateFunction dans le client Scala Spark Connect
• SPARK-50091 Gestion des cas d’agrégats dans l’opérande de gauche de la sous-requête IN
• SPARK-50265 Soutien à spark.udf.registerJavaUdf dans Connect
• SPARK-49273 Support d'origine pour le client Scala Spark Connect
• SPARK-51187 Implémentation de la dépréciation progressive d’une configuration incorrecte introduite dans SPARK-49699
• SPARK-51650 Prise en charge de la suppression d’objets ML mis en cache par lots
• SPARK-51619 Prise en charge de l’entrée/sortie UDT dans la fonction UDF Python optimisée par Arrow
• SPARK-51333 Ne pas inclure InvocationTargetException levé dans MLUtils.loadOperator
• SPARK-51566 Amélioration du traceback de la fonction UDF Python
• SPARK-51393 Revenir à la fonction UDF Python standard lorsque Arrow est introuvable, mais que les fonctions UDF Python optimisées par Arrow sont activées.
• SPARK-49960 Prise en charge personnalisée d’ExpressionEncoder et correctifs pour TransformingEncoder
• SPARK-51380 Ajouter visitSQLFunction et visitAggregateFunction pour améliorer la flexibilité de V2ExpressionSQLBuilder
• SPARK-51600 Classes prédéfinies de sql/hive et sql/hive-thriftserver quand isTesting || isTestingSql est vraie
• SPARK-51070 Utiliser scala.collection.Set au lieu de Définir dans ValidateExternalType
• SPARK-50759 Dépréciation de quelques API de catalogue héritées
• SPARK-50994 Conversion RDD sous exécution suivie
• SPARK-51466 Élimination de l’initialisation des fonctions intégrées UDF de Hive lors de l’évaluation des UDF Hive
• SPARK-51491 Simplifier boxplot avec les API de sous-requête
• SPARK-51175 Afficher Master le temps écoulé quand on supprime les pilotes
• SPARK-50334 Extraire la logique courante pour lire le descripteur du fichier PB
• SPARK-50483 BlockMissingException doit être levée même si ignoreCorruptFiles est activé
• SPARK-50286 Propager correctement les options SQL à WriteBuilder
• SPARK-51023 Enregistrement de l’adresse distante lors d’une exception RPC
• SPARK-47611 Nettoyer le code mort dans MySQLDialect.getCatalystType
• SPARK-49229 Dédupliquer la gestion des fonctions UDF Scala dans SparkConnectPlanner
• SPARK-50557 Prise en charge de RuntimeConfig.contains(..) dans l’interface Scala SQL
• SPARK-51471 RatePerMicroBatchStream - Classification de l’erreur ASSERT lorsque le décalage/l’horodatage dans les startOffsets est plus grand que dans les endOffsets
• SPARK-50473 Simplifier la gestion des colonnes classiques
• SPARK-49286 Déplacer les fonctions Avro/Protobuf vers sql/api
• SPARK-49087 Distinction de UnresolvedFunction appelant des fonctions internes
• SPARK-50422 Rendre Parameterized SQL queries de SparkSession.sql API GA
• SPARK-49249 Demande de tirage complémentaire pour « Ajouter la nouvelle configuration du gestionnaire d’artefacts par défaut dans PySpark pour autoriser la liste »
• SPARK-50366 Isoler les balises définies par l’utilisateur au niveau du thread pour SparkSession dans Classic
• SPARK-49436 Interface commune pour SQLContext
• SPARK-51551 Pour l’algorithme de réglage, autorisez l’utilisation de l’enregistrement/chargement pour remplacer le cache
• SPARK-51599 Optimiser pour un ps.read_excel fichier Excel volumineux
• SPARK-51118 Correction d’ExtractPythonUDFs pour vérifier les types d’entrée UDF chaînés pour la rubrique de base
• SPARK-50395 Correction de la syntaxe d’URI incorrecte dans Windows
• SPARK-50708 Supprimer les ressources d’artefact lors du GC de l’instance ArtifactManager
• SPARK-51076 Rubrique de base UDF Python Arrow pour les types de données d’entrée et de sortie UDT
• SPARK-50243 Classloader mis en cache pour ArtifactManager
• SPARK-49249 Isolation des artefacts dans Spark Classic
• SPARK-50821 Mettre à niveau Py4J de 0.10.9.8 à 0.10.9.9
• SPARK-51591 Corriger l’échec de ThreadPoolExecutor dans le test quotidien python 3.13
• SPARK-40353 Correction de l’incompatibilité des valeurs null de l'index dans ps.read_excel
• SPARK-42746 Implémenter la fonction LISTAGG
• SPARK-50102 Ajout de shims nécessaires pour les méthodes publiques SQL manquantes.
• SPARK-50513 Fractionner EncoderImplicits à partir de SQLImplicits et fournir un objet d’assistance dans StatefulProcessor
• SPARK-51567 Réparer DistributedLDAModel.vocabSize
• SPARK-49569 Ajout de shims pour la prise en charge de SparkContext et RDD
• SPARK-51473 La trame de données transformée par ML conserve une référence au modèle
• SPARK-51340 Estimation de la taille du modèle
• SPARK-51474 N’insérez pas de ColumnarToRowExec redondant pour le nœud prenant en charge les sorties en mode colonne et en mode ligne
• SPARK-51445 Changement du var jamais modifié en val
• SPARK-50618 Contrôle de DataFrameReader et DataStreamReader pour tirer davantage parti de l’analyseur
• SPARK-51097 Réintroduction des métriques de la dernière instance chargée de la version de capture instantanée du magasin d’états RocksDB
• SPARK-49418 Variables locales des threads de session partagée
• SPARK-50096 Affectez la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
• SPARK-50264 Ajouter des méthodes manquantes à DataStreamWriter
• SPARK-49434 Déplacer des agrégateurs vers sql/api
• SPARK-51451 Correction d’ExtractGenerator pour attendre que UnresolvedStarWithColumns soit résolu
• SPARK-49416 Ajouter une interface DataStreamReader partagée
• SPARK-49429 Ajouter une interface DataStreamWriter partagée
• SPARK-49282 Créez une interface SparkSessionBuilder partagée.
• SPARK-49415 Déplacer SQLImplicits vers sql/api
• SPARK-51443 Corrigez singleVariantColumn dans DSv2 et readStream.
• SPARK-49369 Ajouter des conversions de colonnes implicites
• SPARK-49417 Ajouter une interface StreamingQueryManager partagée
• SPARK-51079 Prise en charge de nombreux types de variables dans les fonctions pandas UDF, createDataFrame et toPandas avec Arrow
• SPARK-51277 Mise en place de l’implémentation 0-arg dans l’UDF Python optimisée par Arrow
• SPARK-50601 Prise en charge de withColumns / withColumnsRenamed dans les sous-requêtes
• SPARK-49479 Annulation du thread non-démon du minuteur lors de l’arrêt du BarrierCoordinator
• SPARK-51379 Déplacer l’agrégation finale d’treeAggregate du pilote vers l’exécuteur
• SPARK-49712 Supprimer encoderFor de connect-client-jvm
• SPARK-49424 Consolidation de Encoders.scala
• SPARK-49574 Désactivation des tests delta-sharing défectueux pour le master
• SPARK-51409 Ajout d’une classification d’erreurs dans le chemin d’accès de création du rédacteur de journal des modifications
• SPARK-49568 Suppression de l’autotype du jeu de données
• SPARK-51433 Modifier le script de mise en production pour publier pyspark-client
• SPARK-51422 Éliminer l’échange de données JVM-Python dans CrossValidator
• SPARK-51425 Ajouter l’API cliente pour définir une api personnalisée operation_id
• SPARK-49284 Créer une interface de catalogue partagé
• SPARK-50855 Support de Spark Connect pour TransformWithState en Scala
• SPARK-50694 Prise en charge des renommages dans les sous-requêtes
• SPARK-50880 Ajouter une nouvelle méthode visitBinaryComparison à V2ExpressionSQLBuilder
• SPARK-51282 Optimiser la transformation OneVsRestModel en éliminant l’échange de données JVM-Python
• SPARK-51079 Prise en charge de nombreux types de variables dans les fonctions pandas UDF, createDataFrame et toPandas avec Arrow
• SPARK-51383 Éviter de faire des appels RPC si les clients sont déjà reconnus comme arrêtés
• SPARK-51227 Correction de PySpark Connect _minimum_grpc_version à la version 1.67.0
• SPARK-51362 Modifier toJSON pour utiliser l’API NextIterator pour éliminer la dépendance d’enregistrement adjacente
• SPARK-51375 Supprimer les SparkConnect(Execution|Session)Manager.periodicMaintenance messages de journal
• SPARK-50393 Présentation de TableArg commune pour Spark Classic et Spark Connect
• SPARK-50133 Prise en charge de la conversion de DataFrame en argument de table dans le client Python Spark Connect
• SPARK-49574 ExpressionEncoder effectue le suivi de l’AgnosticEncoder qui l’a créé
• SPARK-49422 Ajouter groupByKey à sql/api
• SPARK-51381 Afficher Session ID dans la Spark Connect Session page
• SPARK-51316 Autoriser les lots de données Arrow en octets au lieu du nombre de lignes
• SPARK-50134 Prise en charge de l’API DataFrame pour les sous-requêtes SCALAR et EXISTS dans Spark Connect
• SPARK-50392 Conversion de DataFrame en argument de table dans Spark Classic
• SPARK-50553 Lever InvalidPlanInput pour un message de plan non valide
• SPARK-51322 Meilleur message d’erreur pour l’expression de sous-requête de streaming
• SPARK-51281 DataFrameWriterV2 doit respecter l’option de chemin d’accès
• SPARK-50856 Prise en charge de Spark Connect pour la fonction TransformWithStateInPandas en Python
• SPARK-51333 Ne pas inclure InvocationTargetException levé par invokeMethod
• SPARK-50134 Support de l'API DataFrame pour la jointure latérale dans Spark Connect
• SPARK-51083 Modification de JavaUtils pour ne pas avaler InterruptedExceptions
• SPARK-49413 Créer une interface RuntimeConfig partagée (suivi)
• SPARK-49413 Créer une interface RuntimeConfig partagée
• SPARK-50993 Déplacer nullDataSourceOption de QueryCompilationErrors vers QueryExecutionErrors
• SPARK-51329 Ajouter numFeatures pour les modèles de clustering
• SPARK-51305 Améliorer SparkConnectPlanExecution.createObservedMetricsResponse
• SPARK-51097 Ajout de métriques d’instance de magasin d’états pour la dernière version de capture instantanée chargée dans RocksDB
• SPARK-49425 Créer un DataFrameWriter partagé
• SPARK-50655 Déplacer le mappage lié à la famille de colonnes virtuelles dans le niveau de base de données au lieu de l’encodeur
• SPARK-48530 Prise en charge des variables locales dans le script SQL
• SPARK-51284 Correction de l’exécution du script SQL pour un résultat vide
• SPARK-49085 Supprimer une casse spéciale pour les fonctions Protobuf dans Connect
• SPARK-50881 Utiliser le schéma mis en cache lorsque cela est possible dans le module connect dataframe.py
• SPARK-51275 Propagation de session en lecture-écriture Python
• SPARK-51109 Expression de table commune (CTE) dans l’expression de sous-requête en tant que colonne de regroupement
• SPARK-50598 Ajouter des paramètres pour activer l’implémentation ultérieure des CTEs récursifs
• SPARK-51202 Transmission de la session aux enregistreurs Python de méta algorithme
• SPARK-51215 Ajouter une fonction auxiliaire pour invoquer un attribut du modèle d'assistance.
• SPARK-51214 Ne supprimez pas avec impatience les modèles mis en cache pour fit_transform
• SPARK-51237 Ajouter des détails d’API pour les nouvelles API transformWithState helper
• SPARK-51192 Exposer processWithoutResponseObserverForTesting dans SparkConnectPlanner
• SPARK-51217 Nettoyage du constructeur du programme d’assistance du modèle ML
• SPARK-51218 Éviter map/flatMap dans NondeterministicExpressionCollection
• SPARK-50953 Ajouter la prise en charge des chemins non littéraux dans VariantGet
• SPARK-50132 Ajouter l’API DataFrame pour les jointures latérales
• SPARK-51190 Correction de TreeEnsembleModel.treeWeights
• SPARK-50945 Prise en charge de l’Outil de synthèse et de SummaryBuilder sur Connect
• SPARK-51142 Nettoyage des protobufs ML
• SPARK-51139 Affiner la classe d’erreur MLAttributeNotAllowedException
• SPARK-51080 Correction de l’enregistrement/chargement pour PowerIterationClustering
• SPARK-51100 Remplacement des wrappers de transformateurs par des relations d’attributs de modèle d’assistance
• SPARK-51091 Corriger les paramètres par défaut de StopWordsRemover
• SPARK-51089 Prise en charge de VectorIndexerModel.categoryMaps sur Connect
• SPARK-50954 Prise en charge du remplacement du chemin d’accès du modèle côté client pour les méta-algorithmes
• SPARK-50975 Prise en charge de CountVectorizerModel.from_vocabulary sur Connect
• SPARK-50958 Prise en charge de Word2VecModel.findSynonymsArray sur Connect
• SPARK-50930 Prise en charge de PowerIterationClustering sur Connect
• SPARK-51157 Ajouter une annotation Scala manquante @varargs pour les API de fonction Scala
• SPARK-51155 Afficher SparkContext le runtime total après l’arrêt
• SPARK-51143 Épingler plotly<6.0.0 et torch<2.6.0
• SPARK-50949 Introduire un modèle d'assistance pour soutenir StringIndexModel.from_labels_xxx
• SPARK-51131 Lever une exception lorsque le script SQL est trouvé dans la EXECUTE IMMEDIATE commande
• SPARK-51078 Correction de l’appel py4j dans StopWordsRemover
• SPARK-50944 Prise en charge de KolmogorovSmirnovTest sur Connect
• SPARK-50602 Correction de la transpose pour afficher un message d’erreur approprié lorsque des colonnes d’index non valides sont spécifiées
• SPARK-50943 Prise en charge de Correlation sur Connect
• SPARK-50234 Améliorer le message d’erreur et le test pour transposer l’API DataFrame
• SPARK-50942 Prise en charge de ChiSquareTest sur Connect
• SPARK-48353 Introduction du mécanisme de gestion des exceptions dans le script SQL
• SPARK-51043 Journalisation détaillée par utilisateur pour foreachBatch sur Spark Connect
• SPARK-50799 Affinage de la docstring de rlike, length, octet_length, bit_length et transform
• SPARK-51015 Support de RFormulaModel.toString sur Connect
• SPARK-50843 Prise en charge du retour d’un nouveau modèle à partir d’un modèle existant
• SPARK-50969 Correction de GaussianMixtureModel.gaussians sur Connect
• SPARK-50899 Prise en charge de PrefixSpan lors de la connexion
• SPARK-51060 Prise en charge de QuantileDiscretizer sur Connect
• SPARK-50974 Ajout de la prise en charge de foldCol pour CrossValidator sur Connect
• SPARK-50922 Prise en charge de OneVsRest sur Connect
• SPARK-50812 Ajout de la prise en charge de PolynomialExpansion
• SPARK-50923 Prise en charge de FMClassifier et FMRegressor sur Connect
• SPARK-50918 Refactorisation de la lecture/écriture pour Pipeline
• SPARK-50938 Prise en charge de VectorSizeHint et VectorSlicer sur Connect
• SPARK-51005 Prise en charge de VectorIndexer et ElementwiseProduct sur Connect
• SPARK-51014 Prise en charge de RFormula sur Connect
• SPARK-50941 Ajouter des supports pour TrainValidationSplit
• SPARK-51004 Ajouter des supports pour IndexString
• SPARK-51003 Prise en charge des modèles LSH sur Connect
• SPARK-50924 Prise en charge d’AFTSurvivalRegression et IsotonicRegression sur Connect
• SPARK-50921 Prise en charge de MultilayerPerceptronClassifier sur Connect
• SPARK-50995 Prise en charge de clusterCenters pour KMeans et BisectingKMeans
• SPARK-50940 Ajoute la prise en charge de CrossValidator/CrossValidatorModel sur Connect
• SPARK-50929 Prise en charge de LDA sur Connect
• SPARK-50925 Prise en charge de la Régression Linéaire Généralisée dans Connect
• SPARK-50988 Correction des incohérences des UID pour l’estimateur et le modèle
• SPARK-50989 Prise en charge de NGram, Normalizer et Interaction sur Connect
• SPARK-50937 Prise en charge de Imputer sur Connect
• SPARK-51049 Augmentation du seuil d’E/S vectorielles S3A pour la fusion de plages
• SPARK-50812 Prise en charge de TargetEncoderModel sur Connect
• SPARK-50920 Prise en charge de NaiveBayes sur Connect
• SPARK-50936 Prendre en charge hashingTF, IDF et FeatureHasher lors de la connexion
• SPARK-50934 Prise en charge de CountVectorizer et OneHotEncoder sur Connect
• SPARK-49287 Déplacer des classes de streaming vers sql/api
• SPARK-50932 Prise en charge de Bucketizer sur Connect
• SPARK-50933 Prise en charge des sélecteurs de fonctionnalités sur Connect
• SPARK-50931 Prise en charge de Binarizer sur Connect
• SPARK-50935 Prise en charge de DCT sur Connect
• SPARK-50963 Prise en charge des générateurs de jetons, de SQLTransform et de StopWordsRemover sur Connect
• SPARK-50928 Prise en charge de GaussianMixture sur Connect
• SPARK-49383 Prise en charge de l’API Transpose DataFrame
• SPARK-50939 Prise en charge de Word2Vec sur Connect
• SPARK-49249 Ajout de nouvelles API associées aux balises dans Connect, puis sur Spark Core
• SPARK-50919 Prise en charge de LinearSVC sur Connect
• SPARK-50883 Prise en charge de la modification de plusieurs colonnes dans la même commande
• SPARK-50918 Prise en charge de Pipeline sur Connect
• SPARK-50826 Restructurer la manière de gérer ALLOWED_ATTRIBUTES
• SPARK-49427 Créer une interface partagée pour MergeIntoWriter
• SPARK-49414 Ajouter une interface Shared DataFrameReader
• SPARK-50948 Ajout de la prise en charge de StringIndexer/PCA sur Connect
• SPARK-50901 Transformateur de support VectorAssembler
• SPARK-50879 Prise en charge des outils de mise à l'échelle des fonctionnalités sur Connect
• SPARK-50130 Ajouter des API DataFrame pour des sous-requêtes scalaires et existantes
• SPARK-50075 Ajouter des API DataFrame pour les fonctions à valeur de table
• SPARK-49426 Créer une interface partagée pour DataFrameWriterV2
• SPARK-50898 Prise en charge de FPGrowth sur Connect
• SPARK-50844 Faire en sorte que le modèle soit chargé par ServiceLoader lors du chargement
• SPARK-50884 Support de isLargerBetter dans l'Évaluateur
• SPARK-50959 Avaler l’exception de JavaWrapper
• SPARK-50558 Introduction de simpleString pour ExpressionSet
• SPARK-49422 Créer une interface partagée pour KeyValueGroupedDataset
• SPARK-50878 Prise en charge de ALS sur Connect
• SPARK-50897 Éviter la création d’instances dans ServiceLoader
• SPARK-50877 Prise en charge de KMeans & BisectingKMeans sur Connect
• SPARK-50876 Prise en charge des arbres de régression sur Connect
• SPARK-50874 Prise en charge de LinearRegression sur Connect
• SPARK-50869 Assistance pour les évaluateurs sur ML Connect
• SPARK-50851 Expression des paramètres ML avec proto.Expression.Literal
• SPARK-50825 Prise en charge des arbres de décision dans ML Connect
• SPARK-50827 Plug-in de support
• SPARK-49907 Prise en charge de spark.ml sur Connect
• SPARK-50968 Corriger l’utilisation de Column.__new__
• SPARK-49028 Créer une sparkSession partagée
• SPARK-49421 Créer une interface RelationalGroupedDataset partagée
• SPARK-50804 to_protobuf() ne doit pas lever MatchError
• SPARK-50900 Ajouter VectorUDT et MatrixUDT à ProtoDataTypes
• SPARK-50579 Réparer truncatedString
• SPARK-50875 Ajout de classements RTRIM à TVF
• SPARK-49420 Ajouter une interface partagée pour DataFrameNaFunctions
• SPARK-50669 Modifier la signature de l’expression TimestampAdd
• SPARK-46615 Prise en charge de s.c.immutable.ArraySeq dans ArrowDeserializers
• SPARK-49423 Consolider l’observation dans sql/api
• SPARK-49086 Déplacer l’enregistrement des fonctions ML vers SparkSessionExtensions
• SPARK-49419 Créer des DataFrameStatFunctions partagés
• SPARK-50735 L’échec dans ExecuteResponseObserver entraîne une réattachation infinie des demandes
• SPARK-50522 Prise en charge du classement indéterminé
• SPARK-50893 Rendre UDT.DataType facultatif
• SPARK-50685 Améliorer les performances de Py4J en tirant parti de getattr
• SPARK-50742 Supprimer le spark.hadoop.fs.s3a.connection.establish.timeout paramètre
• SPARK-50714 Activer l’évolution du schéma pour TransformWithState lorsque l’encodage Avro est utilisé
• SPARK-49029 Créer une interface de jeu de données partagé
• SPARK-50263 Remplacer par System.currentTimeMillisSystem.nanoTime
• SPARK-50525 Définir la règle "InsertMapSortInRepartitionExpressions" de l'optimiseur
• SPARK-50561 Améliorer la contrainte de type et la vérification des limites pour la fonction UNIFORM SQL
• SPARK-50707 Activer la conversion vers/à partir de char/varchar
• SPARK-49027 Partager une API de colonne entre classe et Connect
• SPARK-49632 Supprimer la suggestion de configuration ANSI dans CANNOT_PARSE_TIMESTAMP
• SPARK-50529 Modifier le comportement char/varchar sous la configuration
• SPARK-50600 Ensemble défini lors de l’échec de l’analyse
• SPARK-50789 Les entrées pour les agrégations typées doivent être analysées
• SPARK-49025 Rendre l’implémentation de colonne indépendante
• SPARK-50738 Mise à niveau de Black vers la version 23.12.1
• SPARK-49883 Intégration de la structure de point de contrôle du magasin d’état V2 avec RocksDB
• SPARK-50778 Ajouter metadataColumn à PySpark DataFrame
• SPARK-49565 Améliorer les alias d’expression générés automatiquement avec des opérateurs SQL utilisant le caractère pipe
• SPARK-50772 Conservation des alias de table après SET, opérateurs EXTEND et DROP
• SPARK-50690 Correction de l’écart dans DESCRIBE TABLE, voir la délimitation de sortie de requête
• SPARK-50675 Prise en charge des classements au niveau de la table et de l’affichage
• SPARK-50480 Étendre CharType et VarcharType à partir de StringType
• SPARK-50715SparkSession.Builder définit les configurations par lots
• SPARK-50693 Les entrées pour TypedScalaUdf doivent être analysées
• SPARK-50710 Ajout de la prise en charge de la reconnexion facultative du client aux sessions après lancement
• SPARK-50596 Mettre à niveau Py4J de 0.10.9.7 à 0.10.9.8
• SPARK-50661 Ajoutez la compatibilité descendante pour l’ancien client FEB.
• SPARK-50515 Ajouter une interface en lecture seule à SparkConf
• SPARK-50642 Correction du schéma d’état pour FlatMapGroupsWithState dans Spark Connect lorsqu’il n’existe aucun état initial
• SPARK-50702 Affinage d’une docstring de regexp_count, regexp_extract et regexp_extract_all
• SPARK-50692 Ajout de la prise en charge en mode push pour RPAD
• SPARK-50699 Analyser et générer une chaîne DDL avec une session spécifiée
• SPARK-50573 Ajout de l’ID de schéma d’état aux lignes d’état pour l’évolution du schéma
• SPARK-50311 API de support (add|remove|get|clear)Tag(s) pour PySpark
• SPARK-50661 Correction de l’implémentation de Spark Connect Scala foreachBatch pour prendre en charge le jeu de données[T].
• SPARK-50696 Optimiser l’appel Py4J pour la méthode d’analyse DDL
• SPARK-50687 Optimisation de la logique pour obtenir des appels de procédure pour DataFrameQueryContext
• SPARK-50681 Mettre en cache le schéma analysé pour MapInXXX et ApplyInXXX
• SPARK-50578 Ajout de la prise en charge de la nouvelle version des métadonnées d’état pour TransformWithStateInPandas
• SPARK-50405 Gestion correcte des contraintes relatives au type de classement des types de données complexes
• SPARK-50615 Envoi d’une variante pour analyse.
• SPARK-50599 Créer la caractéristique DataEncoder qui permet l’encodage Avro et UnsafeRow
• SPARK-50076 Corriger les clés de journalisation
• SPARK-50339 Activer le journal des modifications pour stocker les informations de traçabilité
• SPARK-50540 Correction du schéma de chaîne pour StatefulProcessorHandle
• SPARK-50544 Implémenter StructType.toDDL
• SPARK-50528 Passer InvalidCommandInput au module commun
• SPARK-50063 Ajouter la prise en charge de Variant dans le client Scala Spark Connect
• SPARK-50310 Ajouter un indicateur pour désactiver DataFrameQueryContext pour PySpark
• SPARK-50310 Ajouter un indicateur pour désactiver DataFrameQueryContext pour PySpark
• SPARK-50032 Autorisation d’utilisation du nom de classement complet
• SPARK-50466 Affiner la docstring pour les fonctions de chaîne - partie 1
• SPARK-49676 Ajouter le support du chaînage des opérateurs dans l’API transformWithStateInPandas
• SPARK-50081 Prise en charge de Codegen pour XPath*(par Invoke & RuntimeReplaceable)
• SPARK-46725 Ajouter une fonction DAYNAME
• SPARK-50067 Prise en charge de la génération de code pour SchemaOfCsv (par Invoke & RuntimeReplaceable)
• SPARK-49873 Correction de l’échec après fusion lors des tests d’erreur
• SPARK-50270 Ajout de métriques d’état personnalisées pour TransformWithStateInPandas
• SPARK-50381 Soutien spark.master.rest.maxThreads
• SPARK-50427 Exposer configure_logging en tant qu’API publique
• SPARK-50173 Rendre les expressions pandas capables d'accepter un plus grand nombre de types de données
• SPARK-50169 Améliorer les performances de RegExpReplace
• SPARK-50238 Ajouter la prise en charge des variantes dans pySpark UDFs/UDTFs/UDAFs et Python UC UDFs
• SPARK-50190 Supprimer la dépendance directe de Numpy de l’histogramme
• SPARK-50183 Unifier les fonctions internes pour l’API Pandas et pySpark Plotting
• SPARK-50170 Déplacer _invoke_internal_function_over_columns vers pyspark.sql.utils
• SPARK-50036 Inclure SPARK_LOG_SCHEMA dans le contexte de l’interpréteur de commandes REPL
• SPARK-50141 Créer lpad et rpad accepter des arguments de type colonne
• SPARK-49954 Prise en charge de Codegen pour SchemaOfJson (par Invoke & RuntimeReplaceable)
• SPARK-50098 Mettre à niveau la version minimale de googleapis-common-protos 1.65.0
• SPARK-50059 Vérification de compatibilité des API pour les E/S de streaming structuré
• SPARK-50241 Remplacement de NullIntolerant Mixin par la méthode Expression.nullIntolerant
• SPARK-49849 Vérification de compatibilité des API pour la gestion des requêtes de diffusion en continu structurée
• SPARK-49851 Vérification de compatibilité des API pour Protobuf
• SPARK-49850 Vérification de compatibilité des API pour Avro
• SPARK-50039 Vérification de compatibilité des API pour le regroupement
• SPARK-50023 Vérification de compatibilité des API pour Functions
• SPARK-50030 Vérification de compatibilité des API pour La fenêtre
• SPARK-50002 Vérification de compatibilité des API pour les E/S
• SPARK-49848 Vérification de compatibilité des API pour le catalogue
• SPARK-50022 Correctif MasterPage pour masquer les liens de l’interface utilisateur de l’application lorsque l’interface utilisateur est désactivée
• SPARK-50021 Correctif ApplicationPage pour masquer les liens de l’interface utilisateur de l’application lorsque l’interface utilisateur est désactivée
• SPARK-49990 Améliorer les performances de randStr
• SPARK-50380 ReorderAssociativeOperator doit respecter le contrat dans ConstantFolding
• SPARK-50330 Ajouter des indications aux nœuds de tri et de fenêtre
• SPARK-49609 Ajouter une vérification de compatibilité d’API entre Classic et Connect
• SPARK-49773 Exception Java non interceptée à partir d’un make_timestamp() fuseau horaire incorrect
• SPARK-49345 Veillez à utiliser la session Spark en cours d’exécution
• SPARK-49368 Évitez d’accéder directement aux classes protobuf lite
• SPARK-50056 Prise en charge de Codegen pour ParseUrl (par Invoke & RuntimeReplaceable)
• SPARK-49119 Corriger l’incohérence de la syntaxe show columns entre v1 et v2
• SPARK-50144 Résoudre la limitation du calcul des métriques avec des sources de diffusion en continu DSv1
• SPARK-49962 Simplifier la hiérarchie de classes AbstractStringTypes
• SPARK-50327 Isolement de la résolution de fonctions en vue d’une réutilisation dans l'Analyseur à passage unique
• SPARK-48775 Remplacer SQLContext par SparkSession dans STS
• SPARK-50325 Isolement de la résolution de l’alias en vue d’une réutilisation dans l'Analyseur à passage unique
• SPARK-48123 Fournir un schéma de table constante pour interroger des journaux structurés
• SPARK-50055 Ajouter une alternative TryMakeInterval
• SPARK-49312 Améliorer le message d’erreur pour assertSchemaEqual
• SPARK-38912 Supprimer le commentaire lié à classmethod et à la propriété
• SPARK-50112 Autoriser l’opérateur TransformWithState à utiliser l’encodage Avro
• SPARK-50260 Refactoriser et optimiser l’exécution et la gestion des sessions Spark Connect
• SPARK-50196 Corriger le contexte d’erreur Python pour utiliser un contexte approprié
• SPARK-50167 Amélioration des messages d’erreur de traçage PySpark et des importations
• SPARK-50085 Effectuer lit(ndarray) avec np.int8 respectant le type de données NumPy.
• SPARK-50273 Améliorer la journalisation pour les cas d’acquisition/libération du verrou dans RocksDB
• SPARK-50163 Correction de la version acquireLock supplémentaire de RocksDB à cause de l’écouteur d’achèvement de tâches
• SPARK-49770 Améliorer la gestion du mappage de fichiers SST de RocksDB et résoudre le problème de rechargement de la même version avec l’instantané existant
• SPARK-50232 Ajoutez « protobuf==5.28.3 » dans dev/requirements.txt
• SPARK-50231 La fonction instr accepte la colonne substring
• SPARK-50028 Remplacer les verrous globaux dans l’écouteur de serveur Spark Connect par des verrous affinés
• SPARK-50077 Introduire un nouvel objet de modèle pour LogicalRelation afin d’éviter le schéma complet par défaut
• SPARK-50128 Ajouter des API de gestion de processeur avec état en utilisant des encodeurs implicites dans Scala
• SPARK-49411 Communication de l’ID de point de contrôle du magasin d’état entre le pilote et les opérateurs avec état
• SPARK-50054 Prise en charge des histogrammes
• SPARK-49854 Ne copiez pas les bibliothèques de cluster lors du clonage du Gestionnaire d’artefacts
• SPARK-50071 Ajouter try_make_timestamp(_ltz et _ntz) et des tests associés
• SPARK-50024 Basculer pour utiliser l’enregistreur d’événements au lieu du module avertissements dans le client
• SPARK-50174 Extraction de la résolution de UnresolvedCatalogRelation
• SPARK-49734 Ajouter un seed argument pour la fonction shuffle
• SPARK-49943 Supprimer timestamp_ntz_to_long de PythonSQLUtils
• SPARK-49945 Ajouter un alias pour distributed_id
• SPARK-49755 Suppression de la une casse spéciale pour les fonctions Avro dans Connect
• SPARK-49805 Supprimer les fonctions privées[xxx] de function.scala
• SPARK-49929 Prise en charge des diagrammes en boîte
• SPARK-49767 Refactoriser l’appel de fonction interne
• SPARK-49939 Support de Codegen pour json_object_keys (par Invoke & RuntimeReplaceable)
• SPARK-49854 Cloner le gestionnaire d’artefacts pendant le clonage de session
• SPARK-49766 Prise en charge de Codegen pour json_array_length (par Invoke & RuntimeReplaceable)
• SPARK-49540 Unifier l’utilisation de distributed_sequence_id
• SPARK-50046 Utiliser l’ordre stable du nœud EventTimeWatermark pour calculer le filigrane
• SPARK-50031 Ajouter l’expression TryParseUrl
• SPARK-49202 Appliquer ArrayBinarySearch pour l’histogramme
• SPARK-49811 Renommage de StringTypeAnyCollation
• SPARK-50106 Mettre à niveau protobuf le package Python vers la version 5.28.3
• SPARK-49203 Ajouter une expression pour java.util.Arrays.binarySearch
• SPARK-50090 Refactoriser ResolveBinaryArithmetic pour séparer la transformation à nœud unique
• SPARK-49103 Soutien spark.master.rest.filters
• SPARK-49222 Effacer les méthodes inutiles dans QueryCompilationErrors
• SPARK-50062 Prise en charge des classements par InSet
• SPARK-50035 Ajout d’une prise en charge pour la fonction explicite handleExpiredTimer faisant partie du processeur avec état
• SPARK-50050 Acceptation par lit de str et des tableaux bool de type NumPy et ndarray
• SPARK-50051 Faire fonctionner lit avec un numpy ndarray vide
• SPARK-49857 Ajout de storageLevel à l’API localCheckpoint du jeu de données
• SPARK-48749 Simplifier unaryPositive et éliminer ses règles Catalyst avec RuntimeReplaceable
• SPARK-50058 Extraction des fonctions de normalisation de plan pour les utiliser plus tard dans les tests de l’Analyseur à passage unique
• SPARK-50042 Mise à niveau de NumPy 2 pour Python Linter
• SPARK-50052 Permettre à NumPyArrayConverter de prendre en charge un tableau ndarray de chaînes vide
• SPARK-49126 Déplacer la spark.history.ui.maxApplications définition de configuration vers History.scala
• SPARK-50044 Affiner la docstring de plusieurs fonctions mathématiques
• SPARK-48782 Ajout de la prise en charge de l’exécution des procédures dans les catalogues
• SPARK-48773 Documentation de la configuration « spark.default.parallelism » avec le framework de construction de configuration
• SPARK-49876 Se débarrasser des verrous globaux à partir du service Spark Connect
• SPARK-48480 StreamingQueryListener ne doit pas être affecté par spark.interrupt()
• SPARK-49978 Déplacement de l’avertissement de dépréciation SparkR vers le moment de l’attachement du package
• SPARK-48549 Améliorer la fonction SQL sentences
• SPARK-49956 Désactivation des interclassements avec l'expression collect_set
• SPARK-49974 Déplacer resolveRelations(...) hors de Analyzer.scala
• SPARK-49067 Déplacement d’un littéral utf-8 dans les méthodes internes de la classe UrlCodec
• SPARK-49393 Échouer par défaut dans les API de plug-in de catalogue déconseillées
• SPARK-49918 Utilisation de l’accès en lecture seule pour la configuration dans SparkContext si nécessaire
• SPARK-49924 Conservation de containsNull après le remplacement de ArrayCompact
• SPARK-49895 Amélioration de l’erreur lorsqu’une virgule de fin est rencontrée dans la clause SELECT
• SPARK-49890 Extraction de la préparation de df.sample dans la classe parente
• SPARK-49810 Extraction de la préparation de DataFrame.sort dans la classe parente
• SPARK-49405 Restreindre les ensembles de caractères dans JsonOptions
• SPARK-49542 Erreur d’évaluation de l’exception de transformation de partition
• SPARK-47172 Ajout d’une prise en charge pour AES-GCM pour le chiffrement RPC
• SPARK-44914 Corriger HadoopConfUtilsSuite après avoir supprimé xercesImpl
• SPARK-47496 Prise en charge du SPI Java pour l’inscription dynamique des dialectes JDBC
• SPARK-48961 Rendre le nommage des paramètres de PySparkException cohérent avec JVM
• SPARK-47390 Gérer le mappage d’horodatages SQL pour Postgres et MySQL
• SPARK-49824 Améliorer la journalisation dans SparkConnectStreamingQueryCache
• SPARK-49894 Affiner la représentation sous forme de chaîne des opérations de champ de colonne
• SPARK-49836 Correction d’une requête potentiellement brisée lorsque la fenêtre est fournie à window/session_window fn
• SPARK-49531 Prise en charge des diagrammes linéaires avec un backend plotly
• SPARK-48780 Rendre générique la gestion des erreurs dans NamedParametersSupport pour gérer les fonctions et les procédures.
• SPARK-49026 Ajouter ColumnNode à la conversion Proto
• SPARK-49814 Au démarrage du client Spark Connect, affichez spark version de connect server
• SPARK-49246 TableCatalog#loadTable doit indiquer s’il est destiné à des fins d'écriture
• SPARK-49749 Modification du niveau du journal pour procéder au débogage dans BlockManagerInfo
• SPARK-48303 Réorganiser LogKeys
• SPARK-48112 Exposer la session dans SparkConnectPlanner aux plug-ins
• SPARK-45919 Utiliser Java 16 record pour simplifier la définition de classe Java
• SPARK-48126 Rendre spark.log.structuredLogging.enabled efficace
• SPARK-49656 Ajouter la prise en charge des variables d’état avec des types de collections d'états par valeur et des options de lecture des flux de modifications
• SPARK-49323 Déplacer MockObserver du dossier de test du serveur Spark Connect vers le dossier principal du serveur
• SPARK-49772 Supprimer ColumnFamilyOptions et ajouter des configurations directement à dbOptions dans RocksDB
• SPARK-49688 Correction d’une course de données entre l’interruption et le plan d’exécution
• SPARK-49585 Remplacement du mappage d’exécutions dans SessionHolder en configurant operationID
• SPARK-49684 Minimiser la durée de vie du verrou de restauration de session
• SPARK-48857 Restriction des jeux de caractères dans CSVOptions
• SPARK-48615 Amélioration des performances pour l'analyse de la chaîne hexadécimale
• SPARK-49719 Créer UUID et SHUFFLE accepter un entier seed
• SPARK-49713 Permettre à la fonction count_min_sketch d'accepter des arguments numériques
• SPARK-48623 Migrations de journalisation structurées [Partie 3]
• SPARK-48541 Ajouter un nouveau code de sortie pour les exécuteurs tués par TaskReaper
• SPARK-48627 Amélioration des performances pour la conversion binaire en chaîne HEX_DISCRETE
• SPARK-49226 Nettoyage de la génération de code UDF
• SPARK-49673 Augmentation de CONNECT_GRPC_ARROW_MAX_BATCH_SIZE à 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• SPARK-49307 Ajouter la sérialisation Kryo à l’infrastructure d’encodeur indépendant
• SPARK-48601 Donnez un message d’erreur plus convivial lors de la définition d’une valeur Null pour l’option JDBC
• SPARK-42252 Ajouter spark.shuffle.localDisk.file.output.buffer et déprécier spark.shuffle.unsafe.file.output.buffer
• SPARK-49505 Créez de nouvelles fonctions SQL « randstr » et « uniform » pour générer des chaînes ou des nombres aléatoires dans des plages
• SPARK-48341 Autoriser les plug-ins à utiliser QueryTest dans leurs tests
• SPARK-48374 Prise en charge d’autres types de colonnes de table PyArrow
• SPARK-49412 Calcul de toutes les métriques de diagrammes à boîtes dans un seul travail
• SPARK-49684 Supprimer les verrous globaux des gestionnaires de session et d’exécution
• SPARK-49225 Ajouter sql ColumnNode et normaliser
• SPARK-49274 Prise en charge des encodeurs basés sur la sérialisation Java
• SPARK-49089 Déplacer des expressions Catalyst codées en dur vers le registre de fonctions internes
• SPARK-48185 Correction de la « classe de référence symbolique n’est pas accessible : classe sun.util.calendar.ZoneInfo »
• SPARK-48037 Correction du manque de métriques liées à l'écriture shuffle dans SortShuffleWriter, ce qui entraîne des données potentiellement inexactes.
• SPARK-49534 Ne plus prépender sql/hive et sql/hive-thriftserver quand spark-hive_xxx.jar n’est pas dans le classpath
• SPARK-49502 Éviter le recours à NPE dans SparkEnv.get.shuffleManager.unregisterShuffle
• SPARK-49567 Utiliser classic au lieu de vanilla dans le code de base PySpark
• SPARK-49582 Améliorer l’utilitaire « dispatch_window_method » et la docstring
• SPARK-49478 Gérer les métriques Null dans ConnectProgressExecutionListener
• SPARK-49525 Amélioration mineure des journaux du ListenerBus de l'écouteur de requête de diffusion côté serveur
• SPARK-49544 Remplacement du verrouillage à grande échelle dans SparkConnectExecutionManager avec ConcurrentMap
• SPARK-49548 Remplacement du verrouillage à grande échelle dans SparkConnectSessionManager avec ConcurrentMap
• SPARK-49004 Utiliser un registre distinct pour les fonctions internes de l’API column
• SPARK-49443 Implémenter l'expression to_variant_object et faire en sorte que les expressions schema_of_variant affichent "OBJECT" pour les objets Variant.
• SPARK-49595 Correction DataFrame.unpivot/melt dans le client Scala Spark Connect
• SPARK-49526 Prise en charge des chemins de style Windows dans ArtifactManager
• SPARK-49396 Modifier la vérification de la nullité pour l’expression CaseWhen
• SPARK-49024 Ajout de la prise en charge des fonctions pour le nœud de colonne
• SPARK-48985 Connecter des constructeurs d’expressions compatibles
• SPARK-49083 Autoriser from_xml et from_json à travailler en mode natif avec des schémas json
• SPARK-48986 Ajouter une représentation intermédiaire ColumnNode
• SPARK-48960 Fait que spark-submit fonctionne avec Spark Connect
• SPARK-49492 Tentative de rattachement sur un ExecutionHolder inactif
• SPARK-47307 Ajouter une configuration pour segmenter éventuellement des chaînes base64
• SPARK-49451 Autoriser les clés dupliquées dans parse_json
• SPARK-49021 Ajout de la prise en charge de la lecture des variables d’état de valeur transformWithState avec lecteur de sources de données d’état
• SPARK-49249 Ajouter une addArtifact API à Spark SQL Core
• SPARK-48693 Simplifier et unifier la méthode "toString" de "Invoke" et "StaticInvoke"
• SPARK-41982 Les partitions de type chaîne ne doivent pas être traitées comme des types numériques
• SPARK-49216 Correction pour empêcher l’enregistrement du contexte du message lorsque la configuration de journalisation structurée est désactivée et que LogEntry est explicitement construit.
• SPARK-49459 Prise en charge de CRC32C pour le checksum aléatoire
• SPARK-49409 Ajuster la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
• SPARK-49164 Pas de correction de NullSafeEqual dans le prédicat de la requête SQL dans une relation JDBC
• SPARK-48344 Exécution de scripts SQL (y compris Spark Connect)
• SPARK-49260 Ne prépendez plus le chemin des classes du sql/core module dans Spark Connect Shell
• SPARK-49041 Déclenchement d’une erreur appropriée pour dropDuplicates dans le cas où une subset erronée est donnée
• SPARK-49300 Correction la fuite de jeton de délégation Hadoop lorsque tokenRenewalInterval n’est pas défini
• SPARK-48796 Chargement de l’ID de famille de colonnes à partir de RocksDBCheckpointMetadata pour VCF lors du redémarrage
• SPARK-49269 Évaluation active de la liste VALUES() dans AstBuilder
• SPARK-49336 Limitation du niveau d’imbrication lors de la troncation d’un message protobuf
• SPARK-49245 Refactoriser certaines règles d’analyseur
• SPARK-48755 Implémentation de base de transformWithState pyspark et prise en charge de ValueState
• SPARK-48762 Présentation de l’API ClusterBy DataFrameWriter pour Python
• SPARK-48967 Améliorer les performances et l’empreinte mémoire des instructions «INSERT INTO ... VALUES»
• SPARK-49195 Incorporer la logique d’analyse au niveau du script dans SparkSubmitCommandBuilder
• SPARK-49173 Modifier l’invite de l’interpréteur de commandes Spark Connect de @ à scala>
• SPARK-49198 Réduire davantage de jars nécessaires pour l'interpréteur de commandes Spark Connect
• SPARK-48936 Permet à spark-shell de fonctionner avec Spark Connect
• SPARK-49201 Réimplémenter le graphique avec Spark SQL
• SPARK-49111 Déplacer avecProjectAndFilter vers l’objet complémentaire de DataSourceV2Strategy
• SPARK-49185 Réimplémenter kde le diagramme avec Spark SQL
• SPARK-48761 Présentation de l’API ClusterBy DataFrameWriter pour Scala
• SPARK-48628 Ajout des métriques de mémoire de segment activées/désactivées pour les pics d'activité
• SPARK-48900 Ajout reason d’un champ pour tous les appels internes pour l’annulation du travail/de la phase
• SPARK-49076 Corriger l’obsolète logical plan name dans les commentaires d’AstBuilder
• SPARK-49059 Accéder SessionHolder.forTesting(...) au package de test
• SPARK-48658 Les fonctions encode/décodage signalent des erreurs de codage au lieu de mojibake
• SPARK-45891 Ajout de la prise en charge des types d’intervalles dans la spécification de la variante
• SPARK-49032 Ajouter le chemin du schéma dans l’entrée de table de métadonnées et le test associé pour le format de métadonnées d’opérateur v2
• SPARK-49009 Acceptation des énumérations par les API de colonne et les fonctions
• SPARK-49035 Éliminer TypeVar ColumnOrName_
• SPARK-48849 Créer OperatorStateMetadataV2 pour l’opérateur TransformWithStateExec
• SPARK-48974 Utiliser SparkSession.implicits au lieu de SQLContext.implicits
• SPARK-48996 Autorisation des littéraux vides pour __and__ et __or__ de la Colonne
• SPARK-48928 Avertissement dans le journal pour l'appel de .unpersist() sur des RDD avec point de contrôle local
• SPARK-48972 Unifier la gestion des chaînes littérales dans les fonctions
• SPARK-48891 Refactoriser StateSchemaCompatibilityChecker pour unifier tous les formats de schéma d’état
• SPARK-48841 Inclure collationName dans sql() de Collate
• SPARK-48944 Unifier la gestion des schémas au format JSON dans Connect Server
• SPARK-48945 Simplifier les fonctions regex avec lit
• SPARK-48865 Ajouter try_url_decode fonction
• SPARK-48851 Modifier la valeur de SCHEMA_NOT_FOUND de namespace à catalog.namespace
• SPARK-48510 Correctif pour l’API UDAF toColumn lors de l’exécution de tests dans Maven
• SPARK-45190 Faire en sorte que from_xml prenne en charge le schéma StructType.
• SPARK-48900 Ajouter reason un champ pour cancelJobGroup et cancelJobsWithTag
• SPARK-48909 Utiliser SparkSession sur SparkContext lors de l’écriture de métadonnées
• SPARK-48510 Prise en charge de l’API UDAF toColumn dans Spark Connect
• SPARK-45155 Ajouter des documents d’API pour spark Connect JVM/Scala Client
• SPARK-48794 Prise en charge de df.mergeInto pour Spark Connect (Scala et Python)
• SPARK-48714 Implémenter DataFrame.mergeInto dans PySpark
• SPARK-48726 Créer le format de fichier StateSchemaV3 pour l’opérateur TransformWithStateExec
• SPARK-48834 Désactivation des entrées/sorties de variantes pour les UDF Python, les UDTF et les UDAF lors de la compilation des requêtes
• SPARK-48716 Ajouter jobGroupId à SparkListenerSQLExecutionStart
• SPARK-48888 Suppression de la création de captures instantanées en fonction de la taille des opérations du journal de modifications
• SPARK-48772 Mode lecteur du flux de modification de la source de données d'état
• SPARK-48742 Famille de colonnes virtuelles pour RocksDB
• SPARK-48852 Correction de la fonction de découpage de chaîne dans connect
• SPARK-48343 Introduction de l’interpréteur de scripts SQL
• SPARK-48118 Prise en charge de la variable d’environnement de SPARK_SQL_LEGACY_CREATE_HIVE_TABLE
• SPARK-48804 Ajout d’une vérification classIsLoadable & OutputCommitter.isAssignableFrom pour les configurations de classe du validateur de sortie
• SPARK-47577 Correction de l'utilisation trompeuse de la clé de log TASK_ID
• SPARK-48798 Présentation spark.profile.render du profilage basé sur SparkSession
• SPARK-48686 Améliorer les performances de ParserUtils.unescapeSQLString
• SPARK-48611 Enregistrer le TID pour le fractionnement d’entrée dans HadoopRDD et NewHadoopRDD
• SPARK-48720 Aligner la commande ALTER TABLE ... UNSET TBLPROPERTIES ... dans v1 et v2
• SPARK-48710 Utiliser des types compatibles NumPy 2.0
• SPARK-48810 L’API stop() de session doit être idempotente
• SPARK-48818 Simplifier les percentile fonctions
• SPARK-48638 Ajout de la prise en charge de ExecutionInfo pour DataFrame
• SPARK-48799 Refactorisation du contrôle de version pour les métadonnées d’opérateur en lecture/écriture
• SPARK-46122spark.sql.legacy.createHiveTableByDefault est défini à false par défaut
• SPARK-48629 Migrer le code résiduel vers une infrastructure de journalisation structurée
• SPARK-48320 Synchroniser la dernière caractéristique de journalisation et les cas de test à partir de OSS Spark
• SPARK-48573 Mettre à niveau la version de l’ICU
• SPARK-48687 Ajout de la validation et de la mise à jour du schéma d’état sur le pilote en phase de planification pour les requêtes avec état
• SPARK-47579 Migrer logInfo avec des variables vers une infrastructure de journalisation structurée (PARTIE 1 à 4)
• SPARK-48713 Ajouter une vérification de plage d’index pour UnsafeRow.pointTo lorsque baseObject est un tableau d’octets
• SPARK-48498 Toujours effectuer le remplissage des caractères dans les prédicats
• SPARK-48598 Propager le schéma mis en cache dans les opérations de trame de données
• SPARK-47599 MLLib : Migrer logWarn avec des variables vers une infrastructure de journalisation structurée
• SPARK-48576 Renommer UTF8_BINARY_LCASE en UTF8_LCASE
• SPARK-48650 Afficher le site d’appel correct à partir du Notebook IPython
• SPARK-48059 Cadre de journalisation structurée côté Java
• SPARK-48482 dropDuplicates et dropDuplicatesWithinWatermark doivent accepter des arguments de longueur variable
• SPARK-48620 Corriger les fuites de données brutes internes dans YearMonthIntervalType et CalendarIntervalType
• SPARK-485555 Prise en charge de l’utilisation de colonnes en tant que paramètres pour plusieurs fonctions
• SPARK-48591 Ajouter une fonction d’assistance pour simplifier Column.py
• SPARK-48459 Implémenter DataFrameQueryContext dans Spark Connect
• SPARK-48610 Refactorisation : utiliser idMap auxiliaire au lieu de OP_ID_TAG
• SPARK-47923 Mettre à niveau la version minimale du arrow package R vers 10.0.0
• SPARK-48593 Corriger la représentation sous forme de chaîne de la fonction lambda
• SPARK-46947 Retarder l’initialisation du gestionnaire de mémoire jusqu’à ce que le plug-in Driver soit chargé
• SPARK-48220 Autoriser la transmission d’une table PyArrow à createDataFrame()
• SPARK-48564 Propagation du schéma mis en cache dans les opérations d’ensemble
• SPARK-48561 Levée de PandasNotImplementedError pour les fonctions de traçage non prises en charge
• SPARK-48513 Ajouter une classe d’erreur pour la compatibilité des schémas d’état
• SPARK-48553 Mettre en cache d’autres propriétés
• SPARK-48550 Utiliser directement la classe Window parente
• SPARK-48504 Classe Fenêtre parente pour Spark Connect et Spark Classic
• SPARK-48508 Mettre en cache le schéma spécifié par l’utilisateur dans DataFrame.{to, mapInPandas, mapInArrow}
• SPARK-48496 Utiliser des instances de modèle regex statiques dans JavaUtils
• SPARK-47578 Rétroportage manuel : migration de logWarning avec des variables
• SPARK-47737 Faire passer PyArrow à 10.0.0
• SPARK-48159 Extension de la prise en charge des chaînes ordonnées sur les expressions datetime
• SPARK-48454 Utiliser directement la classe DataFrame parente
• SPARK-48438 Utilisation directe de la classe Column parente
• SPARK-47597 Rétroportage manuel : migration de logInfo avec des variables
• SPARK-48434 Utiliser printSchema le schéma mis en cache
• SPARK-46998 Dépréciation de la configuration SQL spark.sql.legacy.allowZeroIndexInFormatString
• SPARK-46569 Supprimer ThreadLocal pour SecureRandom depuis JDK9
• SPARK-46455 Suppression de la conversion de type redondant
• SPARK-46270 Utiliser des expressions java16 instanceof
• SPARK-46479 Utiliser la méthode utilitaire à partir de commons-lang3 pour la vérification de version Java
• SPARK-45998 Nettoyage de la conversion de type redondant
• SPARK-45533 Utilisez j.l.r.Cleaner au lieu de finaliser pour RocksDBIterator/LevelDBIterator
• SPARK-45309 Supprimer tout SystemUtils.isJavaVersionAtLeast avec JDK 9/11/17
• SPARK-48295compute.ops_on_diff_frames Activer par défaut
• SPARK-47960 Autoriser le chaînage d’autres opérateurs avec état après transformWithState
• SPARK-48367 Corriger lint-scala pour la détection de fichier scalafmt
• SPARK-48247 Utiliser toutes les valeurs dans le dict pour inférer le schéma MapType
• SPARK-48370 Point de contrôle et localCheckpoint dans le client Scala Spark Connect
• SPARK-48258 Point de contrôle et localCheckpoint dans Spark Connect
• SPARK-48293 Ajouter un test pour l'interruption enveloppée par ForeachBatchUserFuncException
• SPARK-48031 Décomposition de la configuration viewSchemaMode ; ajout de la prise en charge de SHOW CREATE TABLE
• SPARK-48288 Ajout d’un type de données source pour l’expression de conversion du connecteur
• SPARK-48310 Les propriétés mises en cache doivent retourner des copies
• SPARK-48287 Appliquer la méthode intégrée timestamp_diff
• SPARK-44444 Utiliser le mode SQL ANSI par défaut
• SPARK-48276 Ajout du __repr__ manquant pour SQLExpression
• SPARK-46991 Remplacement de IllegalArgumentException par SparkIllegalArgumentException dans Catalyst
• SPARK-48031 Prise en charge de l'évolution du schéma de vue
• SPARK-48113 Autoriser les plug-ins à s’intégrer à Spark Connect
• SPARK-47158 Affectation du nom et de SQLState à d’anciens codes d’erreur
• SPARK-47545 Prise en charge du dataset observe pour le client Scala
• SPARK-47993 Supprimer Python 3.8
• SPARK-48260 Désactiver la coordination du committer de sortie dans ParquetIOSuite
• SPARK-47365 Ajouter la méthode DataFrame toArrow() de PySpark
• SPARK-47963 Activer la journalisation structurée pour l’écosystème Spark externe
• SPARK-48045 Correction du problème d'ignorance de l'option as_index=False dans multi-agg-relabel
• SPARK-47719 Modifier la valeur par défaut de timeParserPolicy sur CORRECTION
• SPARK-48075 Vérification de type pour les fonctions PySpark avro
• SPARK-48102 Suivi de la durée des métriques dans la progression de la requête de diffusion
• SPARK-47858 Refactorisation du contexte d’erreur DataFrame
• SPARK-48052 Récupération du CI pyspark-connect par les classes parentes
• SPARK-45284 Mettre à jour les "Minimum SystemRequirements" de SparkR à Java 17
• SPARK-47933 Classe Colonne parente pour Spark Connect et Classic
• SPARK-48053 SparkSession.createDataFrame doit avertir les options non prises en charge
• SPARK-48044 Cache DataFrame.isStreaming
• SPARK-47594 Migrations de journaux structurés
• SPARK-47764 Nettoyer les dépendances de shuffle par ShuffleCleanupMode
• SPARK-45501 Utiliser la correspondance de modèle pour la vérification et la conversion des types
• SPARK-45515 Utiliser des expressions améliorées switch pour remplacer l’instruction régulière switch
• SPARK-47417 Prise en charge des classements : Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• SPARK-47909 Classe DataFrame parent pour Spark Connect et Spark Classic
• SPARK-47602 Core/MLLib/Resource Manager : migration de journalisation structurée
• SPARK-47390 PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
• SPARK-47868 Corriger l’erreur de limite de récursivité dans SparkConnectPlanner et SparkSession
• SPARK-45802 Supprimer les vérifications Java majorVersion qui ne sont plus nécessaires dans Platform
• SPARK-47818 Introduire le cache de plan dans SparkConnectPlanner pour améliorer les performances des requêtes d’analyse
• SPARK-46031 Remplacer par !Optional.isPresent()Optional.isEmpty()
• SPARK-45659 Ajouter since un champ à l’API Java marquée comme @Deprecated
• SPARK-45596 Utilisez java.lang.ref.Cleaner au lieu de org.apache.spark.sql.connect.client.util.Cleaner
• SPARK-47807 Rendre pyspark.ml compatible avec pyspark-connect
• SPARK-45830 Refactorisation de StorageUtils#bufferCleaner
• SPARK-45578 Remplacer l'utilisation de InaccessibleObjectException par trySetAccessible
• SPARK-44895 Ajouter 'daemon', 'priority' pour ThreadStackTrace
• SPARK-45295 Supprimer la solution de contournement Utils.isMemberClass pour JDK 8
• SPARK-47081 Prise en charge de la progression de l’exécution des requêtes
• SPARK-45322 Utiliser ProcessHandle pour obtenir directement pid
• SPARK-46812 Permettre à mapInPandas / mapInArrow de prendre en charge ResourceProfile
• SPARK-47406 Gérer TIMESTAMP et DATETIME dans MYSQLDialect
• SPARK-47712 Autoriser les plug-ins de connexion à créer et traiter des jeux de données
• SPARK-47720 Mise à jour spark.speculation.multiplier vers 3 et spark.speculation.quantile vers la version 0.9
• SPARK-47665 Utiliser SMALLINT pour écrire ShortType dans MYSQL
• SPARK-47722 Attendez que le travail en arrière-plan RocksDB se termine avant de fermer
• SPARK-47610 Toujours définir io.netty.tryReflectionSetAccessible=true
• SPARK-47372 Ajout de la prise en charge de l’encodeur d’état de clé basé sur l’analyse de plage à utiliser avec le fournisseur de magasin d’états
• SPARK-44708 Migrer test_reset_index assert_eq pour utiliser assertDataFrameEqual
• SPARK-47346 Rendre le mode démon configurable lors de la création de workers du planificateur Python
• SPARK-47419 Déplacer log4j2-defaults.properties vers common/utils
• SPARK-47380 Assurez-vous que, côté serveur, la SparkSession soit identique.
• SPARK-47055 Mettre à niveau MyPy 1.8.0
• SPARK-46795 Remplacer UnsupportedOperationException par SparkUnsupportedOperationException dans sql/core
• SPARK-46648 Utiliser zstd comme compression ORC par défaut
• SPARK-47322 Rendre la withColumnsRenamed gestion des duplications de noms de colonnes cohérente avec withColumnRenamed
• SPARK-47011 Supprimer le BinaryClassificationMetrics.scoreLabelsWeight déprécié
• SPARK-46332 Migrer CatalogNotFoundException vers la classe d’erreur CATALOG_NOT_FOUND
• SPARK-46975 Prise en charge des méthodes de base dédiées
• SPARK-47069 Présentation spark.profile.show/dump du profilage basé sur SparkSession
• SPARK-47062 Déplacer les plug-ins de connexion vers Java pour la compatibilité
• SPARK-46833 Classements - Présentation de CollationFactory qui fournit des règles de comparaison et de hachage pour les classements pris en charge
• SPARK-46984 Supprimer pyspark.copy_func
• SPARK-46849 Exécuter l’optimiseur sur les valeurs par défaut de la colonne CREATE TABLE
• SPARK-46976 Implémenter DataFrameGroupBy.corr
• SPARK-46911 Ajout de l’opérateur deleteIfExists à StatefulProcessorHandleImpl
• SPARK-46955 Implémenter Frame.to_stata
• SPARK-46936 Implémenter Frame.to_feather
• SPARK-46655 Abstraction de l’interception du contexte de requête dans les méthodes DataFrame
• SPARK-46926 Ajouter convert_dtypes, infer_objects et set_axis dans la liste de secours
• SPARK-46683 Écrire un générateur de sous-requête qui génère des permutations de sous-requêtes pour augmenter la couverture des tests
• SPARK-46777 Réorganiser StreamingDataSourceV2Relation la structure catalytique pour être au même niveau que la version par lots
• SPARK-46620 Introduction d’un mécanisme de secours de base pour les méthodes de trame
• SPARK-46808 Affiner les classes d’erreur dans Python avec la fonction de tri automatique
• SPARK-46686 Support de base pour le profileur UDF Python basé sur SparkSession
• SPARK-46258 Ajouter RocksDBPersistenceEngine
• SPARK-46665 Enlever assertPandasOnSparkEqual
• SPARK-46227 Passer withSQLConf de SQLHelper à SQLConfHelper
• SPARK-40876 Élargissement des promotions de type dans les lecteurs Parquet
• SPARK-46101 Réduire la profondeur de la pile en remplaçant (string|array).size par (string|array).length
• SPARK-46170 Prise en charge de l’injection de règles de stratégie après la planification de requêtes adaptatives dans SparkSessionExtensions
• SPARK-46246EXECUTE IMMEDIATE Prise en charge de SQL
• SPARK-46466 Le lecteur Parquet vectorisé ne doit jamais effectuer de rebase pour l’horodatage NTZ
• SPARK-46399 Ajouter l’état de sortie à l’événement Application End pour l’utilisation de Spark Listener
• SPARK-45506 Ajout de la prise en charge de l’URI Ivy à la fonction addArtifact de Spark Connect
• SPARK-45597 Prise en charge de la création d’une table à l’aide d’une source de données Python dans SQL (DSv2 exec)
• SPARK-46402 Ajouter le support pour getMessageParameters et getQueryContext
• SPARK-46213 Présentation de PySparkImportError pour l’infrastructure d’erreurs
• SPARK-46226 Migrer tout le reste RuntimeError dans l’infrastructure d’erreur PySpark
• SPARK-45886 Sortie de la trace de la pile complète dans le callSite du contexte DataFrame
• SPARK-46256 Prise en charge de la compression parallèle pour ZSTD
• SPARK-46249 Exiger un verrou d’instance pour acquérir des métriques RocksDB pour empêcher la concurrence avec les opérations en arrière-plan
• SPARK-45667 Nettoyer l’utilisation déconseillée de l’API liée à IterableOnceExtensionMethods
• SPARK-46254 Supprimer la vérification des versions obsolètes de Python 3.8/3.7
• SPARK-46213 Présentation de PySparkImportError pour l’infrastructure d’erreurs
• SPARK-46188 Corriger le CSS des tables générées par spark doc
• SPARK-45670 SparkSubmit ne prend pas en charge --total-executor-cores lors du déploiement sur K8s
• SPARK-46169 Affecter les numéros JIRA appropriés pour les paramètres manquants de l’API DataFrame
• SPARK-45022 Fournir un contexte pour les erreurs d’API de jeu de données
• SPARK-46062 Synchroniser l’indicateur isStreaming entre la définition CTE et la référence
• SPARK-45698 Nettoyer l’utilisation déconseillée de l’API liée à Buffer
• SPARK-45136 Améliorer le ClosureCleaner avec le support d’Ammonite
• SPARK-44442 Suppression de la prise en charge de Mesos
• SPARK-45996 Afficher les messages d’exigence de dépendance appropriés pour Spark Connect
• SPARK-45767 Supprimer TimeStampedHashMap et son UT
• SPARK-45912 Amélioration de l’API XSDToSchema : Passer à l’API HDFS pour l’accessibilité du stockage cloud
• SPARK-45338 Remplacer scala.collection.JavaConverters par scala.jdk.CollectionConverters
• SPARK-45828 Supprimer la méthode déconseillée dans dsl
• SPARK-45718 Supprimer les fonctionnalités Pandas déconseillées restantes de Spark 3.4.0
• SPARK-45990 Mise à niveau protobuf vers la version 4.25.1 pour prendre en charge Python 3.11
• SPARK-45941 Mise à niveau pandas vers la version 2.1.3
• SPARK-45555 Inclut un objet à déboguer pour l’échec d’assertion
• SPARK-45710 Affecter des noms à l’erreur _LEGACY_ERROR_TEMP_21[59,60,61,62]
• SPARK-45733 Prendre en charge plusieurs stratégies de réessai
• SPARK-45503 Ajouter conf pour définir la compression RocksDB
• SPARK-45614 Affecter des noms à l’erreur _LEGACY_ERROR_TEMP_215[6,7,8]
• SPARK-45680 Session de mise en production
• SPARK-45620 Corriger les API orientées utilisateur liées à Python UDTF pour utiliser camelCase
• SPARK-45634 Supprimer DataFrame.get_dtype_counts de l’API Pandas sur Spark
• SPARK-44752 XML : Mettre à jour Spark Docs
• SPARK-45523 Retourner un message d’erreur utile si l’UDTF retourne None pour une colonne non nullable
• SPARK-45558 Introduction d’un fichier de métadonnées pour l’opérateur de diffusion avec état
• SPARK-45390 Suppression de l’utilisation de distutils
• SPARK-45517 Développer d’autres constructeurs d’exceptions pour prendre en charge les paramètres d’infrastructure d’erreur
• SPARK-45427 Ajouter des paramètres SSL RPC à SSLOptions et SparkTransportConf
• SPARK-45581 Rendre SQLSTATE obligatoire.
• SPARK-44784 Faites des tests SBT hermétiques.
• SPARK-45550 Supprimer les API déconseillées de l’API Pandas sur Spark
• SPARK-45415 Autorisation de la désactivation sélective de « fallocate » dans le magasin d’états RocksDB
• SPARK-45487 Corriger les erreurs SQLSTATEs et temp
• SPARK-45505 Refactoriser analyzeInPython pour le rendre réutilisable
• SPARK-45451 Rendre le niveau de stockage par défaut du cache de jeu de données configurable
• SPARK-45065 Prise en charge de Pandas 2.1.0
• SPARK-45450 Correction des importations en fonction de PEP8 : PySpark.Pandas et PySpark (core)
• SPARK-43299 Convertir StreamingQueryException dans le client Scala
• SPARK-42617 Prise en charge de isocalendar à partir de Pandas 2.0.0
• SPARK-45441 Présentation de fonctions d’utilisation supplémentaires pour PythonWorkerUtils
• SPARK-43620 Corriger les API Pandas dépend des fonctionnalités non prises en charge
• SPARK-45330 Mise à niveau d’Ammonite vers la version 2.5.11
• SPARK-45267 Modifiez la valeur par défaut de numeric_only.
• SPARK-45303 Suppression de la solution de contournement JDK 8/11 dans KryoSerializerBenchmark
• SPARK-43433 Adapter le comportement GroupBy.nth aux dernières versions de Pandas
• SPARK-45166 Nettoyer les chemins de code inutilisés pour pyarrow<4
• SPARK-44823 Mettre à jour Black à la version 23.9.1 et corriger le test erroné
• SPARK-45165 Supprimer le inplace paramètre des CategoricalIndex API
• SPARK-45180 Supprimer les entrées booléennes pour le paramètre inclusive de Series.between
• SPARK-45164 Supprimer les API déconseillées Index
• SPARK-45179 Augmenter la version minimale de Numpy à la version 1.21
• SPARK-45177 Supprimer le col_space paramètre de to_latex
• SPARK-43241MultiIndex.append ne pas vérifier les noms pour l’égalité
• SPARK-43123 Déclenchement de l’événement TypeError pour DataFrame.interpolate lorsque toutes les colonnes sont de type objet.
• SPARK-43295 Prise en charge des colonnes de type chaîne pour DataFrameGroupBy.sum
• SPARK-42619 Ajouter un show_counts paramètre pour DataFrame.info
• SPARK-44863 Ajouter un bouton pour télécharger le dump de thread sous forme de fichier txt dans l’interface utilisateur Spark
• SPARK-44713 Déplacer des classes partagées vers sql/api
• SPARK-44692 Déplacer des déclencheurs vers sql/api
• SPARK-43563 Supprimez squeeze de read_csv et activez plus de tests.
• SPARK-43476 Support StringMethods pour pandas 2.0.0 et versions ultérieures
• SPARK-43872 Compatibilité (DataFrame|Series).plot avec pandas 2.0.0 et versions ultérieures.
• SPARK-42620 Ajouter inclusive un paramètre pour (DataFrame|Série).between_time
• SPARK-44289 Prise en charge de indexer_between_time pour Pandas 2.0.0 & et activation d’autres tests.
• SPARK-42621 Ajouter un paramètre inclusif pour pd.date_range
• SPARK-43709 Supprimer le closed paramètre de ps.date_range &activer le test.
• SPARK-43568 Prise en charge des API Categorical pour Pandas 2
• SPARK-44842 Prise en charge des fonctions statistiques pour Pandas 2.0.0 et activation des tests.
• SPARK-43606 Supprimer &Int64IndexFloat64Index
• SPARK-43873 Activation de FrameDescribeTests
• SPARK-44841 Prise en charge de value_counts pour Pandas 2.0.0 et versions ultérieures.
• SPARK-44686 Ajoutez la possibilité de créer un RowEncoder dans Encoders.scala.
• SPARK-41400 Supprimer la dépendance du client Connect Catalyst
• SPARK-44538 Rétablissement de Row.jsonValue et fonctions associées
• SPARK-44507 Déplacer AnalysisException vers sql/api
• SPARK-44531 Déplacer l’inférence de l’encodeur vers sql/api
• SPARK-43744 Résoudre le problème de chargement de classe provoqué par les classes utilisateur stub introuvables sur le chemin de classe du serveur
• SPARK-36612 Prise en charge de la construction de jointure externe gauche à gauche ou de la jointure externe droite à droite dans la jointure hachée aléatoire
• SPARK-44541 Supprimer la fonction hasRangeExprAgainstEventTimeCol inutile de UnsupportedOperationChecker
• SPARK-44059 Ajouter la prise en charge par l'analyseur d'arguments nommés pour les fonctions préexistantes
• SPARK-44216 Rendre l’API assertSchemaEqual publique
• SPARK-43755 Déplacer l’exécution hors de SparkExecutePlanStreamHandler et vers un autre thread
• SPARK-44201 Ajouter la prise en charge de l’écouteur de streaming dans Scala pour Spark Connect
• SPARK-43965 Prise en charge de Python UDTF dans Spark Connect
• SPARK-44398 Scala foreachBatch API
• SPARK-44044 Améliorer le message d’erreur pour les fonctions de fenêtre avec streaming

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez les mises à jour de maintenance databricks Runtime 17.0.

Environnement du système

• Système d’exploitation : Ubuntu 24.04.2 LTS
• Java : Zulu17.54+21-CA
• Scala : 2.13.16
• Python : 3.12.3
• R : 4.4.2
• Delta Lake : 4.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l'instantané CRAN du gestionnaire de packages en date du 20-03-2025.

Bibliothèques Java et Scala installées (version du cluster Scala 2.13)