Databricks Runtime 18.0 (bêta)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 18.0 (bêta).

Azure Databricks a publié cette version en décembre 2025.

Nouvelles fonctionnalités et améliorations

• Le script SQL est désormais en disponibilité générale
• Pilote JDBC Redshift mis à niveau vers la version 2.1.0.28
• Environnement d’isolation partagée pour les UDF Python du Unity Catalog
• Fonctions de fenêtre SQL dans les vues de métriques
• Arrêt en douceur pour les applications Spark
• Ajustement dynamique de partition de mélange aléatoire dans les requêtes de diffusion en continu sans conservation d'état
• Exécution adaptative de requêtes et auto-optimisation du transfert dans les requêtes de streaming sans état
• FILTER clause pour mesurer les fonctions d’agrégation dans les vues de métriques
• Concaténation de chaînes littérales partout
• Marqueurs de paramètres partout
• IDENTIFIER la clause partout
• Nouvelle fonction BITMAP_AND_AGG
• Nouvelle bibliothèque de fonctions KLL_Sketch
• Bibliothèque Apache Parquet mise à niveau vers la version 1.16.0

Le script SQL est désormais en disponibilité générale

La fonctionnalité de script SQL est désormais en disponibilité générale.

Pilote JDBC Redshift mis à niveau vers la version 2.1.0.28

Le pilote JDBC Redshift a été mis à niveau vers la version 2.1.0.28.

Environnement d'exécution isolé partagé pour les fonctions définies par l'utilisateur Python du Unity Catalog

Les fonctions définies par l'utilisateur Python du catalogue Unity ayant le même propriétaire peuvent désormais partager un même environnement d'isolation par défaut. Cela peut améliorer les performances et réduire l’utilisation de la mémoire en réduisant le nombre d’environnements distincts qui doivent être lancés.

Pour garantir qu’une fonction UDF s’exécute toujours dans un environnement entièrement isolé, ajoutez la STRICT ISOLATION clause caractéristique. Consultez l’isolation de l’environnement.

Fonctions de fenêtre SQL dans les vues de métriques

Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues de métriques pour calculer les totaux en cours d’exécution, les classements et d’autres calculs basés sur des fenêtres.

Arrêt en douceur pour les applications Spark

Les applications Spark prennent désormais en charge l’arrêt normal, ce qui permet aux tâches en cours de se terminer avant la fin de l’application.

Ajustement dynamique de partition aléatoire dans les requêtes de diffusion en continu sans état

Vous pouvez maintenant modifier le nombre de partitions de mélange dans les requêtes de streaming sans état sans redémarrer la requête.

Exécution de requêtes adaptatives et shuffle optimisé automatiquement dans les requêtes de streaming sans état

L’exécution de requêtes adaptatives (AQE) et le shuffle optimisé automatiquement (AOS) sont désormais pris en charge dans les requêtes de streaming sans état.

FILTER clause pour mesurer les fonctions d’agrégation dans les vues de métriques

Vous pouvez maintenant utiliser la clause FILTER avec des fonctions d’agrégation de mesures dans les vues métriques pour définir des filtres par agrégation lors du référencement des mesures de vues métriques.

Fusion ou combinaison de chaînes littérales partout

La possibilité de fusionner des littéraux de chaîne séquentiels, tels que 'Hello' ' World' en 'Hello World', a été élargie des expressions à tout endroit où les littéraux de chaîne sont autorisés. Par exemple : COMMENT 'This' ' is a ' 'comment'. Consultez STRING type pour des détails.

Marqueurs de paramètres partout

Vous pouvez désormais utiliser des marqueurs de paramètres nommés (:param) et non nommés (?) pratiquement partout où une valeur littérale du type approprié peut être utilisée. Cela inclut des marqueurs de paramètres dans des instructions DDL telles que CREATE VIEW v AS SELECT ? AS c1, les types DECIMAL(:p, :s)de colonnes ou COMMENT ON t IS :comment. Grâce à cette possibilité, vous pouvez paramétrer une grande variété d’instructions SQL sans exposer votre code aux attaques par injection SQL. Pour plus d’informations, consultez les marqueurs de paramètres .

IDENTIFIER clause partout

La portée de la IDENTIFIER clause, qui convertit les chaînes en noms d’objets SQL, a été étendue à presque partout où un identificateur est autorisé. En plus des améliorations apportées à la coalescence des chaînes littérales et des marqueurs de paramètres, vous pouvez désormais paramétrer n'importe quoi, des alias de colonne (AS IDENTIFIER(:name)) aux définitions de colonne (IDENTIFIER(:pk) BIGINT NOT NULL). Pour plus d’informations, consultez IDENTIFIERclause.

Nouvelle fonction BITMAP_AND_AGG

La bibliothèque existante de fonctions BITMAP a été complétée par une nouvelle fonction BITMAP_AND_AGG.

Nouvelle bibliothèque de fonctions KLL_Sketch

Vous pouvez maintenant utiliser une nouvelle bibliothèque de fonctions qui créent des croquis KLL pour un calcul quantile approximatif :

• kll_sketch_agg_bigint fonction d’agrégation
• Fonction kll_sketch_get_quantile_bigint
• Fonction kll_sketch_merge_bigint
• kll_sketch_agg_double fonction d’agrégation
• Fonction kll_sketch_get_quantile_double
• Fonction kll_sketch_merge_double
• kll_sketch_agg_float fonction d’agrégation
• Fonction kll_sketch_get_quantile_float
• Fonction kll_sketch_merge_float
• Fonction kll_sketch_get_n_bigint
• Fonction kll_sketch_get_rank_bigint
• Fonction kll_sketch_to_string_bigint
• Fonction kll_sketch_get_n_double
• Fonction kll_sketch_get_rank_double
• Fonction kll_sketch_to_string_double
• Fonction kll_sketch_get_n_float
• Fonction kll_sketch_get_rank_float
• Fonction kll_sketch_to_string_float

Bibliothèque Apache Parquet mise à niveau vers la version 1.16.0

La bibliothèque Apache Parquet a été mise à niveau vers la version 1.16.0.

Changements comportementaux

• JDK 21 est désormais le Kit de développement Java par défaut
• FSCK REPAIR TABLE inclut la réparation des métadonnées par défaut
• Nullabilité conservée pour les types de tableau et de carte dans le client Scala Spark Connect
• FSCK REPAIR TABLE DRY RUN schéma de sortie mis à jour
• SHOW TABLES DROPPED respecte la clause LIMIT
• Facteurs de proration alignés entre les lectures et les écritures optimisées automatiquement
• Exécution UDF Python unifiée sur PySpark et le catalogue Unity
• Amélioration des messages d’erreur pour les problèmes de module de connexion du connecteur Kafka
• Restrictions de voyage dans le temps et VACUUM comportement de rétention
• BinaryType mappe à bytes par défaut dans PySpark
• Structs NULL conservés dans Delta MERGE, UPDATEet opérations d’écriture en streaming
• Colonnes de partition matérialisées dans les fichiers Parquet

JDK 21 est désormais le Kit de développement Java par défaut

Databricks Runtime 18.0 utilise JDK 21 comme kit de développement Java par défaut. JDK 21 est une version de support à long terme (LTS). Auparavant, la valeur par défaut était JDK 17, qui est désormais disponible en tant qu’option de secours.

Pour plus d’informations sur la configuration des versions JDK pour vos clusters, consultez Créer un cluster avec une version JDK spécifique.

FSCK REPAIR TABLE inclut la réparation des métadonnées par défaut

La FSCK REPAIR TABLE commande inclut désormais une étape de réparation des métadonnées initiale avant de vérifier les fichiers de données manquants. La commande peut fonctionner sur des tables avec des points de contrôle endommagés ou des valeurs de partition non valides.

Possibilité de valeur Null conservée pour les types de tableau et de mappage dans le client Scala Spark Connect

La nullabilité des types de tableaux et de cartes est désormais préservée pour les littéraux typés dans le client Spark Connect Scala. Auparavant, les éléments des tableaux et des valeurs des cartes étaient toujours nullables.

FSCK REPAIR TABLE DRY RUN schéma de sortie mis à jour

La dataFilePath colonne du FSCK REPAIR TABLE DRY RUN schéma de sortie est désormais nullable pour prendre en charge la création de nouveaux types de problèmes où le chemin d’accès au fichier de données n’est pas applicable.

SHOW TABLES DROPPED respecte la disposition de LIMIT

La SHOW TABLES DROPPED commande respecte maintenant correctement la LIMIT clause.

Facteurs de proration alignés entre les lectures et les écritures optimisées automatiquement

Les facteurs de proration pour le dimensionnement de partition utilisent désormais des valeurs fractionnaires de manière cohérente entre les opérations de lecture et les écritures optimisées automatiquement. Cette modification peut entraîner un nombre différent de tâches pour les opérations de lecture.

Exécution UDF Python unifiée sur PySpark et le catalogue Unity

Les fonctions définies par l'utilisateur Python du catalogue Unity utilisent désormais Apache Arrow comme format d'échange par défaut, ce qui améliore les performances globales et s'aligne avec le comportement des fonctions définies par l'utilisateur Python optimisées par Apache Arrow dans Apache Spark. Dans le cadre de cette modification, TIMESTAMP les valeurs transmises aux fonctions UDF Python ne contiennent plus d'informations sur le fuseau horaire dans l'attribut de l'objet datetimetzinfo. Les valeurs d’horodatage elles-mêmes restent au format UTC, mais les métadonnées de fuseau horaire sont désormais supprimées.

Si votre fonction UDF s’appuie sur les informations de fuseau horaire, vous devez la restaurer avec date = date.replace(tzinfo=timezone.utc). Pour plus d’informations, consultez le comportement du fuseau horaire timestamp pour les entrées.

Amélioration des messages d’erreur pour les problèmes de module de connexion du connecteur Kafka

Lorsque vous utilisez le connecteur Kafka avec une classe de module de connexion non éclipsée, Azure Databricks fournit désormais des messages d’erreur qui suggèrent d’utiliser le préfixe de classe ombré correct (kafkashaded.org.apache.kafka ou kafkashaded.software.amazon.msk.auth.iam).

Restrictions de voyage dans le temps et VACUUM comportement de rétention

Azure Databricks bloque désormais les requêtes de voyage dans le temps au-delà du deletedFileRetentionDuration seuil pour toutes les tables. La VACUUM commande ignore l’argument de durée de rétention, sauf lorsque la valeur est de 0 heures. Vous ne pouvez pas définir deletedFileRetentionDuration plus grand que logRetentionDuration ou inversement.

BinaryType est mappé à bytes par défaut dans PySpark

BinaryType mappe désormais de façon cohérente à Python bytes dans PySpark. Auparavant, PySpark mappait BinaryType à bytes ou bytearray en fonction du contexte. Pour restaurer l’ancien comportement, définissez spark.sql.execution.pyspark.binaryAsBytes sur false.

Structs NULL conservés dans Delta MERGE, UPDATEet opérations d’écriture en streaming

Les structs NULL sont désormais conservés comme NULL dans Delta MERGE, UPDATE, et les opérations d'écriture en streaming qui incluent des casts de type struct. Auparavant, les structs NULL ont été développés en structs avec des champs NULL. Par exemple, un struct NULL reste désormais NULL au lieu d’être développé vers un struct avec toutes les valeurs de champ NULL.

Colonnes de partition matérialisées dans des fichiers Parquet

Les tables Delta partitionnées matérialisent désormais les colonnes de partition dans les fichiers de données Parquet récemment écrits. Auparavant, les valeurs de partition étaient stockées dans les métadonnées du journal des transactions Delta et reflétées dans les chemins d’accès au répertoire, mais pas écrites en tant que colonnes dans les fichiers Parquet eux-mêmes. Cette modification s’aligne sur le comportement Apache Iceberg et UniForm et peut affecter les charges de travail qui lisent directement les fichiers Parquet écrits par Delta Lake, car les fichiers nouvellement écrits incluent des colonnes de partition supplémentaires.

Mises à niveau de la bibliothèque

Bibliothèques Python mises à niveau :

• anyio de 4.6.2 à 4.7.0
• asttokens de 2.0.5 à 3.0.0
• azure-core de 1.34.0 à 1.36.0
• azure-mgmt-core de 1.5.0 à 1.6.0
• azure-storage-blob de 12.23.0 à 12.27.1
• azure-storage-file-datalake de 12.17.0 à 12.22.0
• boto3 de 1.36.2 à 1.40.45
• botocore de 1.36.3 à 1.40.45
• certifi de 2025.1.31 à 2025.4.26
• cliquez entre 8.1.7 et 8.1.8
• chiffrement de 43.0.3 à 44.0.1
• Cython de 3.0.12 à 3.1.5
• databricks-sdk de 0.49.0 à 0.67.0
• Déconseillé de 1.2.13 à 1.2.18
• exécution de 0.8.3 à 1.2.0
• fastapi de 0.115.12 à 0.121.0
• google-api-core de 2.20.0 à 2.28.1
• google-auth de 2.40.0 à 2.43.0
• google-cloud-core de 2.4.3 à 2.5.0
• google-cloud-storage de 3.1.0 à 3.5.0
• h11 de 0.14.0 à 0.16.0
• httpcore de 1.0.2 à 1.0.9
• httpx de 0.27.0 à 0.28.1
• isodate de 0.6.1 à 0.7.2
• Jinja2 de 3.1.5 à 3.1.6
• jupyter-events de 0.10.0 à 0.12.0
• jupyter-lsp de 2.2.0 à 2.2.5
• jupyter_server de 2.14.1 à 2.15.0
• jupyter_server_terminals de 0.4.4 à 0.5.3
• mistune de 2.0.4 à 3.1.2
• mlflow-skinny de 3.0.1 à 3.5.1
• mmh3 de 5.1.0 à 5.2.0
• msal de 1.32.3 à 1.34.0
• nbclient de 0.8.0 à 0.10.2
• nbconvert de 7.16.4 à 7.16.6
• notebook_shim de 0.2.3 à 0.2.4
• opentelemetry-api de 1.32.1 à 1.38.0
• opentelemetry-sdk de 1.32.1 à 1.38.0
• opentelemetry-semantic-conventions de 0.53b1 à 0,59b0
• platformdirs de 3.10.0 à 4.3.7
• prometheus_client de 0.21.0 à 0.21.1
• psycopg2 de 2.9.3 à 2.9.11
• pyarrow de 19.0.1 à 21.0.0
• Pygments de 2.15.1 à 2.19.1
• pyiceberg de 0.9.0 à 0.10.0
• python-lsp-server de 1.12.0 à 1.12.2
• corde de 1.12.0 à 1.13.0
• s3transfer de 0.11.3 à 0.14.0
• scipy de 1.15.1 à 1.15.3
• setuptools de 74.0.0 à 78.1.1
• six de 1.16.0 à 1.17.0
• stack-data de 0.2.0 à 0.6.3
• starlette de 0.46.2 à 0.49.3
• tornado de 6.4.2 à 6.5.1
• types-python-dateutil de 2.9.0.20241206 à 2.9.0.20251008
• uvicorn de 0.34.2 à 0.38.0
• webcolors de 24.11.1 à 25.10.0

Bibliothèques R mises à niveau :

• flèche de 19.0.1 à 22.0.0
• base comprise entre 4.4.2 et 4.5.1
• BigD de 0.3.0 à 0.3.1
• broom de 1.0.7 à 1.0.10
• horloge de la version 0.7.2 à 0.7.3
• commonmark de 1.9.5 à 2.0.0
• compilateur de 4.4.2 à 4.5.1
• informations d’identification de 2.0.2 à 2.0.3
• curl de 6.4.0 à 7.0.0
• data.table de 1.17.0 à 1.17.8
• jeux de données de 4.4.2 à 4.5.1
• dbplyr de 2.5.0 à 2.5.1
• devtools de 2.4.5 à 2.4.6
• diffobj de 0.3.5 à 0.3.6
• digest de 0.6.37 à 0.6.39
• downlit de 0.4.4 à 0.4.5
• dtplyr de 1.3.1 à 1.3.2
• évaluer de 1.0.3 à 1.0.5
• fansi de 1.0.6 à 1.0.7
• forcats de la version 1.0.0 à la version 1.0.1
• fs de 1.6.5 à 1.6.6
• future de 1.34.0 à 1.68.0
• future.apply de 1.11.3 à 1.20.0
• bascule de 1.5.2 à 1.6.0
• gert de 2.1.4 à 2.2.0
• ggplot2 de 3.5.1 à 4.0.1
• gh de 1.4.1 à 1.5.0
• git2r de 0.35.0 à 0.36.2
• glmnet de 4.1-8 à 4.1-10
• googledrive de 2.1.1 à 2.1.2
• googlesheets4 de 1.1.1 à 1.1.2
• graphiques de 4.4.2 à 4.5.1
• grDevices de 4.4.2 à 4.5.1
• grille comprise entre 4.4.2 et 4.5.1
• gt de 0.11.1 à 1.1.0
• Mise à jour de hardhat de la version 1.4.1 à la version 1.4.2
• haven de 2.5.4 à 2.5.5.5
• hms de 1.1.3 à 1.1.4
• httpuv de 1.6.15 à 1.6.16
• httr2 de 1.1.1 à 1.2.1
• jsonlite de 1.9.1 à 2.0.0
• plus tard de 1.4.1 à 1.4.4
• lave de 1.8.1 à 1.8.2
• listenv de 0.9.1 à 0.10.0
• magrittr de 2.0.3 à 2.0.4
• Markdown de 1.13 à 2.0
• méthodes comprises entre 4.4.2 et 4.5.1
• miniUI de 0.1.1.1 à 0.1.2
• mlflow de 2.20.4 à 3.6.0
• openssl de 2.3.3 à 2.3.4
• parallèle de 4.4.2 à 4.5.1
• parallèlement de 1.42.0 à 1.45.1
• pilier de 1.11.0 à 1.11.1
• pkgbuild de 1.4.6 à 1.4.8
• Mise à jour de pkgdown de la version 2.1.1 à la version 2.2.0
• pkgload de 1.4.0 à 1.4.1
• pROC de 1.18.5 à 1.19.0.1
• prodlim de 2024.06.25 à 2025.04.28
• progressr de 0.15.1 à 0.18.0
• promesses comprises entre 1.3.2 et 1.5.0
• ps de 1.9.0 à 1.9.1
• purrr de 1.0.4 à 1.2.0
• ragg de 1.3.3 à 1.5.0
• Rcpp de 1.0.14 à 1.1.0
• readr de 2.1.5 à 2.1.6
• recettes comprises entre 1.2.0 et 1.3.1
• reshape2 de 1.4.4 à 1.4.5
• rmarkdown de 2.29 à 2.30
• roxygen2 de 7.3.2 à 7.3.3
• rprojroot de 2.0.4 à 2.1.1
• RSQLite de 2.3.9 à 2.4.4
• rversions de 2.1.2 à 3.0.0
• rvest de 1.0.4 à 1.0.5
• sass de 0.4.9 à 0.4.10
• va de 1.3.0 à 1.4.0
• brillant de 1.10.0 à 1.11.1
• sparklyr de 1.9.1 à 1.9.3
• SparkR de 4.0.0 à 4.1.0
• sparsevctrs de 0.3.1 à 0.3.4
• splines de 4.4.2 à 4.5.1
• statistiques comprises entre 4.4.2 et 4.5.1
• stats4 de 4.4.2 à 4.5.1
• stringr de 1.5.1 à 1.6.0
• systemfonts de 1.2.1 à 1.3.1
• tcltk de 4.4.2 à 4.5.1
• testthat de 3.2.3 à 3.3.0
• Textshaping de 1.0.0 à 1.0.4
• timeDate de 4041.110 à 4051.111
• tinytex de 0,56 à 0,58
• outils de 4.4.2 à 4.5.1
• usethis de 3.1.0 à 3.2.1
• utils de 4.4.2 à 4.5.1
• V8 de 6.0.2 à 8.0.1
• vroom de 1.6.5 à 1.6.6
• waldo de 0.6.1 à 0.6.2
• xfun de 0,51 à 0,54
• xml2 de 1.3.8 à 1.5.0
• zeallot de 0.1.0 à 0.2.0
• zip de 2.3.2 à 2.3.3

Bibliothèques Java mises à niveau :

• com.amazonaws.amazon-kinesis-client de 1.12.0 à 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-config de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-core de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-sql-scriptdatapipeline de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-directconnect de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-directory de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-ec2 de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-ecs de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-efs de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-elasticache de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-emr de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-glacier de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-glue de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-iam de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-importexport de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-kinesis de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-kms de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-lambda de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-logs de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-opsworks de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-rds de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-redshift de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-route53 de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-s3 de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-ses de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-simpledb de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-sns de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-sqs de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-ssm de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-sts de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-support de 1.12.638 à 1.12.681
• com.amazonaws.aws-java-sdk-workspaces de 1.12.638 à 1.12.681
• com.amazonaws.jmespath-java de 1.12.638 à 1.12.681
• com.databricks.databricks-sdk-java de 0.27.0 à 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 à 2.18.3
• com.github.luben.zstd-jni de 1.5.6-10 à 1.5.7-6
• com.google.flatbuffers.flatbuffers-java de 24.3.25 à 25.2.10
• com.google.guava.failureaccess de 1.0.2 à 1.0.3
• com.google.guava.guava de 33.4.0-jre à 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 à 12.8.0.jre8
• commons-cli.commons-cli de 1.9.0 à 1.10.0
• commons-codec.commons-codec de la version 1.17.2 à la version 1.19.0
• commons-fileupload.commons-fileupload de 1.5 à 1.6.0
• commons-io.commons-io de 2.18.0 à 2.21.0
• dev.ludovic.netlib.arpack de 3.0.3 à 3.0.4
• dev.ludovic.netlib.blas de 3.0.3 à 3.0.4
• dev.ludovic.netlib.lapack de 3.0.3 à 3.0.4
• io.delta.delta-sharing-client_2.13 de 1.3.5 à 1.3.6
• io.dropwizard.metrics.metrics-annotation de 4.2.30 à 4.2.37
• io.dropwizard.metrics.metrics-core de 4.2.30 à 4.2.37
• io.dropwizard.metrics.metrics-graphite de 4.2.30 à 4.2.37
• io.dropwizard.metrics.metrics-healthchecks de 4.2.30 à 4.2.37
• io.dropwizard.metrics.metrics-jmx de 4.2.30 à 4.2.37
• io.dropwizard.metrics.metrics-json de la version 4.2.30 à la version 4.2.37
• io.dropwizard.metrics.metrics-jvm de 4.2.30 à 4.2.37
• io.dropwizard.metrics.metrics-servlets de 4.2.30 à 4.2.37
• io.netty.netty-all de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-buffer de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-codec de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-codec-http de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-codec-http2 de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-codec-socks de la version 4.1.118.Final à la version 4.2.7.Final
• io.netty.netty-common de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-handler de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-handler-proxy de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-resolver de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static from 2.0.70.Final-db-r0-windows-x86_64 to 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes de 2.0.70.Final à 2.0.74.Final
• io.netty.netty-transport de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-transport-classes-epoll de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-transport-classes-kqueue de 4.1.118.Final à 4.2.7.Final
• io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 à 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 à 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common de 4.1.118.Final à 4.2.7.Final
• joda-time.joda-time de 2.13.0 à 2.14.0
• org.apache.arrow.arrow-format de 18.2.0 à 18.3.0
• org.apache.arrow.arrow-memory-core de 18.2.0 à 18.3.0
• org.apache.arrow.arrow-memory-netty de 18.2.0 à 18.3.0
• org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 à 18.3.0
• org.apache.arrow.arrow-vector de 18.2.0 à 18.3.0
• org.apache.avro.avro de 1.12.0 à 1.12.1
• org.apache.avro.avro-ipc de 1.12.0 à 1.12.1
• org.apache.avro.avro-mapred de 1.12.0 à 1.12.1
• org.apache.commons.commons-collections4 de 4.4 à 4.5.0
• org.apache.commons.commons-compress de 1.27.1 à 1.28.0
• org.apache.commons.commons-lang3 de 3.17.0 à 3.19.0
• org.apache.commons.commons-text de 1.13.0 à 1.14.0
• org.apache.curator.curator-client de 5.7.1 à 5.9.0
• Mise à jour de org.apache.curator.curator-framework de la version 5.7.1 à la version 5.9.0
• org.apache.curator.curator-recipes de 5.7.1 à 5.9.0
• org.apache.datasketches.datasketches-java de 6.1.1 à 6.2.0
• org.apache.hadoop.hadoop-client-runtime de 3.4.1 à 3.4.2
• org.apache.orc.orc-core de 2.1.1-shaded-protobuf à 2.2.0-shaded-protobuf
• org.apache.orc.orc-format de 1.1.0-shaded-protobuf à 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf à 2.2.0-shaded-protobuf
• org.apache.orc.orc-shims de 2.1.1 à 2.2.0
• org.apache.xbean.xbean-asm9-shaded de 4.26 à 4.28
• org.apache.zookeeper.zookeeper de 3.9.3 à 3.9.4
• org.apache.zookeeper.zookeeper-jute de 3.9.3 à 3.9.4
• org.eclipse.jetty.jetty-client de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-http de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-io de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-security de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-server de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-util, de la version 9.4.53.v20231009 à la version 10.0.26
• org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 à 10.0.26
• org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 à 10.0.26
• org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.22.1
• org.objenesis.objenesis de 3.3 à 3.4
• org.scala-lang.modules.scala-xml_2.13 de 2.3.0 à 2.4.0

Apache Spark

Databricks Runtime 18.0 (bêta) inclut Apache Spark 4.0.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans la version précédente, ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

• SPARK-54536 Coût du temps d'attente shuffle FetchWaitTime manquant pour collecter/créer un client/d'attente
• SPARK-54534 Migrer des codes d’erreur hérités liés à Hive vers des conditions d’erreur appropriées
• SPARK-54565 SparkBuildInfo doit être chargé à partir de son propre chargeur de classe
• SPARK-54533 Définir le paramètre de métrique "ExecutorSource.METRIC_RESULT_SIZE" avec la bonne valeur
• SPARK-54478 Réactiver les tests de diffusion en continu pour le test de compatibilité CI
• SPARK-54552 Correction SparkConnectResultSet.getString pour gérer le type de données BINARY avec UTF_8
• SPARK-54501 Améliorer la gestion des erreurs pour les échecs du filtre de partition dans le metastore Hive
• SPARK-54550 Gérer ConnectException correctement dans SparkConnectStatement.close()
• SPARK-54020 Prise en charge de l’API Python dans les fonctions de requête pour le pipeline déclaratif Spark
• SPARK-53127 Corriger LIMIT ALL pour la récursivité nonlimée avec la normalisation CTE
• SPARK-50072 Gérer l’ArithmeticException dans l’analyse d’intervalles avec des valeurs volumineuses
• SPARK-54299 Correction de l’exemple de requête incorrect dans WindowGroupLimit
• SPARK-54505 Corriger l’ordre des arguments de l’appel createMetrics dans makeNegative
• SPARK-54462 Ajouter un mixin SupportsV1OverwriteWithSaveAsTable pour TableProvider
• SPARK-54540 Couple de correctifs mineurs pour le pilote JDBC Connect
• SPARK-54508 Correction pour améliorer la robustesse de la résolution du chemin d’accès au fichier
• SPARK-54087 L'échec du lancement de la tâche de l'exécuteur Spark doit retourner le message indiquant que la tâche a été arrêtée
• SPARK-53797 Correction FileStreamSource.takeFilesUntilMax à utiliser zipWithIndex pour éviter l'indices utilisation
• SPARK-54418 Corriger les messages d’erreur et la mise en forme du code
• SPARK-54114 Support de getColumns pour SparkConnectDatabaseMetaData
• SPARK-54209 Prise en charge du type TIMESTAMP dans SparkConnectResultSet
• SPARK-54208 Prise en charge du type TIME dans SparkConnectResultSet
• SPARK-54528 Fermez URLClassLoader de manière proactive pour éviter une erreur de mémoire insuffisante (OOM)
• SPARK-54464 Supprimer les appels en double output.reserve dans assembleVariantBatch
• SPARK-53635 Prise en charge des fonctions définies par l'utilisateur Scala avec des arguments d'entrée de type Seq[Row]
• SPARK-54493 Corriger assertSchemaEqual pour MapType
• SPARK-52515 Tester approx_top_k avec indicateur activé et désactivé
• SPARK-54413 Mettre à niveau Bootstrap v4.4.1 vers v4.6.2
• SPARK-54497 Appliquer functools.lru_cache dans la mise en cache du convertisseur
• SPARK-54306 Annoter les colonnes Variant avec l’annotation de type logique Variant
• SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION doit être basé sur 1
• SPARK-54130 Ajout de messages d’erreur détaillés pour les échecs d’assertion de catalogue.
• SPARK-54220 Prise en charge des types NullType/VOID/UNKNOWN dans Parquet
• SPARK-54163 Analyse de la canonicalisation pour le partitionnement et l'ordre des données
• SPARK-54377 Correction COMMENT ONTABLE de la valeur IS NULL pour supprimer correctement le commentaire de table
• SPARK-52767 Optimiser maxRows et maxRowsPerPartition pour les opérations de jointure et d'union
• SPARK-54063 Déclencher un instantané pour le lot suivant en cas de retard de téléchargement
• SPARK-54384 Moderniser la méthode _batched pour BatchedSerializer
• SPARK-54378 Supprimer CreateXmlParser.scala du catalyst module
• SPARK-53103 Annuler « [SC-204946][ss] Lever une erreur si le répertoire d’état n’est pas vide au démarrage de la requête »
• SPARK-53103 Lève une erreur si le répertoire d’état n’est pas vide au démarrage de la requête
• SPARK-54397 Rendre UserDefinedType hachable
• SPARK-54440 Donnez au fichier de spécifications de pipeline par défaut un nom idiomatique, spark-pipeline.yml
• SPARK-54324 Ajouter un test pour les extensions client-user-context-extensions
• SPARK-54456 Importer le module Worker après la duplication pour éviter tout blocage
• SPARK-54427 Autoriser ColumnarRow à appeler copy avec des types de variantes
• SPARK-54136 Extraire la logique de fusion du plan de MergeScalarSubqueries vers PlanMerger
• SPARK-54389 Correction d'une erreur d'empreinte non valide du magasin d'état RocksDB lorsque la tâche est marquée comme échouée lors de l'initialisation.
• SPARK-54346 Introduire l’API de redistribution d'état et le gestionnaire de redistribution.
• SPARK-53809 Ajouter une canonicalisation pour DataSourceV2ScanRelation
• SPARK-54280 Exiger que le répertoire de stockage du point de contrôle du pipeline soit un chemin absolu
• SPARK-54206 Prise en charge des données de type BINARY dans SparkConnectResultSet
• SPARK-54319 Erreur de mise à jour de BHJ LeftAnti : numOutputRows lorsque codegen est désactivé
• SPARK-54355 Permettre spark.connect.session.planCompression.defaultAlgorithm de prendre en charge NONE
• SPARK-54341 Mémoriser TimeTravelSpec pour les tables chargées via TableProvider
• SPARK-54280 Rétablir « [SC-212148][sdp] Exiger que le répertoire de stockage du point de contrôle du pipeline soit un chemin absolu »
• SPARK-54354 Corriger le blocage de Spark lorsqu’il n’y a pas suffisamment de mémoire de tas JVM pour la relation de hachage diffusée
• SPARK-54439 Incompatibilité de taille de clé entre KeyGroupedPartitioning et la clé de jointure.
• SPARK-54280 Exiger que le répertoire de stockage du point de contrôle du pipeline soit un chemin absolu
• SPARK-54395 RemoteBlockPushResolver, classe initialise à plusieurs reprises ObjectMapper
• SPARK-54207 Prend en charge les données de type Date dans SparkConnectResultSet
• SPARK-54182 Optimiser la conversion sans flèche de df.toPandas
• SPARK-54312 Évitez de planifier des tâches répétées pour SendHeartbeat/WorkDirClean dans un worker autonome
• SPARK-54394 Déplacer isJavaVersionAtMost17 et isJavaVersionAtLeast21 passer core à common/utils
• SPARK-53927 Mettre à niveau le client Kinesis
• SPARK-54358 Les répertoires de point de contrôle entrent en collision lorsque les tables de streaming dans des schémas différents ont le même nom
• SPARK-54310 Annuler « [SC-212003][sql] Ajouter numSourceRows métrique pour MergeIntoExec »
• SPARK-54310 Ajouter une numSourceRows métrique pour MergeIntoExec
• SPARK-53322 Sélectionnez un KeyGroupedShuffleSpec uniquement lorsque les positions de clé de jointure peuvent être entièrement poussées vers le bas
• SPARK-54270 Les méthodes Get* SparkConnectResultSet doivent appeler checkOpen et vérifier la limite d’index
• SPARK-53849 Mettre à jour netty et netty tc native
• SPARK-54205 Prend en charge les données de type décimal dans SparkConnectResultSet
• SPARK-54417 Correction du message d’erreur pour la sous-requête scalaire dans la IDENTIFIER clause
• SPARK-54113 Prise en charge de la fonction getTables pour SparkConnectDatabaseMetaData
• SPARK-54303 Canonicaliser la condition d’erreur MISSING_CATALOG_ABILITY
• SPARK-54153 Prise en charge du profilage de l'itérateur basé sur des UDF Python
• SPARK-54349 Refactoriser le code un peu pour simplifier l’extension d’intégration du gestionnaire d’erreurs
• SPARK-54317 Unifier la logique de conversion Arrow pour Classic et Connect toPandas
• SPARK-54339 Corriger le non-déterminisme AttributeMap
• SPARK-54112 Support de getSchemas pour SparkConnectDatabaseMetaData
• SPARK-54180 Remplacer la toString de BinaryFileFormat
• SPARK-54213 Supprimer Python 3.9 de Spark Connect
• SPARK-54215 Ajouter la caractéristique SessionStateHelper à FilePartition
• SPARK-54115 Augmenter la priorité d’affichage des threads d’opération du serveur de connectivité dans la page de décharge de threads
• SPARK-54193 Déprécié spark.shuffle.server.finaliseShuffleMergeThreadsPercent
• SPARK-54149 Activer la récursion terminale autant que possible
• SPARK-54185 Obsolète spark.shuffle.server.chunkFetchHandlerThreadsPercent
• Spark-54056 résout la substitution pour les paramètres SQLConf dans les catalogues
• SPARK-54147 Définissez OMP_NUM_THREADS sur spark.task.cpus par défaut dans BaseScriptTransformationExec
• SPARK-54229 Faire que PySparkLogger dans les UDF stocke une entrée de log par appel à la fonction log
• SPARK-53337 XSS : Vérifiez que le nom de l’application dans la page d’historique est échappé
• SPARK-54229 Rétablir « [SC-211321][python] Rendre PySparkLogger dans les UDFs stocker une entrée de journal par appel de fonction de journal »
• SPARK-54373 Agrandir l’attribut SVG viewBox de l’initialisation du DAG de travail
• SPARK-54323 Modifier la façon d’accéder aux journaux d’activité à TVF au lieu de la vue système
• SPARK-54229 Faire que PySparkLogger dans les UDF stocke une entrée de log par appel à la fonction log
• SPARK-53978 Prise en charge de la journalisation dans les workers côté pilote
• SPARK-54146 Nettoyer l’utilisation de l’API Jackson déconseillée
• SPARK-54383 Ajouter une variante de schéma précomputée pour InternalRowComparableWrapper util
• SPARK-54030 Ajouter un message d’assertion convivial pour afficher l’altération des métadonnées
• SPARK-54144 Inférences de type d'évaluation en court-circuit
• SPARK-54030 Rétablir « [SC-210301][sql] Ajouter un message d’assertion convivial pour afficher l’altération des métadonnées »
• SPARK-54028 Utiliser un schéma vide lors de la modification d’une vue qui n’est pas compatible Hive
• SPARK-54030 Ajouter un message d’assertion convivial pour afficher l’altération des métadonnées
• SPARK-54085 Correction initialize pour ajouter en plus l’option CREATE dans DriverRunner
• SPARK-53482MERGE INTO prise en charge lorsque la source a moins de champs imbriqués que la cible
• SPARK-53905 Refactoriser RelationResolution pour activer la réutilisation du code
• SPARK-53732 Mémoriser TimeTravelSpec dans DataSourceV2Relation
• SPARK-54014 Prise en charge du nombre maximal de lignes pour SparkConnectStatement
• SPARK-50906 Correction de la vérification de la nullabilité Avro pour les champs de structure réorganisés
• SPARK-54396 Optimiser les appels Py4J dans Dataframe.toArrow
• SPARK-54344 Arrêter le processus de travail si le vidage échoue dans daemon.py
• SPARK-53977 Prise en charge du logging dans les UDTFs
• SPARK-52515 Réappliquer « [SC-199815][sql] Ajouter la fonction approx_top_k »
• SPARK-54340 Ajouter la fonctionnalité d’utilisation de viztracer sur les démons/travailleurs de pyspark
• SPARK-54379 Déplacer la liaison lambda vers un objet distinct LambdaBinder
• SPARK-54029 Ajouter un message d’erreur détaillé pour la corruption des métadonnées de table pour faciliter le débogage
• SPARK-54002 Prise en charge de l’intégration de BeeLine avec le pilote JDBC Connect
• SPARK-54336 Corriger BloomFilterMightContain la vérification du type d’entrée avec ScalarSubqueryReference
• SPARK-53406 Évitez les jointures aléatoires inutiles dans l’ID de shuffle direct passthrough
• SPARK-54347 Optimiser les appels Py4J dans un dataframe classique
• SPARK-54062 Nettoyage du code MergeScalarSubqueries
• SPARK-54054 Prise en charge de la position de ligne pour SparkConnectResultSet
• SPARK-54330 Optimiser les appels Py4J dans spark.createDataFrame
• SPARK-54332 Il n’est pas nécessaire d’attacher PlanId dans le regroupement des noms de colonnes dans rollup/cube/groupingSets
• SPARK-53976 Prise en charge de la journalisation dans Pandas/Arrow UDFs
• SPARK-54123 Ajouter un fuseau horaire pour que l’horodatage soit un temps absolu
• SPARK-54356 Corriger EndToEndAPISuite provoqué par un schéma racine de stockage manquant
• SPARK-54292 Prendre en charge les fonctions d’agrégation et les opérateurs de pipeGROUP BY> (#180106) (#180368)
• SPARK-54376 Marquer la plupart des options de configuration de pipeline comme internes
• SPARK-53975 Ajoute la prise en charge de base de la journalisation des processus Python
• SPARK-54361 Révision de la version Spark pour la fixer à la valeur prévue de 4.2.0 pour spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 Prise en charge | comme alternative à |> pour le jeton d’opérateur de tube SQL
• SPARK-53535 Correction des structs manquants toujours supposés comme null
• SPARK-54294 Normaliser l’adresse IP imprimée du serveur Connect
• SPARK-52439 Prise en charge de la contrainte de vérification avec la valeur Null
• SPARK-54352 Introduire SQLConf.canonicalize pour centraliser la normalisation des chaînes
• SPARK-54183 Rétablir « [SC-211824][python][CONNECT] Éviter une trame de données temporaire intermédiaire pendant spark connect toPandas() »
• SPARK-53573IDENTIFIER partout
• SPARK-53573 Permettre la combinaison des littéraux de chaîne partout
• SPARK-54240 Traduire l’expression de catalyseur d’élément de tableau en expression de connecteur
• SPARK-54334 Déplacer la validation des expressions de sous-requête sous les fonctions lambda et d’ordre supérieur vers SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 Rétablir « [SC-211824][python][CONNECT] Éviter une trame de données temporaire intermédiaire pendant Spark Connect toPandas() »
• SPARK-54183 Évitez une trame de données temporaire intermédiaire pendant la connexion Spark àPandas()
• SPARK-54264 L’opérateur DeDup peut utiliser la cléExists() de RocksDB
• SPARK-54269 Mise à niveau cloudpickle vers la version 3.1.2 pour Python 3.14
• SPARK-54300 Optimiser les appels Py4J dans df.toPandas
• SPARK-54307 Provoque une erreur si la requête de diffusion en continu est redémarrée avec une opération d'état, mais qu'il n’y ait pas de répertoire d’état.
• SPARK-54117 Lancer une erreur plus claire pour indiquer que TWS est uniquement pris en charge avec le fournisseur de stockage d'état RocksDB.
• SPARK-53917 Prendre en charge de grandes relations locales - suivis
• SPARK-54275 Nettoyer le code inutilisé à partir du pipeline module
• SPARK-54287 Ajouter la prise en charge de Python 3.14 dans pyspark-client et pyspark-connect
• SPARK-53614 Ajouter la prise en charge de Iterator[pandas.DataFrame] à applyInPandas
• SPARK-54191 Ajouter une fois pour Defineflow Proto
• SPARK-54234 Il n’est pas nécessaire d’attacher PlanId dans le regroupement de noms de colonnes dans df.groupBy
• SPARK-54231 Combler les lacunes dans les documents SDP
• SPARK-54199 Ajouter la prise en charge de l'API DataFrame pour les nouvelles fonctions d'esquisse de quantiles KLL (#178526)
• SPARK-52463 Réappliquez « [SC-211221][sdp] Ajouter la prise en charge des cluster_by dans les API Python Pipelines »
• SPARK-52463 Annuler « [SC-211221][sdp] Ajouter la prise en charge du cluster_by dans les API Pipelines Python »
• SPARK-53786 La valeur par défaut avec un nom de colonne spécial ne doit pas entrer en conflit avec une colonne réelle
• SPARK-54200 Mettre à jour KafkaConsumerPoolRealTimeModeSuite pour utiliser groupIdPrefix pour la sécurité des exécutions simultanées
• SPARK-52463 Ajouter la prise en charge de cluster_by dans les API Python Pipelines
• SPARK-52509 Purger les shuffles individuels du stockage de secours lors de l’événement RemoveShuffle
• SPARK-54187 Réappliquer « [SC-211150][python][CONNECT] Obtenir tous les paramètres par lot dans toPandas »
• SPARK-53942 Prise en charge de la modification des partitions shuffle sans état lors du redémarrage d'une requête de streaming
• SPARK-52515 Retourner « [SC-199815][sql] Ajouter la fonction approx_top_k »
• SPARK-52515 Ajouter approx_top_k fonction
• SPARK-54078 Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression d’infra de l’ancien test
• SPARK-54178 Améliorer l’erreur pour ResolveSQLOnFile
• SPARK-53455 Ajouter CloneSession RPC
• SPARK-54178 Annuler « [SC-211111][sql] Améliorer le message d'erreur pour ResolveSQLOnFile »
• SPARK-53489 Supprimer l’utilisation v2ColumnsToStructType dans ApplyDefaultCollationToStringType
• SPARK-54178 Améliorer l’erreur pour ResolveSQLOnFile
• SPARK-54187 Annuler « [SC-211150][python][CONNECT] Extraire toutes les configurations par lots vers toPandas »
• SPARK-53942 Rétablir « [SC-209873][ss] Prise en charge de la modification des partitions de shuffle sans état au redémarrage de la requête de streaming »
• SPARK-54187 Obtenir toutes les configurations par lot via toPandas
• SPARK-54145 Correction de la vérification de colonne du type imbriqué dans l’agrégation numérique
• SPARK-53942 Prise en charge de la modification des partitions shuffle sans état lors du redémarrage d'une requête de streaming
• SPARK-53991 Ajouter la prise en charge de SQL pour les fonctions quantiles KLL basées sur DataSketches (#178089) (#178234)
• SPARK-53128 Inclure des octets de mémoire non managés dans le journal d’utilisation avant l’exécution de la mémoire OOM
• SPARK-53731 Mettre à jour les indicateurs de type des API d’itérateur
• SPARK-53967 Éviter la création de DataFrames pandas intermédiaires dans df.toPandas
• SPARK-53455 Annuler « [SC-208758][connect] Ajouter CloneSession RPC »
• SPARK-54108 Réviser les méthodes execute* de SparkConnectStatement
• SPARK-54052 Ajouter un objet pont pour contourner la limitation Py4J
• SPARK-54128 Convertir IllegalArgumentException en SparkException avec des classes d’erreur appropriées dans le serveur Spark Connect
• SPARK-53880 Corriger DSv2 dans PushVariantIntoScan en ajoutant SupportsPushDownVariants
• SPARK-54111 Prise en charge de getCatalogs pour SparkConnectDatabaseMetaData
• SPARK-53455 Ajouter CloneSession RPC
• SPARK-54118 Améliorer l’opération put/merge dans ListState lorsqu’il existe plusieurs valeurs
• SPARK-54038 Assistance pour getSQLKeywords pour SparkConnectDatabaseMetaData
• SPARK-54013 Implémenter des méthodes simples SparkConnectDatabaseMetaData
• SPARK-53934 Implémentation initiale du pilote JDBC Connect
• SPARK-53959 Lever une erreur côté client lors de la création d’une trame de données à partir d’un dataframe pandas avec un index, mais aucune donnée
• SPARK-53573 Rétablir « [SC-210255][sql] Autoriser les littéraux de chaîne de coalescence partout »
• SPARK-54094 Extraire les méthodes courantes dans KafkaOffsetReaderBase
• SPARK-53573 Permettre la combinaison des littéraux de chaîne partout
• SPARK-54039 Ajouter des informations TaskContext aux logs de release KafkaDataConsumer pour améliorer le débogage
• SPARK-54031 Ajouter de nouveaux tests de fichiers dorés pour l’analyse des cas de périphérie
• SPARK-54067 Améliorer SparkSubmit pour invoquer exitFn avec la cause première au lieu de SparkUserAppException
• SPARK-54047 Utiliser une erreur de différence lorsque kill-on-idle-timeout
• SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 Wrap IllegalArgumentException avec le code d’erreur approprié pour les modèles de date et d'heure non valides
• SPARK-54031 Rétablir « [SC-210084][sql] Ajouter de nouveaux tests de fichier doré pour l’analyse des cas de périphérie »
• SPARK-54075 Rendre ResolvedCollation évaluable
• SPARK-54001 Optimiser l’utilisation de la mémoire dans le clonage de session avec des relations locales mises en cache recomptées
• SPARK-54031 Ajouter de nouveaux tests de fichiers dorés pour l’analyse des cas de périphérie
• SPARK-53923 Renommer spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Utiliser Java Set.of au lieu de Collections.emptySet
• SPARK-53755 Ajouter le support de la journalisation dans BlockManager
• SPARK-54041 Refactorisation et validation des arguments ParameterizedQuery
• SPARK-53696 Valeur par défaut pour BinaryType dans PySpark
• SPARK-53921 Présenter GeometryType et GeographyType à l’API PySpark
• SPARK-53788 Déplacer VersionUtils vers le common module
• SPARK-53999 Prise en charge du transport KQueue natif sur BSD/MacOS
• SPARK-54021 Implémenter des accesseurs Geography et Geometry sur Catalyst
• SPARK-53921 Rétablir « [SC-209482][geo][PYTHON] Introduire GeometryType et GeographyType à l’API PySpark »
• SPARK-53920 Présenter GeometryType et GeographyType à l’API Java
• SPARK-53610 Limiter les tailles de lots pour Arrow dans CoGrouped applyInPandas et applyInArrow
• SPARK-53659 Inférer le schéma de décomposition des variantes lors de l’écriture dans Parquet
• SPARK-53922 Introduire des types géométrie et géographie physiques
• SPARK-54059 Réduire la taille de page par défaut par LONG_ARRAY_OFFSET si ZGC ou ShenandoahGC et ON_HEAP sont utilisés
• SPARK-53921 Présenter GeometryType et GeographyType à l’API PySpark
• SPARK-54048 Mise à jour dev/requirements.txt pour l’installation torch(vision) dans Python 3.14
• SPARK-53917 Prendre en charge les relations locales importantes
• SPARK-53760 Introduire GeometryType et GeographyType
• SPARK-53530 Nettoyer le code inutile lié à TransformWithStateInPySparkStateServer
• SPARK-53636 Résoudre le problème de sécurité des threads dans SortShuffleManager.unregisterShuffle
• SPARK-52762 Ajouter un message PipelineAnalysisContext pour prendre en charge l’analyse de pipeline pendant l’exécution de la requête Spark Connect
• SPARK-53631 Optimiser la mémoire et la performance sur SHS bootstrap
• SPARK-53857 Activer la propagation de messageTemplate vers SparkThrowable
• SPARK-53891 API de récapitulatif d'engagement d'écriture pour le modèle DSV2
• SPARK-53966 Ajouter des fonctions utilitaires pour détecter les GC de la JVM
• SPARK-53149 Correction du test de l’exécution du processus BeeLine en arrière-plan
• SPARK-53738 Correction de l'écriture planifiée lorsque la sortie de la requête contient un ordre pouvant être replié
• SPARK-53949 Utiliser Utils.getRootCause au lieu de Throwables.getRootCause
• SPARK-53696 Rétablir « [SC-209330][python][CONNECT][sql] Valeur par défaut à octets pour BinaryType dans PySpark »
• SPARK-53804 Prise en charge du tri radix TIME
• SPARK-54004 Correction de la suppression du cache d'une table par son nom sans propagation
• SPARK-53261 Utiliser Java String.join|StringJoiner au lieu de Guava Joiner
• SPARK-53319 Prendre en charge le type 'timestamp' avec try_make_timestamp_ltz()
• SPARK-53280 Utiliser Java instanceof au lieu de Throwables.throwIf* méthodes
• SPARK-53696 Valeur par défaut pour BinaryType dans PySpark
• SPARK-53258 Utiliser JavaUtils de check(Argument|State)
• SPARK-53773 Récupérer l’ordre alphabétique des règles dans RuleIdCollection
• SPARK-53256 Promouvoir check(Argument|State) vers JavaUtils
• SPARK-54008 Passer QO pour DESCRIBE QUERY
• SPARK-53573 Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres
• SPARK-53980 Ajouter une SparkConf.getAllWithPrefix(String, String => K) API
• SPARK-54009 Soutien spark.io.mode.default
• SPARK-51903 Valider les données sur l’ajout d’une contrainte CHECK
• SPARK-53573 Rétablir « [SC-209126][sql] Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres »
• SPARK-53573 Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres
• SPARK-53573 Rétablir « [SC-209126][sql] Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres »
• SPARK-53956 Supporter TIME dans la fonction try_make_timestamp de PySpark
• SPARK-53930 Prendre en charge TIME dans la fonction make_timestamp de PySpark
• SPARK-53573 Utiliser le préprocesseur pour la gestion généralisée des marqueurs de paramètres
• SPARK-53564 Éviter les arrêts de DAGScheduler en raison du délai d'expiration de blockManager RPC dans DAGSchedulerEventProcessLoop
• SPARK-53879 Mise à niveau Ammonite vers la version 3.0.3
• SPARK-53938 Correction de la mise à l’échelle décimale dans LocalDataToArrowConversion
• SPARK-53845 Récepteurs SDP
• SPARK-53908 Corriger les observations sur Spark Connect avec le cache de plan
• SPARK-53841 Implémenter transform() dans l’API column
• SPARK-53929 Ajouter la prise en charge de TIME dans les fonctions make_timestamp et try_make_timestamp en Scala
• SPARK-53902 Ajouter des bits de modèle de nœud d’arborescence pour les expressions prises en charge dans la ParameterizedQuery liste d’arguments
• SPARK-53064 Réécrire MDC LogKey en Java
• SPARK-53762 Ajouter une règle de simplification des conversions de date et d’heure à l’optimiseur
• SPARK-53916 Dédupliquer les variables dans PythonArrowInput
• SPARK-53690 Correction de la mise en forme exponentielle de avgOffsetsBehindLatest et estimatedTotalBytesBehindLatest dans l'objet json des sources Kafka en cours
• SPARK-53789 Canonicaliser la condition d’erreur CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Simplifier l’extraction de table à partir de DataSourceV2Relation (#52460)
• SPARK-45530 Utiliser java.lang.ref.Cleaner au lieu de finalizeNioBufferedFileInputStream
• SPARK-53789 Rétablir « [SC-208902][sql][CONNECT] Canonicalize error condition CANNOT_MODIFY_STATIC_CONFIG »
• SPARK-53789 Canonicaliser la condition d’erreur CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53111 Implémenter la fonction time_diff dans PySpark
• SPARK-53896 Activer spark.io.compression.lzf.parallel.enabled par défaut
• SPARK-53856 Supprimer d’autres denylist noms de configuration
• SPARK-53611 Limiter les tailles des lots Arrow dans les fonctions d'agrégation de fenêtre définies par l'utilisateur
• SPARK-53575 Réessayez les phases complètes de consommation lors de la détection d’une incompatibilité de somme de contrôle pour une tâche de mappage shuffle réessayée
• SPARK-53867 Limiter la taille des lots Arrow dans SQL_GROUPED_AGG_ARROW_UDF
• SPARK-538777 Introduire BITMAP_AND_AGG fonction
• SPARK-51426 Correction du problème « Définir les métadonnées sur un dictionnaire vide ne fonctionne pas »
• SPARK-53868 Utiliser la vérification de longueur du tableau au lieu d’une vérification de référence directe dans V2ExpressionBuilder
• SPARK-53609 Limiter les tailles de lot Arrow dans SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Utiliser DescribeTopicsResult.allTopicNames au lieu de l’API déconseillée all
• SPARK-53878 Résoudre le problème de condition de concurrence lié à ObservedMetrics
• SPARK-53796 Ajouter extension un champ à quelques protos de pipeline pour prendre en charge la compatibilité avancée
• SPARK-53850 Définir le proto pour les éviers et renommer DefineDataset en DefineOutput
• SPARK-53812 Refactoriser DefineDataset et DefineFlow protos pour regrouper les propriétés associées et la preuve future
• SPARK-53870 Correction d’un bogue de lecture partiel pour les messages proto volumineux dans TransformWithStateInPySparkStateServer
• SPARK-53751 Emplacement de point de contrôle versionné explicite
• SPARK-52407 Ajouter la prise en charge de Theta Sketch (#171135)
• SPARK-53779 Implémenter transform() dans l’API column
• SPARK-49547 Ajouter un itérateur d’API RecordBatch à applyInArrow
• SPARK-53802 Prendre en charge les valeurs de type chaîne pour le schéma spécifié par l’utilisateur au sein des tables SDP
• SPARK-53865 Extraire la logique courante de la règle ResolveGenerate
• SPARK-53113 Prendre en charge le type temporel par try_make_timestamp()
• SPARK-53868 Utiliser uniquement la signature avec Expression[] dans visitAggregateFunction V2ExpressionSQBuilder
• SPARK-53792 Correction de rocksdbPinnedBlocksMemoryUsage dans le contexte de la mémoire limitée ...
• SPARK-53248 Prise en charge checkedCast dans JavaUtils
• SPARK-52640 Propager l'emplacement du code source en Python
• SPARK-52924 La prise en charge de ZSTD_strategy pour la compression
• SPARK-53562 Réappliquer « [SC-207233][python] Limiter les tailles de lot dans Arrow dans applyInArrow et applyInPandas »
• SPARK-51272 Abandonner au lieu de poursuivre l’étape de résultat indéterminée partiellement terminée au niveau de ResubmitFailedStages
• SPARK-53795 Supprimer les paramètres inutilisés dans LiteralValueProtoConverter
• SPARK-53808 Autoriser à passer des arguments JVM facultatifs à spark-connect-scala-client
• SPARK-52614 Prise en charge de RowEncoder dans Product Encoder
• SPARK-53833 Mise à jour dev/requirements.txt pour ignorer torch/torchvision python 3.14
• SPARK-53715 Refactoriser getWritePrivileges pour MergeIntoTable
• SPARK-53516 Corriger le processus des arguments dans SparkPipelines
• SPARK-53507 Ne pas utiliser la classe de cas pour BreakingChangeInfo
• SPARK-53645 Implémenter le skipna paramètre pour ps. DataFrame any()
• SPARK-53717 Réviser MapType.valueContainsNull le commentaire des paramètres plus correctement
• SPARK-53700 Supprimer la redondance dans DataSourceV2RelationBase.simpleString
• SPARK-53667 Correctif EXPLAIN pour CALL avec IDENTIFIER
• SPARK-53562 Annuler « [SC-207233][python] Limiter les tailles de batch d'Arrow dans applyInArrow et applyInPandas »
• SPARK-51169 Ajouter la prise en charge de Python 3.14 dans Spark Classic
• SPARK-53562 Limiter la taille des lots Arrow dans applyInArrow et applyInPandas
• SPARK-53806 Permettre qu’une entrée vide dans le déchiffrement AES génère une classe d’erreur
• SPARK-51756 Calcule RowBasedChecksum dans ShuffleWriters
• SPARK-52807 Modifications du protocole pour supporter l'analyse dans les fonctions de requête des pipelines déclaratifs
• SPARK-53728 Imprimer le message de PipelineEvent avec une erreur dans le test
• SPARK-53207 Envoyer un événement de pipeline au client de manière asynchrone
• SPARK-53829 Prise en charge par les opérateurs de colonnedatetime.time
• SPARK-53638 Limiter la taille en octets du lot Arrow pour TWS afin d’éviter OOM
• SPARK-53593 Correctif : Utiliser unquoted pour les champs de réponse
• SPARK-53734 Préférer la colonne de table à LCA lors de la résolution de l’index de tableau
• SPARK-53593 Ajouter un champ de réponse pour DefineDataset et DefineFlow RPC
• SPARK-53734 Rétablir « [SC-207697][sql] Préférer la colonne de table à LCA lors de la résolution de l’index de tableau »
• SPARK-53621 Ajout de la prise en charge de l’exécution de CONTINUE HANDLER
• SPARK-53734 Préférer la colonne de table à LCA lors de la résolution de l’index de tableau
• SPARK-53507 Ajouter des informations sur les changements majeurs aux erreurs
• SPARK-53707 Améliorez la gestion des métadonnées d’attribut.
• SPARK-53629 Implémenter l’élargissement du type pour MERGE INTO WITH SCHEMA EVOLUTION
• SPARK-53719 Améliorer la vérification de type dans la _to_col fonction
• SPARK-53735 Masquer les traces de pile JVM côté serveur par défaut dans la sortie spark-pipelines
• SPARK-53651 Ajouter la prise en charge des vues persistantes dans les pipelines
• SPARK-53678 Correction de NPE lorsque la sous-classe columnVector est créée avec Null DataType
• SPARK-46679 Correctif pour SparkUnsupportedOperationException Non trouvé un encodeur du type T, dans une classe paramétrée.
• SPARK-53444 Réexécutez l’exécution immédiate d’un travail de remaniement immédiat
• SPARK-53578 Simplifier la gestion des types de données dans LiteralValueProtoConverter
• SPARK-53438 Utiliser CatalystConverter dans LiteralExpressionProtoConverter
• SPARK-53444 Rétablir « [SC-206535][sql][CORE] Rework execute immediate rework execute immediate execute immediate »
• SPARK-53444 Réexécutez l’exécution immédiate d’un travail de remaniement immédiat
• SPARK-53112 Supporter TIME dans les fonctions make_timestamp_ntz et try_make_timestamp_ntz de PySpark
• SPARK-53492 Rejeter le second ExecutePlan avec un ID d’opération déjà terminé
• SPARK-52772 Correction anticipée des fichiers de référence
• SPARK-53591 Simplifier la correspondance glob du modèle de spécification de pipeline
• SPARK-53553 Correction de la gestion des valeurs Null dans LiteralValueProtoConverter
• SPARK-52772 Gestion incohérente des attributs de table pendant les mises à jour
• SPARK-53544 Prise en charge des types complexes pour les observations
• SPARK-53357 Mise à jour vers pandas la version 2.3.2
• SPARK-53402 Prise en charge de l'API de partitionnement avec passage direct des jeux de données dans Spark Connect en Scala
• SPARK-53372 SDP End to End Testing Suite
• SPARK-53402 Rétablir « [SC-206163][connect] Prise en charge de l'API de jeu de données de partitionnement direct par passage direct dans Spark Connect en Scala »
• SPARK-53402 Prise en charge de l'API de partitionnement avec passage direct des jeux de données dans Spark Connect en Scala
• SPARK-53233 Faire en sorte que le code concernant streaming utilise le nom de package correct
• SPARK-53233 Rétablir « [SC-203716][sql][SS][mllib][CONNECT] Assurer que le code lié à streaming utilise le nom de package correct »
• SPARK-53233 Faire en sorte que le code concernant streaming utilise le nom de package correct
• SPARK-53561 Intercepter l’exception d’interruption dans TransformWithStateInPySparkStateServer pendant outputStream.flush pour éviter le blocage du worker
• SPARK-53486 Éviter de définir weights_only=False lors du chargement du modèle Torch
• SPARK-53391 Supprimer PrimitiveKeyOpenHashMap inutilisée
• SPARK-52431 Touches finales sur l’exécuteur de pipelines déclaratifs
• SPARK-52980 Prise en charge des fonctions de table définies par l’utilisateur Arrow Python
• SPARK-53453 Débloquer 'torch<2.6.0'
• SPARK-52582 Remerge « [SC-199314][sc-204581][SQL] Améliorer l’utilisation de la mémoire de l’analyseur XML »
• SPARK-52582 Rétablir « [SC-199314][sc-204581][SQL] Améliorer l’utilisation de la mémoire de l’analyseur XML »
• SPARK-52582 Améliorer l’utilisation de la mémoire de l’analyseur XML
• SPARK-51906 Expressions Dsv2 dans alter table ajouter des colonnes
• SPARK-53150 Améliorer list(File|Path)s pour gérer les entrées symboliques, inexistantes ou non-répertoires
• SPARK-53091 Interdiction org.apache.commons.lang3.Strings
• SPARK-52844 Mettre à jour numpy vers la version 1.22
• SPARK-52912 Améliorer SparkStringUtils pour la prise en charge de is(Not)?(Blank|Empty)
• SPARK-52877 Améliorer les performances du sérialiseur de flèche UDF Python
• SPARK-52877 Rétablir « [SC-201914][python] Améliorer les performances du sérialiseur de flèche UDF Python »
• SPARK-52238 Client Python pour les pipelines déclaratifs
• SPARK-52877 Améliorer les performances du sérialiseur de flèche UDF Python
• SPARK-53287 Ajouter un guide de migration ANSI
• SPARK-52110 Implémenter la prise en charge de la syntaxe SQL pour les pipelines
• SPARK-52897 Mise à jour vers pandas la version 2.3.1
• SPARK-52451 Rétablir « [SC-202894][connect][SQL] Rendre WriteOperation dans SparkConnectPlanner sans effet secondaire »
• SPARK-52976 Correction de l’UDF Python qui n’accepte pas la chaîne triée en tant que type de paramètre d'entrée/de retour
• SPARK-52904 Activer convertToArrowArraySafely par défaut
• Spark-52821 ajouter int-DecimalType> pyspark udf type de contrainte de type de retour
• SPARK-52971 Limiter la taille de file d’attente de travail Python inactive
• SPARK-53013 Correction de l’UDTF Python optimisé pour les flèches retournant aucune ligne sur la jointure latérale
• SPARK-51834 Synchroniser OSS : prise en charge de la contrainte de table de bout en bout alter add/drop
• SPARK-52675 Interrompre les gestionnaires ML suspendus dans les tests
• SPARK-52959 Prise en charge de l’UDT dans Python UDTF optimisé par flèche
• SPARK-52961 Correction de l'UDTF Python optimisé par Apache Arrow avec évaluation 0-arg sur la jointure latérale
• SPARK-52949 Évitez un aller-retour entre RecordBatch et Table dans un UDTF Python optimisé par Arrow
• SPARK-52946 Correction de l’UDTF Python optimisée par Arrow pour prendre en charge les types de variables volumineux
• SPARK-52934 Autoriser la production de valeurs scalaires avec UDTF Python optimisé par Arrow
• SPARK-52861 Ignorer la création d’objets Row dans l’exécution UDTF optimisée par Arrow
• SPARK-51834 Synchroniser la table de création/remplacement de bout en bout du support OSS par contrainte
• SPARK-44856 Améliorer les performances du sérialiseur de flèche UDTF Python
• SPARK-51834 Rétablir « [SQL] Corriger TableSpec en ajoutant un constructeur »
• SPARK-51834 Corriger TableSpec en ajoutant un constructeur
• SPARK-51834 Rétablir « [SQL] Synchroniser OSS (partiel) : Prise en charge de la contrainte de table de bout en bout dans la table create/replace »
• SPARK-51834 Synchronisation OSS (partielle) : support de la contrainte de table de bout en bout pour la création/remplacement de tables
• SPARK-52885 Implémenter les fonctions d’heure, de minute et de seconde dans Scala pour le type TIME
• SPARK-51834 Synchroniser les appels nonapply de la mise à jour d’OSS ResolvedIdentifier
• SPARK-44856 Annuler « [SC-195808][python] Améliorer les performances du sérialiseur Python UDTF Arrow »
• SPARK-51834 Rétablir les appels nonapply « [SQL] Synchroniser la mise à jour OSS ResolvedIdentifier »
• SPARK-44856 Améliorer les performances du sérialiseur de flèche UDTF Python
• SPARK-51834 Synchroniser les appels nonapply de la mise à jour d’OSS ResolvedIdentifier
• SPARK-52787 Réorganiser l’exécution de streaming dir autour des zones d’exécution et de point de contrôle
• SPARK-51695 Synchroniser la table de création/remplacement/modification du système d’exploitation pour une contrainte unique via DSv2
• SPARK-51695 Synchroniser la contrainte de suppression OSS via DSv2
• SPARK-51695 Introduire les modifications de l’analyseur pour les contraintes de table (CHECK, PK, FK)
• SPARK-51695 Revenir à « [SQL] Introduire des changements de l'analyseur pour contraintes de table (CHECK, PK, FK) »
• SPARK-51695 Introduire les modifications de l’analyseur pour les contraintes de table (CHECK, PK, FK)
• SPARK-49428 Déplacer le client Scala de Connect vers SQL
• SPARK-52422 Mise à jour vers pandas la version 2.3.0
• SPARK-52228 Intégrer le microbenchmark d’interaction d’état dans Quicksilver (TCP)
• SPARK-52300 S'assurer que la résolution SQL UDTVF utilise des configurations cohérentes par rapport à la résolution des vues
• SPARK-52228 Construire le serveur d’état TWS à usage benchmark avec des imples d’état en mémoire et le code de benchmark en python
• SPARK-52174 Activer spark.checkpoint.compress par défaut
• SPARK-52224 Introduire pyyaml en tant que dépendance pour le client Python
• SPARK-52122 Correction de la vulnérabilité RCE DefaultParamsReader
• SPARK-51147 Réorganiser les classes liées au streaming dans un répertoire dédié au streaming
• SPARK-51789 Respectez spark.api.mode et spark.remote correctement lors de l’analyse des arguments dans l’envoi Spark
• SPARK-51212 Ajouter un package PySpark séparé pour Spark Connect par défaut
• SPARK-50762 Ajouter une règle d’Analyseur pour la résolution des fonctions scalaires SQL définies par l’utilisateur
• SPARK-49748 Ajouter getCondition et déprécier getErrorClass dans SparkThrowable
• SPARK-50605 Prise en charge du mode API SQL pour faciliter la migration vers Spark Connect
• SPARK-50458 Gestion des erreurs appropriée pour le système de fichiers non pris en charge lors de la lecture des fichiers
• SPARK-49700 Interface Scala unifiée pour Connect et Classic
• SPARK-51779 Utiliser des familles de colonnes virtuelles pour les jointures entre flux
• SPARK-51820 Déplacement de la construction UnresolvedOrdinal avant l’analyse pour éviter le problème lié au groupement ordinal
• SPARK-51814 Présentation d’une nouvelle API transformWithState dans PySpark
• SPARK-51635 Fusionner PushProjectionThroughLimit et PushProjectionThroughOffset
• SPARK-51165 Activer spark.master.rest.enabled par défaut
• SPARK-51688 Utiliser le socket de domaine Unix entre la communication Python et JVM
• SPARK-51503 Prise en charge du type variant dans l’analyse XML
• SPARK-50564 Mettre à niveau protobuf le package Python vers la version 5.29.1
• SPARK-50359 Mettre à niveau PyArrow vers la version 18.0
• SPARK-51340 Estimation de la taille du modèle
• SPARK-50657 Mettre à niveau la version minimale de pyarrow 11.0.0
• SPARK-49282 Créez une interface SparkSessionBuilder partagée.
• SPARK-51371 Changer toString en toPrettySQL lors de la création des alias dans ResolveAggregateFunctions
• SPARK-50694 Prise en charge des renommages dans les sous-requêtes
• SPARK-50601 Rétablir la prise en charge de « [SC-186342][sql] avecColumns / withColumnsRenamed in subqueries »
• SPARK-50601 Prise en charge de withColumns / withColumnsRenamed dans les sous-requêtes

Prise en charge du pilote ODBC/JDBC d'Azure Databricks

Azure Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez les mises à jour de maintenance de Databricks Runtime.

Environnement du système

• Système d’exploitation : Ubuntu 24.04.3 LTS
• Java : Zulu21.42+19-CA
• Scala : 2.13.16
• Python : 3.12.3
• R : 4.5.1
• Delta Lake : 4.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l'instantané CRAN du gestionnaire de packages en date du 20-03-2025.

Bibliothèques Java et Scala installées (version du cluster Scala 2.13)