Databricks Runtime 16.0 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.0, propulsé par Apache Spark 3.5.0.

Databricks a publié cette version en novembre 2024.

Changements comportementaux

• Changement cassant : JDK 17 est désormais la valeur par défaut
• Changement cassant : Hosted RStudio est en fin de vie
• Changement cassant : suppression de la prise en charge de la modification des types byte, short, int et long vers des types plus larges
• Analyse correcte des modèles regex avec négation dans le regroupement de caractères imbriqués
• Améliorer la détection des correspondances en double dans Delta Lake MERGE
• La méthode d’installation de la bibliothèque de cluster ne peut plus être remplacée
• Délai d’expiration par défaut de deux heures pour les installations de bibliothèques à l'échelle du cluster
• L’installation des bibliothèques à partir de DBFS et la définition de spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sont désactivées
• La addArtifact() fonctionnalité est désormais cohérente entre les types de calcul
• Règle backticks correctement appliquée pour les identificateurs principaux avec des caractères spéciaux

Changement cassant : JDK 17 est désormais la valeur par défaut

Dans Databricks Runtime 16.0 et versions ultérieures, la version JDK par défaut est passée de JDK 8 à JDK 17. Cette modification est apportée en raison de la dépréciation planifiée et de la fin de la prise en charge pour JDK 8. Cela affecte les éléments suivants :

• Le code Java s’exécutant sur le calcul Azure Databricks doit être compatible avec Java 17.
• Le code Scala s’exécutant dans les notebooks ou le calcul Azure Databricks doit être compatible avec Java 17.
• Les bibliothèques Java et Scala installées sur le calcul doivent être compatibles avec Java 17.
• Versions du client de metastore Apache Hive inférieures à 2.x. La définition de la configuration spark.sql.hive.metastore.version Spark sur une version inférieure à 2.x entraîne des problèmes de compatibilité avec java 17 et des échecs de connexion au metastore Hive. Databricks recommande de mettre à niveau Hive vers une version supérieure à la version 2.0.0.

Si vous devez revenir à Java 8, ajoutez les éléments suivants aux variables d’environnement Spark lorsque vous configurez votre calcul Azure Databricks :

JNAME=zulu8-ca-amd64

Si vous utilisez des instances ARM, utilisez les éléments suivants :

JNAME=zulu8-ca-arm64

Pour en savoir plus sur la spécification des versions JDK avec le calcul Azure Databricks, consultez Créer un cluster avec une version JDK spécifique.

Pour obtenir de l’aide sur la migration de votre code à partir de Java 8, consultez les guides suivants :

• Passer de Java 8 à Java 11
• Migration de JDK 8 vers des versions ultérieures de JDK

Changement cassant : Hosted RStudio est en fin de vie

Avec cette version, RStudio Server hébergé par Databricks est en fin de vie et indisponible sur n’importe quel espace de travail Azure Databricks exécutant Databricks Runtime 16.0 et versions ultérieures. Pour en savoir plus et voir la liste des alternatives à RStudio, consultez Se connecter à un serveur RStudio hébergé par Databricks.

Changement cassant : suppression de la prise en charge de la modification des types byte, short, int et long vers des types plus larges

Dans Databricks Runtime 15.4.3 et versions ultérieures, les modifications de type de données suivantes ne peuvent plus être appliquées aux tables avec la fonctionnalité d’élargissement du type activée :

• byte, short, int et long à decimal.
• byte, short et int à double.

Cette modification est apportée pour garantir un comportement cohérent entre les tables Delta et Apache Iceberg. Pour en savoir plus sur l’élargissement de type, consultez Type widening.

Analyse correcte des modèles regex avec négation dans le regroupement de caractères imbriqués

Cette publication inclut une modification pour prendre en charge l’analyse correcte des modèles regex avec négation dans le regroupement de caractères imbriqués. Par exemple, [^[abc]] sera analysé en tant que « tout caractère qui n’est PAS l’un des « abc ».

En outre, le comportement Photon était incohérent avec Spark pour les classes de caractères imbriquées. Les modèles regex contenant des classes de caractères imbriquées n’utilisent plus Photon et utilisent à la place Spark. Une classe de caractères imbriquée est n’importe quel modèle contenant des crochets entre crochets, tels que [[a-c][1-3]].

Améliorer la détection des doublons dans Delta Lake MERGE

Dans Databricks Runtime 15.4 LTS et ci-dessous, MERGE les opérations échouent si plusieurs lignes de la table source correspondent à la même ligne dans la table cible en fonction de la MERGE condition spécifiée dans la ON clause. Dans Databricks Runtime 16.0 et versions ultérieures, MERGE considère également les conditions spécifiées dans la WHEN MATCHED clause. Consultez Faire un upsert dans une table Delta Lake en utilisant la fusion.

La méthode d’installation de la bibliothèque de cluster ne peut plus être remplacée

Les configurations Spark spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution et spark.databricks.libraries.enableCRANResolutionnow sont désormais par défaut true et ne peuvent pas être remplacées.

Délai d’expiration par défaut de deux heures pour les installations de bibliothèques au niveau du cluster

Dans Databricks Runtime 16.0 et versions ultérieures, l’installation de la bibliothèque au niveau du cluster a un délai d’expiration par défaut de deux heures. Les installations de bibliothèque qui prennent plus de temps que ce délai d’attente échouent et l’installation est terminée. Lors de la configuration d’un cluster, vous pouvez modifier la période d’expiration à l’aide de la configuration spark.databricks.driver.clusterLibraryInstallationTimeoutSecSpark.

L’installation des bibliothèques à partir de DBFS et la définition de spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sont désactivées

Dans Databricks Runtime 16.0 et versions ultérieures, l’installation des bibliothèques à partir de DBFS est entièrement désactivée. Cette modification est apportée pour améliorer la sécurité des bibliothèques dans un espace de travail Databricks. En outre, dans Databricks Runtime 16.0 et versions ultérieures, vous ne pouvez plus utiliser la configuration spark.databricks.driver.dbfsLibraryInstallationAllowedSpark.

La addArtifact() fonctionnalité est désormais cohérente entre les types de calcul

Avec cette version, l’archive est automatiquement décompressée lorsque vous utilisez addArtifact(archive = True) pour ajouter une dépendance au calcul partagé ou sans serveur Azure Databricks. Cette modification rend le comportement addArtifact(archive = True) sur ces types de calcul cohérents avec le calcul dédié (anciennement le calcul mono-utilisateur), qui prend déjà en charge la décompression automatique des archives.

Règle des guillemets inversés appliquée de manière adéquate pour les identificateurs principaux contenant des caractères spéciaux.

Avec cette version, les identificateurs principaux avec des caractères spéciaux dans GRANT, DENYet REVOKE les instructions lèvent maintenant une erreur s’ils ne sont pas placés dans des backticks.

Nouvelles fonctionnalités et améliorations

• Renforcement de la fiabilité du rechargement des modules Python modifiés grâce à des améliorations de autoreload
• Prise en charge par Avro de la récursivité des schémas
• fonctions to_avro et from_avro
• Prise en charge étendue du registre de schémas Confluent pour Avro
• Forcer le reclustering sur les tables avec le clustering liquide
• Les API Delta pour Python et Scala prennent désormais en charge les colonnes d’identité
• Le contrôle d’accès précis sur un calcul dédié (anciennement « calcul à utilisateur unique ») est en disponibilité générale.
• Créer des tables en cluster liquides pendant les écritures de diffusion en continu
• Prise en charge de la OPTIMIZEclause FULL
• Prise en charge de la spécification des options WITH dans les INSERT et les références de table
• Nouvelles fonctions SQL
• Activer l’évolution automatique du schéma lors de la fusion de données dans une table Delta

Rechargement plus fiable des modules Python modifiés avec des améliorations apportées à autoreload

Dans Databricks Runtime 16.0 et versions ultérieures, les mises à jour apportées à l’extension autoreload améliorent la sécurité et la fiabilité du rechargement des modules Python modifiés importés à partir de fichiers d’espace de travail. Avec ces modifications, autoreload, le cas échéant, recharge uniquement la partie d’un module qui a changé au lieu de l’ensemble du module. En outre, Azure Databricks suggère désormais automatiquement d’utiliser l’extension autoreload si le module a changé depuis sa dernière importation. Consultez Autoreload pour les modules Python.

Prise en charge des schémas récursifs par Avro

Vous pouvez maintenant utiliser l’option recursiveFieldMaxDepth avec la from_avro fonction et la source de avro données. Cette option définit la profondeur maximale pour la récursivité du schéma sur la source de données Avro. Consultez Lire et écrire des données Avro en streaming.

fonctions to_avro et from_avro

Les fonctions to_avro et from_avro permettent la conversion de types SQL en données binaires Avro et retour.

Prise en charge étendue du registre de schémas Confluent pour Avro

Azure Databricks prend désormais en charge la référence des schémas Avro avec le registre de schémas Confluent. Consultez S’authentifier auprès d’un registre de schémas Confluent externe.

Forcer le reclustering sur les tables avec le clustering liquide

Dans Databricks Runtime 16.0 et versions ultérieures, vous pouvez utiliser la syntaxe OPTIMIZE FULL pour forcer le reclustering de tous les enregistrements d’une table avec le clustering liquide activé. Consultez Force reclustering pour tous les enregistrements.

Les API Delta pour Python et Scala prennent désormais en charge les colonnes d’identité

Vous pouvez maintenant utiliser les API Delta pour Python et Scala pour créer des tables avec des colonnes d’identité. Consultez Utiliser des colonnes d’identité dans Delta Lake.

Le contrôle d’accès affiné sur le calcul dédié (anciennement calcul mono-utilisateur) est généralement disponible

Dans Databricks Runtime 16.0 et versions ultérieures, le contrôle d’accès affiné sur le calcul dédié est généralement disponible. Dans les espaces de travail activés pour le calcul sans serveur, si une requête est exécutée sur un calcul pris en charge tel que le calcul dédié et que la requête accède à l'un des objets suivants, la ressource de calcul transmet la requête au calcul sans serveur pour effectuer le filtrage des données :

• Vues définies sur des tables sur lesquelles l’utilisateur n’a pas le privilège SELECT.
• Vues dynamiques.
• Tableaux avec des filtres de lignes ou des masques de colonne appliqués.
• Vues matérialisées et tables de streaming

Créer des tables en cluster liquides pendant les écritures de diffusion en continu

Vous pouvez désormais utiliser clusterBy pour activer le "liquid clustering" lors de la création de nouvelles tables avec des opérations d'écriture en Structured Streaming. Consultez Activer le clustering liquide.

Prise en charge de la clause FULL OPTIMIZE

Databricks Runtime 16.0 prend en charge la clause OPTIMIZE FULL. Cette clause optimise tous les enregistrements d’une table qui utilise le clustering liquide, y compris les données qui ont pu être précédemment regroupées.

Prise en charge de la spécification des options WITH dans les INSERT et les références de table

Databricks Runtime 16.0 prend en charge une spécification d’options pour les références de table et les noms de tables d’une INSERT instruction qui peut être utilisée pour contrôler le comportement des sources de données.

Nouvelles fonctions SQL

Les fonctions SQL suivantes sont ajoutées dans Databricks Runtime 16.0 :

• try_url_decode

  Cette fonction est une version tolérante aux erreurs de url_decode. Cette fonction retourne NULL si l’entrée n’est pas une chaîne encodée URL valide.

• zeroifnull

  Si l’expression d’entrée à la zeroifnull() fonction est NULL, la fonction retourne 0. Sinon, la valeur de l’expression d’entrée est retournée.

• nullifzero

  Renvoie NULL si l’entrée est 0 ou si son entrée n’est pas 0. Si l’expression d’entrée de la nullifzero() fonction est 0, la fonction retourne NULL. Si l’expression d’entrée n’est pas 0, la valeur de l’expression d’entrée est retournée

Activer l’évolution automatique du schéma lors de la fusion de données dans une table Delta

Cette version ajoute la prise en charge du membre withSchemaEvolution() de la classe DeltaMergeBuilder. Utilisez withSchemaEvolution() pour activer l'évolution automatique du schéma lors des opérations MERGE. Par exemple : mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Autres modifications

SparkR est désormais déconseillé

Dans Databricks Runtime 16.0 et versions ultérieures, SparkR dans Databricks est obsolète en préparation à son obsolescence dans la prochaine version de Spark 4. Consultez le thread de déprécation de SparkR d’Apache Spark.

Databricks recommande d’utiliser sparklyr à la place.

Databricks Runtime 16.0 n’est pas pris en charge avec un PVC

Databricks Runtime 16.0 n’est pas pris en charge par databricks Private Virtual Cloud (PVC). Vous devez utiliser Databricks Runtime 15.4 ou une version antérieure avec toutes les publications de PVC.

Corrections de bugs

Auto Loader (Chargeur automatique) récupère désormais les types d’enregistrements Avro avec des schémas vides

Lors du chargement d’un fichier Avro dans une table Delta à l’aide du chargeur automatique, record les types du fichier qui ont un schéma vide sont désormais ajoutés à la colonne de données sauvée. Étant donné que vous ne pouvez pas ingérer des types de données complexes vides dans une table Delta, cela résout un problème lié au chargement de certains fichiers Avro. Pour en savoir plus sur les données sauvées, consultez Quelle est la colonne de données sauvée ?.

Correction de l’erreur lors de l’écriture d’horodateurs avec des fuseaux horaires contenant un deuxième décalage.

Cette version corrige un bogue affectant certains horodatages avec des fuseaux horaires contenant un deuxième décalage. Ce bogue entraîne l’omission des secondes lors de l’écriture dans JSON, XML ou CSV, ce qui entraîne des valeurs d’horodatage incorrectes.

Pour revenir au comportement précédent, utilisez l’option suivante lors de l’écriture dans l’un des formats concernés : .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • azure-core — mise à jour de la version 1.30.2 à la version 1.31.0
  • azure-storage-blob de la version 12.19.1 à la version 12.23.0
  • azure-storage-file-datalake de la version 12.14.0 à la version 12.17.0
  • noir de 23.3.0 à 24.4.2
  • blinker de la version 1.4 à la version 1.7.0
  • boto3 de 1.34.39 à 1.34.69
  • botocore de 1.34.39 à 1.34.69
  • certifi de la version 2023.7.22 à la version 2024.6.2
  • cffi de 1.15.1 à 1.16.0
  • cliquez entre 8.0.4 et 8.1.7
  • comm de la version 0.1.2 à la version 0.2.1
  • contourpy de 1.0.5 à 1.2.0
  • chiffrement de 41.0.3 à 42.0.5
  • Cython de 0.29.32 à 3.0.11
  • databricks-sdk de 0.20.0 à 0.30.0
  • dbus-python de 1.2.18 à 1.3.2
  • filelock de la version 3.13.4 à la version 3.15.4
  • fonttools de 4.25.0 à 4.51.0
  • GitPython de 3.1.43 à 3.1.37
  • google-api-core de 2.18.0 à 2.20.0
  • google-auth de 2.31.0 à 2.35.0
  • google-cloud-storage de 2.17.0 à 2.18.2
  • google-crc32c de 1.5.0 à 1.6.0
  • google-resumable-media de 2.7.1 à 2.7.2
  • googleapis-common-protos de 1.63.2 à 1.65.0
  • httplib2 de 0.20.2 à 0.20.4
  • idna de la version 3.4 à la version 3.7
  • ipykernel de 6.25.1 à 6.28.0
  • ipython de 8.15.0 à 8.25.0
  • jedi de la version 0.18.1 à la version 0.19.1
  • jmespath de 0.10.0 à 1.0.1
  • joblib de 1.2.0 à 1.4.2
  • jupyter_client de 7.4.9 à 8.6.0
  • jupyter_core de 5.3.0 à 5.7.2
  • launchpadlib de 1.10.16 à 1.11.0
  • lazr.restfulclient de 0.14.4 à 0.14.6
  • matplotlib de 3.7.2 à 3.8.4
  • mlflow-skinny de 2.11.4 à 2.15.1
  • more-itertools de 8.10.0 à 10.3.0
  • mypy_extensions de la version 0.4.3 à la version 1.0.0
  • nest-asyncio de la version 1.5.6 à la version 1.6.0
  • numpy de 1.23.5 à 1.26.4
  • oauthlib de 3.2.0 à 3.2.2
  • packaging de la version 23.2 à la version 24.1
  • patsy de la version 0.5.3 à la version 0.5.6
  • pip de la version 23.2.1 à la version 24.2
  • plotly de la version 5.9.0 à la version 5.22.0
  • prompt-toolkit de la version 3.0.36 à la version 3.0.43
  • pyarrow de 14.0.1 à 15.0.2
  • pydantic de la version 1.10.6 à la version 2.8.2
  • PyGObject de 3.42.1 à 3.48.2
  • PyJWT de 2.3.0 à 2.7.0
  • pyodbc de la version 4.0.38 à la version 5.0.1
  • python-dateutil de la version 2.8.2 à la version 2.9.0.post0
  • python-lsp-jsonrpc de 1.1.1 à 1.1.2
  • pytz de 2022.7 à 2024.1
  • PyYAML de 6.0 à 6.0.1
  • pyzmq de 23.2.0 à 25.1.2
  • demandes de 2.31.0 à 2.32.2
  • scikit-learn de la version 1.3.0 à la version 1.4.2
  • scipy de la version 1.11.1 à la version 1.13.1
  • seaborn de la version 0.12.2 à la version 0.13.2
  • setuptools de la version 68.0.0 à la version 74.0.0
  • smmap de 5.0.1 à 5.0.0
  • sqlparse de 0.5.0 à 0.5.1
  • statsmodels de la version 0.14.0 à la version 0.14.2
  • tornado de 6.3.2 à 6.4.1
  • traitlets de la version 5.7.1 à la version 5.14.3
  • typing_extensions de la version 4.10.0 à la version 4.11.0
  • ujson de la version 5.4.0 à la version 5.10.0
  • virtualenv de 20.24.2 à 20.26.2
  • wheel de la version 0.38.4 à la version 0.43.0
  • zipp de la version 3.11.0 à la version 3.17.0
• Bibliothèques R mises à niveau :
  • arrow de la version 14.0.0.2 à la version 16.1.0
  • backports de la version 1.4.1 à la version 1.5.0
  • base de la version 4.3.2 à la version 4.4.0
  • bitops de la version 1.0-7 à la version 1.0-8
  • boot de la version 1.3-28 à la version 1.3-30
  • brio de la version 1.1.4 vers la version 1.1.5
  • broom de la version 1.0.5 à la version 1.0.6
  • bslib de 0.6.1 à 0.8.0
  • cachem de 1.0.8 à 1.1.0
  • callr de la version 3.7.3 à la version 3.7.6
  • cli de 3.6.2 à 3.6.3
  • horloge de la version 0.7.0 à la version 0.7.1
  • cluster de la version 2.1.4 à la version 2.1.6
  • codetools de 0.2-19 à 0.2-20
  • colorspace de la version 2.1-0 à la version 2.1-1
  • compilateur de 4.3.2 à 4.4.0
  • crayon de la version 1.5.2 à la version 1.5.3
  • curl de la version 5.2.0 à la version 5.2.1
  • data.table de la version 1.15.0 à la version 1.15.4
  • jeux de données de 4.3.2 à 4.4.0
  • DBI de la version 1.2.1 à la version 1.2.3
  • dbplyr de 2.4.0 à 2.5.0
  • digest de la version 0.6.34 à la version 0.6.36
  • downlit de la version 0.4.3 à la version 0.4.4
  • evaluate de la version 0.23 à la version 0.24.0
  • farver de la version 2.1.1 à la version 2.1.2
  • fastmap de 1.1.1 à 1.2.0
  • foreign de la version 0.8-85 à la version 0.8-86
  • fs de la version 1.6.3 à la version 1.6.4
  • future de la version 1.33.1 à la version 1.34.0
  • future.apply de la version 1.11.1 à la version 1.11.2
  • gert de la version 2.0.1 à la version 2.1.0
  • ggplot2 de 3.4.4 à 3.5.1
  • gh de 1.4.0 à 1.4.1
  • globals de la version 0.16.2 à la version 0.16.3
  • graphiques de 4.3.2 à 4.4.0
  • grDevices de la version 4.3.2 à la version 4.4.0
  • grille de 4.3.2 à 4.4.0
  • gt de 0.10.1 à 0.11.0
  • gtable de la version 0.3.4 à la version 0.3.5
  • Mise à jour de hardhat de la version 1.3.1 à la version 1.4.0
  • highr de la version 0.10 à la version 0.11
  • htmltools de 0.5.7 à 0.5.8.1
  • httpuv de 1.6.14 à 1.6.15
  • httr2 de la version 1.0.0 à la version 1.0.2
  • ipred de 0.9-14 à 0.9-15
  • KernSmooth de 2.23-21 à 2.23-22
  • knitr de la version 1.45 à la version 1.48
  • lattice de la version 0.21-8 à la version 0.22-5
  • lava de la version 1.7.3 à la version 1.8.0
  • markdown de la version 1.12 à la version 1.13
  • MASS de la version 7.3-60 à la version 7.3-60.0.1
  • Matrice comprise entre 1.5-4.1 et 1.6-5
  • méthodes comprises entre 4.3.2 et 4.4.0
  • mgcv de 1,8-42 à 1,9-1
  • mlflow de 2.10.0 à 2.14.1
  • munsell de la version 0.5.0 à la version 0.5.1
  • nlme de la version 3.1-163 à la version 3.1-165
  • openssl de 2.1.1 à 2.2.0
  • parallel de la version 4.3.2 à la version 4.4.0
  • parallelly de la version 1.36.0 à la version 1.38.0
  • pkgbuild de 1.4.3 à 1.4.4
  • pkgdown de la version 2.0.7 à la version 2.1.0
  • pkgload de la version 1.3.4 à la version 1.4.0
  • processx de la version 3.8.3 à la version 3.8.4
  • prodlim de 2023.08.28 à 2024.06.25
  • promesses comprises entre 1.2.1 et 1.3.0
  • ps de la version 1.7.6 1 à la version 1.7.7
  • ragg de la version 1.2.7 à la version 1.3.2
  • Rcpp de 1.0.12 à 1.0.13
  • RcppEigen de 0.3.3.9.4 à 0.3.4.0.0
  • reactR de la version 0.5.0 à la version 0.6.0
  • recettes comprises entre 1.0.9 et 1.1.0
  • remotes de la version 2.4.2.1 à la version 2.5.0
  • reprex de la version 2.1.0 à la version 2.1.1
  • rlang de 1.1.3 à 1.1.4
  • rmarkdown de la version 2.25 à la version 2.27
  • roxygen2 de 7.3.1 à 7.3.2
  • rpart de la version 4.1.21 à la version 4.1.23
  • RSQLite de 2.3.5 à 2.3.7
  • rstudioapi de 0.15.0 à 0.16.0
  • rvest de la version 1.0.3 à la version 1.0.4
  • sass de la version 0.4.8 à la version 0.4.9
  • shape de la version 1.4.6 à la version 1.4.6.1
  • shiny de la version 1.8.0 à la version 1.9.1
  • sparklyr de la version 1.8.4 à la version 1.8.6
  • spatial de la version 7.3-15 à la version 7.3-17
  • splines de 4.3.2 à 4.4.0
  • statistiques comprises entre 4.3.2 et 4.4.0
  • stats4 de la version 4.3.2 à la version 4.4.0
  • stringi de la version 1.8.3 à la version 1.8.4
  • survival de la version 3.5-5 à la version 3.6-4
  • swagger de la version 3.33.1 à la version 5.17.14.1
  • systemfonts de la version 1.0.5 à la version 1.1.0
  • tcltk de 4.3.2 à 4.4.0
  • testthat de 3.2.1 à 3.2.1.1
  • textshaping de la version 0.3.7 à la version 0.4.0
  • tidyselect de la version 1.2.0 à la version 1.2.1
  • tinytex de 0,49 à 0,52
  • tools de la version 4.3.2 à la version 4.4.0
  • usethis de la version 2.2.2 à la version 3.0.0
  • utils de la version 4.3.2 à la version 4.4.0
  • uuid de la version 1.2-0 à la version 1.2-1
  • V8 de 4.4.1 à 4.4.2
  • withr de la version 3.0.0 à la version 3.0.1
  • xfun de 0.41 à 0.46
  • xopen de 1.0.0 à 1.0.1
  • yaml de la version 2.3.8 à la version 2.3.10
• Bibliothèques Java mises à niveau :
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-config de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-core de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-directory de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ecs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-efs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-emr de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-glacier de la version 1.12.610 à la version 1.12.638
  • com.amazonaws.aws-java-sdk-glue de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-iam de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-importexport de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-kms de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-lambda de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-logs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-rds de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-redshift de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-route53 de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-s3 de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ses de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-sns de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-sqs de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-ssm de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-sts de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-support de 1.12.610 à 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 à 1.12.638
  • com.amazonaws.jmespath-java de 1.12.610 à 1.12.638
  • com.google.protobuf.protobuf-java de la version 2.6.1 à la version 3.25.1
  • io.airlift.aircompressor de la version 0.25 à la version 0.27
  • io.delta.delta-sharing-client_2.12 de 1.1.3 à 1.2.0
  • io.netty.netty-all de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-buffer de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-codec de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-codec-http de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-codec-http2 de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-codec-socks de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-common de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-handler de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-handler-proxy de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-resolver de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-transport de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-transport-classes-epoll de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue de la version 4.1.96.Final à la version 4.1.108.Final
  • io.netty.netty-transport-native-epoll de la version 4.1.96.Final-linux-x86_64 à la version 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de la version 4.1.96.Final-osx-x86_64 à la version 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de la version 4.1.96.Final à la version 4.1.108.Final
  • org.apache.ivy.ivy de 2.5.1 à 2.5.2
  • org.apache.zookeeper.zookeeper de la version 3.6.3 à la version 3.9.2
  • org.apache.zookeeper.zookeeper-jute de la version 3.6.3 à la version 3.9.2
  • org.rocksdb.rocksdbjni de 8.11.4 à 9.2.1
  • org.scalactic.scalactic_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-compatible de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-core_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-freespec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-funspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-propspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-refspec_2.12 de 3.2.15 à 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 de la version 3.2.15 à la version 3.2.16
  • org.scalatest.scalatest_2.12 de la version 3.2.15 à la version 3.2.16

Apache Spark

Databricks Runtime 16.0 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs spark et améliorations inclus dans Databricks Runtime 15.4 LTS, ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-49093] [DBRRM-1371] Rétablir " [SC-172958][sql] GROUP BY avec MapType nes...
• [SPARK-49898] [DBRRM-1282][sc-178410] Correction de la documentation et de la valeur par défaut pour l’indicateur de journalisation d’accumulation des métriques de tâche du journal des événements de SPARK-42204
• [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de l'élagage de GetArrayStructFields
• [SPARK-49816] [SC-177896][sql] Ne doit mettre à jour que le compte de références sortantes de la relation CTE externe référencée
• [SPARK-48939] [SC-177022][sc-172766][AVRO] Prise en charge de la lecture d’Avro avec référence de schéma récursif
• [SPARK-49688] [SC-177468][es-1242349][CONNECT] Corriger une course de données entre l’interruption et l’exécution du plan
• [SPARK-49771] [SC-177466][python] Améliorer l’erreur UDF Iter Scalar Pandas lorsque les lignes de sortie dépassent les lignes d’entrée
• [SPARK-48866] [SC-170772][sql] Correction des indicateurs de charset valides dans le message d’erreur de INVALID_PARAMETER_VALUE.CHARSET
• [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Enregistrer et réutiliser RDD/Broadcast créé par SparkPlan
• [SPARK-49585] [CONNECT] Remplacer la carte des exécutions dans SessionHolder par l’ensemble operationID
• [SPARK-49211] [SC-174257][sql] V2 Catalog peut également prendre en charge les sources de données intégrées
• [SPARK-49684] Minimiser la durée de vie du verrou de restauration de session
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Framework de journal structuré côté Java
• [SPARK-48857] [SC-170661][sql] Restreindre les charsets dans CSVOptions
• [SPARK-49152] [SC-173690][sql] V2SessionCatalog doit utiliser V2Command
• [SPARK-42846] [SC-176588][sql] Supprimer la condition d’erreur _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][core] Enregistrer et réutiliser les RDD/Broadcast créés par SparkPlan
• [SPARK-49630] [SC-177379][ss] Ajouter une option d’aplatissement pour traiter les types de collection avec le lecteur de source de données d’état
• [SPARK-49699] [SC-177154][ss] Désactiver PruneFilters pour les charges de travail de streaming
• [SPARK-48781] [SC-175282][sql] Ajouter des API de catalogue pour le chargement des procédures stockées
• [SPARK-49667] [SC-177068][sql] Interdire l'utilisation des collateurs CS_AI avec des expressions qui utilisent StringSearch
• [SPARK-49737] [SC-177207][sql] Désactivation du compartimentage sur les colonnes compilées dans les types complexes
• [SPARK-48712] [SC-169794][sql] Amélioration des performances pour l'encodage avec des valeurs vides ou le jeu de caractères UTF-8
• [SPARK-49038] [SC-173933][sql] SQLMetric doit signaler la valeur brute dans l’événement de mise à jour de l’accumulateur
• [SPARK-48541] [SC-169066][core] Ajouter un nouveau code de sortie pour les exécuteurs tués par TaskReaper
• [SPARK-48774] [SC-170138][sql] Utiliser SparkSession dans SQLImplicits
• [SPARK-49719] [SC-177139][sql] Faire en sorte que UUID et SHUFFLE acceptent un entier seed
• [SPARK-49713] [SC-177135][python][CONNECT] faire en sorte que la fonction count_min_sketch accepte des arguments numériques
• [SPARK-47601] [SC-162499][graphx] Graphx : migration des journaux d’activité avec des variables vers une infrastructure de journalisation structurée
• [SPARK-49738] [SC-177219][sql] Correction de bug « Endswith »
• [SPARK-48623] [SC-170822][core] Migrations de journalisations structurées [Partie 3]
• [SPARK-49677] [SC-177148][ss] Assurez-vous que les fichiers de journal des modifications sont écrits au moment de la validation et que le drapeau forceSnapshot est également réinitialisé
• [SPARK-49684] [SC-177040][connect] Supprimer les verrous globaux des gestionnaires de session et d’exécution
• [SPARK-48302] [SC-168814][python] Conserver les valeurs Null dans les colonnes de mappage dans les tables PyArrow
• [SPARK-48601] [SC-169025][sql] Donnez un message d’erreur plus convivial lors de la définition d’une valeur Null pour l’option JDBC
• [SPARK-48635] [SC-169263][sql] Affecter des classes aux erreurs de type de jointure et aux erreurs de jointure as-of
• [SPARK-49673] [SC-177032][connect] Augmenter CONNECT_GRPC_ARROW_MAX_BATCH_SIZE à 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][python][CONNECT] Affiner la représentation sous forme de chaîne de timedelta
• [SPARK-49687] [SC-176901][sql] Retarder le tri dans validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][ps] Basculer le tracé Scatter vers des données échantillonnées
• [SPARK-48472] [SC-169044][sql] Activer les expressions réflectives avec des chaînes ordonnées
• [SPARK-48484] [SC-167484][sql] Correctif : V2Write utiliser le même TaskAttemptId pour différentes tentatives de tâche
• [SPARK-48341] [SC-166560][connect] Autoriser les plug-ins à utiliser QueryTest dans leurs tests
• [SPARK-42252] [SC-168723][core] Ajouter spark.shuffle.localDisk.file.output.buffer et déprécier spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][ss] Ne doublez pas les fichiers de cache pour FileStreamSource à l’aide de Trigger.AvailableNow
• [SPARK-49567] [SC-176241][python] Utiliser classic au lieu de vanilla à partir de la base de code PySpark
• [SPARK-48374] [SC-167596][python] Prendre en charge d’autres types de colonnes de tables PyArrow
• [SPARK-48300] [SC-166481][sql] Prise en charge de Codegen pour from_xml
• [SPARK-49412] [SC-177059][ps] Calculer toutes les métriques de tracé de zone dans un seul travail
• [SPARK-49692] [SC-177031][python][CONNECT] Affiner la représentation sous forme de chaîne de date et de datetime littérale
• [SPARK-49392] [ES-1130351][sc-176705][SQL] Intercepter les erreurs lors de l’échec de l’écriture dans une source de données externe
• [SPARK-48306] [SC-166241][sql] Améliorer l’UDT dans le message d’erreur
• [SPARK-44924] [SC-166379][ss] Ajouter une configuration pour les fichiers mis en cache FileStreamSource
• [SPARK-48176] [SC-165644][sql] Ajuster le nom de FIELD_ALREADY_EXISTS condition d’erreur
• [SPARK-49691] [SC-176988][python][CONNECT] Function substring doit accepter les noms de colonnes
• [SPARK-49502] [SC-176077][core] Éviter NPE dans SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][sql] Améliorations supplémentaires de l’exception pour l’analyseur/interpréteur
• [SPARK-48355] [SC-176684][sql] Prise en charge de l’instruction CASE
• [SPARK-49355] [SC-175121][sql] levenshtein devez vérifier si les valeurs collation de tous les types de paramètres sont identiques
• [SPARK-49640] [SC-176953][ps] Appliquer l’échantillonnage des réservoirs dans SampledPlotBase
• [SPARK-49678] [SC-176857][core] Prise en charge de spark.test.master dans SparkSubmitArguments
• [SPARK-49680] [SC-176856][python] Limiter par défaut le parallélisme de génération Sphinx à 4
• [SPARK-49396] Rétablir « [SC-176030][sql] Modifier la vérification de la possibilité de valeur nulle pour l’expression CaseWhen »
• [SPARK-48419] [SC-167443][sql] La propagation pliable devrait remplacer la colonne pliable...
• [SPARK-49556] [SC-176757][sql] Ajouter une syntaxe de canal SQL pour l’opérateur SELECT
• [SPARK-49438] [SC-175237][sql] Corriger le joli nom de l’expression FromAvro & ToAvro
• [SPARK-49659] [SC-1229924][sql] Ajouter une erreur utilisateur intéressante pour les sous-requêtes scalaires dans VALUES clause
• [SPARK-49646] [SC-176778][sql] corriger la décorrélation de sous-requêtes pour les opérations d’union/ensemble lorsque parentOuterReferences a des références non couvertes dans collectedChildOuterReferences
• [SPARK-49354] [SC-175034][sql] split_part devez vérifier si les valeurs collation de tous les types de paramètres sont identiques
• [SPARK-49478] [SC-175914][connect] Gérer les métriques Null dans ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][sql] Prise en charge de l’instruction REPEAT
• [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable doit respecter PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][sql] Introduire TVF collations() & supprimer la commande SHOW COLLATIONS
• [SPARK-49261] [SC-176589][sql] Ne remplacez pas les littéraux dans les expressions d’agrégation par des expressions de groupement
• [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace doit respecter le catalogue de sessions personnalisé
• [SPARK-49594] [SC-176569][ss] Ajout d’une vérification sur l’ajout ou la suppression de columnFamilies pour écrire le fichier StateSchemaV3
• [SPARK-49578] [SC-176385][sql] Supprimer la suggestion de configuration ANSI dans CAST_INVALID_INPUT et CAST_OVERFLOW
• [SPARK-48882] [SC-174256][ss] Affecter des noms aux classes d’erreur associées au mode de sortie de streaming
• [SPARK-49155] [SC-176506][sql][SS] Utilisez un type de paramètre plus approprié pour construire GenericArrayData
• [SPARK-49519] [SC-176388][sql] Options de fusion de table et de relation lors de la construction de FileScanBuilder
• [SPARK-49591] [SC-176587][sql] Ajouter une colonne de type logique au fichier variant README
• [SPARK-49596] [SC-176423][sql] Améliorer les performances de FormatString
• [SPARK-49525] [SC-176044][ss][CONNECT] Amélioration mineure des journaux de l’écouteur de requête de streaming côté serveur ListenerBus
• [SPARK-49583] [SC-176272][sql] Définir la sous-condition d’erreur SECONDS_FRACTION pour un modèle de fraction de secondes non valide
• [SPARK-49536] [SC-176242] Gérer l’erreur lors de la prérécupération de l’enregistrement de source de données en streaming en Python
• [SPARK-49443] [SC-176273][sql][PYTHON] Implémenter l’expression to_variant_object et faire imprimer les expressions schema_of_variant expressions OBJECT pour les objets Variant
• [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Remplacer le verrouillage grossier dans SparkConnectExecutionManager par ConcurrentMap
• [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Remplacer les verrouillages grossiers dans SparkConnectSessionManager par ConcurrentMap
• [SPARK-49551] [SC-176218][ss] Améliorer le journal RocksDB pour replayChangelog
• [SPARK-49595] [SC-176396][connect][SQL] Correction de DataFrame.unpivot/melt dans le client Spark Connect Scala
• [SPARK-49006] [SC-176162] Implémenter le purge pour les fichiers OperatorStateMetadataV2 et StateSchemaV3
• [SPARK-49600] [SC-176426][python] Supprimer la logique liée à Python 3.6 and olderde try_simplify_traceback
• [SPARK-49303] [SC-176013][ss] Implémenter la fonctionnalité de durée de vie (TTL) pour ValueState dans l’API transformWithStateInPandas
• [SPARK-49191] [SC-176243][ss] Ajouter la prise en charge de la lecture des variables d’état de mappage transformWithState à l’aide d’un lecteur de source de données d’état
• [SPARK-49593] [SC-176371][ss] Lancer l'exception RocksDB à l'appelant lors de la fermeture de la base de données si une erreur est détectée
• [SPARK-49334] [SC-174803][sql] str_to_map devez vérifier si les valeurs collation de tous les types de paramètres sont identiques
• [SPARK-42204] [SC-176126][core] Ajouter une option pour désactiver la journalisation redondante des accumulateurs internes TaskMetrics dans les journaux d’événements
• [SPARK-49575] [SC-176256][ss] Ajouter la journalisation pour la libération de verrou uniquement si acquiredThreadInfo n’est pas null
• [SPARK-49539] [SC-176250][ss] Mettre à jour l’identificateur de démarrage interne des familles de colonnes pour un autre
• [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning doit hériter de HashPartitioningLike
• [SPARK-49396] [SC-176030][sql] Modifier la vérification de la nullabilité pour l’expression CaseWhen
• [SPARK-49476] [SC-175700][sql] Correction de la nullabilité de la fonction base64
• [SPARK-47262] [SC-174829][sql] Attribuer des noms à des conditions d’erreur pour les conversions Parquet
• [SPARK-47247] [SC-158349][sql] Utiliser une taille cible plus petite lors de la fusion de partitions avec des jointures explosées
• [SPARK-49501] [SC-176166][sql] Corriger le double échappement de l’emplacement de la table
• [SPARK-49083] [SC-173214][connect] Autoriser from_xml et from_json à travailler en mode natif avec des schémas json
• [SPARK-49043] [SC-174673][sql] Corriger le groupe codepath interprété sur le mappage contenant des chaînes compilées
• [SPARK-48986] [SC-172265][connect][SQL] Ajouter une représentation intermédiaire ColumnNode
• [SPARK-49326] [SC-176016][ss] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
• [SPARK-48348] [SC-175950][spark-48376][SQL] Introduire les instructions LEAVE et ITERATE
• [SPARK-49523] [SC-175949][connect] Augmenter le temps d’attente maximal pour que le serveur de connexion soit testé
• [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Correction de « select count(distinct 1) from t » où t est une table vide par l'expansion de RewriteDistinctAggregates - DBR version 16.x
• [SPARK-49311] [SC-175038][sql] Rendre possible la conversion de valeurs « intervalle seconde » volumineuses en décimales
• [SPARK-49200] [SC-173699][sql] Correction de l’exception de classement sans Codegen de type nul
• [SPARK-49467] [SC-176051][ss] Ajouter la prise en charge du lecteur de source des données d’état et de la liste d’état
• [SPARK-47307] [SC-170891][sql] Ajouter une configuration pour segmenter éventuellement des chaînes base64
• [SPARK-49391] [SC-176032][ps] Tracé de boîte sélectionne des valeurs hors norme à distance des clôtures
• [SPARK-49445] [SC-175845][ui] Prise en charge de l’affichage de l’info-bulle dans la barre de progression de l’interface utilisateur
• [SPARK-49451] [SC-175702] Autorisez les clés dupliquées dans parse_json.
• [SPARK-49275] [SC-175701][sql] Correction de la valeur null du type de retour de l’expression xpath
• [SPARK-49021] [SC-175578][ss] Ajouter la prise en charge de la lecture des variables d’état de valeur transformWithState à l’aide d’un lecteur de source de données d’état
• [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][sql] Utiliser IndexedSeq dans ProjectingInternalRow
• [SPARK-49509] [SC-175853][core] Utiliser Platform.allocateDirectBuffer au lieu de ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][ps] Rendre le diagramme en boîte afficher correctement les valeurs aberrantes/hors normes
• [SPARK-49002] [SC-172846][sql] Gérer de manière cohérente les emplacements non valides dans WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][core] Correction de NullPointerException à partir de SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][python] Améliorer le message d’erreur de type de retour non valide Pandas UDF
• [SPARK-48693] [SC-169492][sql] Simplifier et unifier toString d’Invoke et StaticInvoke
• [SPARK-49441] [SC-175716][ml] Tri par StringIndexer des tableaux dans les exécuteurs
• [SPARK-49347] [SC-175004][r] Déprécier SparkR
• [SPARK-49357] [SC-175227][connect][PYTHON] Tronquer verticalement le message protobuf profondément imbriqué
• [SPARK-41982] [SC-120604][sql] Les partitions de type chaîne ne doivent pas être traitées comme des types numériques
• [SPARK-48776] [SC-170452][behave-72] Corriger la mise en forme d’horodeur pour json, xml et csv
• [SPARK-49223] [SC-174800][ml] Simplifiez stringIndexer.countByValue avec les fonctions intégrées
• [SPARK-49016] Revenir à « [SC-174663][sql] Rétablir le comportement où les requêtes à partir de fichiers CSV bruts sont interdites lorsqu'on inclut seulement la colonne d'enregistrement endommagée et assigner le nom à _LEGACY_ERROR_TEMP_1285»
• [SPARK-49041] [SC-172392][python][CONNECT] Déclencher une erreur appropriée pour dropDuplicates lorsqu’une subset incorrecte est donnée
• [SPARK-49050] [SC-175235] Activation de l’opérateur deleteIfExists dans TWS avec des familles de colonnes virtuelles
• [SPARK-49216] [SC-173919][core] Correction pour ne pas consigner le contexte de message lorsque LogEntry est explicitement construit et que la configuration de journalisation structurée est désactivée.
• [SPARK-49252] [SC-175596][core] RendreTaskSetExcludeList et HeathTracker indépendant
• [SPARK-49352] [SC-174971][sql] Éviter la transformation de tableau redondante pour une expression identique
• [SPARK-42307] [SC-173863][sql] Attribuer un nom à l'erreur _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][core] Rédiger la sortie Spark Command dans le module launcher
• [SPARK-48913] [SC-173934][sql] Implémenter IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][python][SQL] Créer des alias de fonction SQL pour « zeroifnull » et « nullifzero »
• [SPARK-48344] [SQL] Exécution de scripts SQL (y compris Spark Connect)
• [SPARK-49402] [SC-175122][python] Correction de l’intégration de Binder dans la documentation PySpark
• [SPARK-49017] [SC-174664][sql] L’instruction Insert échoue lorsque plusieurs paramètres sont utilisés
• [SPARK-49318] [SC-174733][sql] Préemption des erreurs de faible priorité sur LCA jusqu’à la fin de l’analyse pour améliorer la gestion des erreurs
• [SPARK-49016] [SC-174663][sql] Restaurer le comportement que les requêtes provenant de fichiers CSV bruts ne sont pas autorisées lorsqu’elles n’incluent que la colonne d’enregistrement endommagée et attribuez le nom à _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][python] Corriger l'annotation de type pour accuracy dans percentile_approx et approx_percentile
• [SPARK-49131] [SC-174666][ss] TransformWithState doit définir correctement des clés de regroupement implicites même avec des itérateurs différés
• [SPARK-49301] [SC-174795][ss] Données de flèche de bloc transmises au Worker Python
• [SPARK-49039] [SC-174651][ui] Réinitialisation de la case à cocher lorsque les métriques de l’exécuteur sont chargées dans l’onglet Étapes
• [SPARK-48428] [SC-169806][sql] : Corriger l'IllegalStateException dans NestedColumnAliasing
• [SPARK-49353] [SC-174830][sql] Mettre à jour les documents liés à l’encodage/décodage UTF-32
• [SPARK-48613] [SC-170966][sql] SPJ : prise en charge de la lecture aléatoire automatique d’un côté + moins de clés de jointure que de clés de partition
• [SPARK-47473] [SC-160450][behave-127][SQL] Corriger le problème de conversion des horodatages postgres INFINITY
• [SPARK-49142] [SC-173658][connect][PYTHON] Suivi pour rétablir le proto au coût des performances de chaîne
• [SPARK-49300] [SC-175008][core] Correction de la fuite du token de délégation Hadoop lorsque tokenRenewalInterval n’est pas défini.
• [SPARK-49367] [SC-175012][ps] Parallélisez le calcul KDE pour plusieurs colonnes (back-end plotly)
• [SPARK-49365] [SC-175011][ps] Simplifier l’agrégation de compartiments dans le diagramme d’histogramme
• [SPARK-49372] [SC-175003][ss] Assurez-vous que latestSnapshot est défini sur aucun lors de la fermeture pour éviter l’utilisation ultérieure
• [SPARK-49341] [SC-174785] Supprimer connector/docker en faveur de Apache Spark Operator
• [SPARK-49344] [SC-174894][ps] Support json_normalize pour l’API Pandas sur Spark
• [SPARK-49306] [SC-174794][sql] Créer de nouvelles fonctions SQL « zeroifnull » et « nullifzero »
• [SPARK-48796] [SC-174668][ss] Chargez l’ID de famille de colonnes à partir de RocksDBCheckpointMetadata pour VCF lors du redémarrage
• [SPARK-49342] [SC-174899][sql] Make TO_AVRO SQL function 'jsonFormatSchema' argument facultatif
• [SPARK-48628] [SC-174695][core] Ajouter des métriques de mémoire maximale sur/hors du tas pour les tâches
• [SPARK-47407] [SC-159379][behave-126][SQL] Prise en charge du mappage java.sql.Types.NULL à NullType
• [SPARK-48628] [SC-173407][core] Ajouter des métriques de mémoire maximale sur/hors du tas pour les tâches
• [SPARK-49166] [SC-173987][sql] Prendre en charge OFFSET dans la sous-requête corrélée
• [SPARK-49269] [SC-174676][sql] Évaluer avec impatience VALUES() dans AstBuilder
• [SPARK-49281] [SC-174782][sql] Optimiser getBytes pour les binaires Parquet avec getBytesUnsafe pour éviter les coûts liés à la copie
• [SPARK-49113] [SC-174734] Ne pas affirmer sur les bogues de traduction - avaler silencieusement l’exception
• [SPARK-49098] [SC-173253][sql] Ajouter des options d’écriture pour INSERT
• [SPARK-48638] [SC-174694][follow][CONNECT] Correction de la documentation d’ExecutionInfo
• [SPARK-49250] [ES-1222826][sql] Améliorer le message d’erreur pour UnresolvedWindowExpression imbriqués dans CheckAnalysis
• [SPARK-48755] [SC-174258][ss][PYTHON] implémentation de base de transformWithState dans pyspark et prise en charge de ValueState
• [SPARK-48966] [SC-174329][sql] Améliorer le message d’erreur pour une référence de colonne invalide et non résolue dans l’appel UDTF
• [SPARK-46590] [SC-154115][sql] Correction de l’échec de la fusion avec des indeces de partition inattendues
• [SPARK-49235] [SC-174159][sql] Refactoriser la règle ResolveInlineTables afin qu’elle ne traverse pas l’arborescence entière
• [SPARK-49060] [SC-173107][connect] Nettoyer les règles Mima pour les vérifications de com binaires SQL-Connect
• [SPARK-48762] [SC-172525][sql] Introduire l’API clusterBy DataFrameWriter pour Python
• [SPARK-49207] [SC-173852][sql] Corriger le mappage de cas un-à-plusieurs dans SplitPart et StringSplitSQL
• [SPARK-49204] [SC-173850][sql] Corriger la gestion des paires de substitution dans StringInstr et StringLocate
• [SPARK-36680] [SC-170640][sql] prend en charge les options de table dynamique pour Spark SQL
• [SPARK-49204] [SC-173849][sql] Corriger la gestion des paires de substitution dans SubstringIndex
• [SPARK-49204] [SC-173848][sql] Correction de la gestion des paires de substitution dans StringTrim
• [SPARK-48967] [SC-173993]Corriger le test SparkConfigOwnershipSuite de transfert pour OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][sql] Corriger la gestion des paires de substitution dans StringReplace
• [SPARK-48967] [SC-173993][sql][16.x] Améliorer les performances et l’empreinte mémoire de « INSERT INTO ... VALUES« Déclarations »
• [SPARK-49099] Rétablir « [SC-173229][sql] CatalogManager.setCurrent…
• [SPARK-48347] [SC-173812][sql] Prise en charge de l’instruction WHILE
• [SPARK-49128] [SC-173344][core] Prise en charge de l’intitulé personnalisé de l’interface utilisateur du serveur d’historique
• [SPARK-49146] [SC-173825][ss] Déplacer les erreurs d'assertion liées au filigrane manquant dans les requêtes de streaming en mode Ajout vers l'infrastructure d'erreurs
• [SPARK-45787] [SC-172197][sql] Support Catalog.listColumns pour les colonnes de clustering
• [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace doit respecter le catalogue de sessions personnalisé
• [SPARK-49138] [SC-173483][sql] Correction des CollationTypeCasts de plusieurs expressions
• [SPARK-49163] [SC-173666][sql] La tentative de création d’une table à partir de données de partition Parquet défectueuses doit retourner une erreur visible par l’utilisateur
• [SPARK-49201] [SC-173793][ps][PYTHON][connect] Réimplémenter la visualisation hist avec Spark SQL
• [SPARK-49188] [SC-173682][sql] Erreur interne sur la fonction concat_ws appelée sur un tableau de tableaux de chaînes
• [SPARK-49137] [SC-173677][sql] Lorsque la condition booléenne dans l'if statement n’est pas valide, une exception doit être levée
• [SPARK-49193] [SC-173672][sql] Améliorer les performances de RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][sql] Prise en charge de la syntaxe des colonnes dans les tables v2
• [SPARK-49141] [SC-173388][sql] Marquer la variante comme type de données incompatible avec Hive
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Déplacer SessionHolder.forTesting(...) vers le package de test
• [SPARK-49111] [SC-173661][sql] Move withProjectAndFilter vers l’objet complémentaire de DataSourceV2Strategy
• [SPARK-49185] [SC-173688][ps][PYTHON][connect] Réimplémenter la visualisation kde avec Spark SQL
• [SPARK-49178] [SC-173673][sql] Optimiser les performances de Row#getSeq pour correspondre aux performances lors de l’utilisation de Spark 3.5 avec Scala 2.12
• [SPARK-49093] [SC-172958][sql] GROUP BY avec MapType imbriqué à l’intérieur d’un type complexe
• [SPARK-49142] [SC-173469][connect][PYTHON] Réduire le niveau de journalisation du client Spark Connect au débogage
• [SPARK-48761] [SC-172048][sql] Introduire l’API clusterBy DataFrameWriter pour Scala
• [SPARK-48346] [SC-173083][sql] Prise en charge des instructions IF ELSE dans les scripts SQL
• [SPARK-48338] [SC-173112][sql] Améliorer les exceptions levées par l’analyseur/interpréteur
• [SPARK-48658] [SC-169474][sql] Encoder/Décoder des fonctions signalent des erreurs de codage au lieu de mojibake pour les caractères non mappables
• [SPARK-49071] [SC-172954][sql] Supprimer le trait ArraySortLike
• [SPARK-49107] Rétablir « Rétablir « [SC-173103][sql] ROUTINE_ALREADY_EXISTS prend en charge RoutineType »
• [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState est réécrit de manière incorrecte pour produire un plan de requête non valide
• [SPARK-49114] [SC-173217] Les sous-catégories ne peuvent pas charger les erreurs de magasin d’état
• [SPARK-49107] Rétablir « [SC-173103][sql] ROUTINE_ALREADY_EXISTS prend en charge RoutineType »
• [SPARK-49048] [SC-173223][ss] Ajouter la prise en charge de la lecture des métadonnées d’opérateur pertinentes à l’ID de lot donné
• [SPARK-49094] [SC-173049][sql] Corriger "ignoreCorruptFiles" non fonctionnel pour implémenter hive orc avec mergeSchema désactivé
• [SPARK-49108] [SC-173102][exemple] Ajouter submit_pi.sh exemple d’API REST
• [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS prend en charge RoutineType
• [SPARK-48997] [SC-172484][ss] Implémenter des déchargements individuels pour les défaillances de threads du pool de maintenance
• [SPARK-49063] [SC-173094][sql] Correction entre ScalarSubqueries
• [SPARK-45891] [SC-172305][sql][PYTHON][variant] Ajouter la prise en charge des types d’intervalles dans la spécification variant
• [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Correction de la variante avec df.cache()
• [SPARK-49003] [SC-172613][sql] Corriger le hachage du chemin du code interprété pour être sensible au classement
• [SPARK-48740] [SC-172430][sql] Intercepter l’erreur de spécification de fenêtre manquante au plus tôt
• [SPARK-48999] [SC-172245][ss] Diviser PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Implémenter la validation pour l’opérateur TransformWithStateExec à l’aide d’OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][python][ML] Permettre aux fonctions d'aide de sauvegarde/chargement de modèles d'accepter la session spark
• [SPARK-49032] [Backport][15.x][SS] Ajouter le chemin du schéma dans l’entrée de table de métadonnées, vérifier la version attendue et ajouter un test lié aux métadonnées d’opérateur pour le format de métadonnées d’opérateur v2
• [SPARK-49034] [SC-172306][core] Prise en charge du remplacement du sparkProperties côté serveur dans l’API de soumission REST
• [SPARK-48931] [SC-171895][ss] Réduire le coût de l’API de liste du stockage cloud pour la tâche de maintenance du magasin d’état
• [SPARK-48849] [SC-172068][ss]Create OperatorStateMetadataV2 pour l’opérateur TransformWithStateExec
• [SPARK-49013] [SC-172322] Modifier la clé dans collationsMap pour les types Map et Array en scala
• [SPARK-48414] [SC-171884][python] Correction d’un changement cassant dans python fromJson
• [SPARK-48910] [SC-171001][sql] Utiliser HashSet/HashMap pour éviter les recherches linéaires dans PreprocessTableCreation
• [SPARK-49007] [SC-172204][CORE] Améliorer MasterPage pour prendre en charge les titres personnalisés
• [SPARK-49009] [SC-172263][sql][PYTHON] Faire accepter les Enums par les API de colonne et les fonctions
• [SPARK-49033] [SC-172303][core] Prise en charge du remplacement du environmentVariables côté serveur dans l’API de soumission REST
• [SPARK-48363] [SC-166470][sql] Nettoyer certains codes redondants dans from_xml
• [SPARK-46743] [SC-170867][sql][BEHAVE-84] Le bogue count après ScalarSubqery est plié s’il a une relation vide
• [SPARK-49040] [SC-172351][sql] Correction de la documentation sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ml] Les méta-algorithmes sauvegardent/chargent le modèle avec SparkSession
• [SPARK-48959] [SC-171708][sql] Faire NoSuchNamespaceException prolonger NoSuchDatabaseException pour restaurer la gestion des exceptions
• [SPARK-48996] [SC-172130][sql][PYTHON] Autoriser les littéraux nus pour and et or de colonne
• [SPARK-48990] [SC-171936] Suivi de #101759 - correctif de test
• [SPARK-48338] [SC-171912][sql] Vérifier les déclarations de variables
• [SPARK-48990] [SC-171936][sql] Mots clés de syntaxe SQL liés à la variable unifiée
• [SPARK-48988] [SC-171915][ml] Rendre DefaultParamsReader/Writer gérer les métadonnées avec une session Spark
• [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Utiliser SparkSession.implicits au lieu de SQLContext.implicits
• [SPARK-48760] [SC-170870][sql] Correction de CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Avertissement de journal pour l’appel de .unpersist() sur des RDD faisant l’objet d’un point de contrôle local
• [SPARK-48760] [SC-170139][sql] Introduire ALTER TABLE ... CLUSTER BY syntaxe SQL pour modifier les colonnes de clustering
• [SPARK-48844] Rétablir « [SC-170669][sql] USE INVALID_EMPTY_LOCATION au lieu de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY lorsque le chemin d’accès est vide »
• [SPARK-48833] [SC-171914][sql][VARIANT] Variante de support dans InMemoryTableScan
• [SPARK-48975] [SC-171894][protobuf] Supprimer la définition ScalaReflectionLock inutile de protobuf
• [SPARK-48970] [SC-171800][python][ML] Éviter d’utiliser SparkSession.getActiveSession dans le lecteur/écrivain Spark ML
• [SPARK-48844] [SC-170669][sql] USE INVALID_EMPTY_LOCATION au lieu de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY lorsque le chemin d’accès est vide
• [SPARK-48714] [SC-170136] Correction de l’échec des tests df.mergeInto dans PySpark et UC
• [SPARK-48957] [SC-171797][ss] Retourner une classe d’erreur sous-classifiée lors du chargement du magasin d’état pour le fournisseur HDFS et RocksDB
• [SPARK-48891] [Backport][15x][SC-171677][ss] Refactoriser StateSchemaCompatibilityChecker pour unifier tous les formats de schéma d’état
• [SPARK-48972] [SC-171795][python] Unifier la gestion des chaînes littérales dans les fonctions
• [SPARK-48388] [SC-171337][sql] Correction du comportement de l’instruction SET pour les scripts SQL
• [SPARK-48743] [SC-170552][sql][SS] FusionSessionIterator doit mieux gérer quand getStruct retourne null
• [SPARK-48623] [15.x][sc-171322][CORE] Migrer les journaux FileAppender vers la journalisation structurée
• [SPARK-36680] [DBRRM-1123] Rétablir « [SC-170640][sql] Prend en charge les options de table dynamique pour Spark SQL »
• [SPARK-48841] [SC-170868][behave-83][SQL] Inclure collationName à sql() de Collate
• [SPARK-48941] [SC-171703][python][ML] Remplacer l’appel de l’API de lecture/écriture RDD par l’API de lecture/écriture de trame de données
• [SPARK-48938] [SC-171577][python] Améliorer les messages d’erreur lors de l’enregistrement des UDTF Python
• [SPARK-48350] [SC-171040][sql] Introduction des exceptions personnalisées pour le script Sql
• [SPARK-48907] [SC-171158][sql] Corriger la valeur explicitTypes dans COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][python] Simplifier les fonctions regex avec lit
• [SPARK-48944] [SC-171576][connect] Unifier la gestion du schéma au format JSON dans Connect Server
• [SPARK-48836] [SC-171569] Intégrer le schéma SQL avec le schéma/les métadonnées d’état
• [SPARK-48946] [SC-171504][sql] NPE dans la méthode de rédaction lorsque la session a la valeur nulle
• [SPARK-48921] [SC-171412][sql] Les encodeurs ScalaUDF dans la sous-requête doivent être résolus pour MergeInto
• [SPARK-45155] [SC-171048][connect] Ajouter la documentation API pour le client Spark Connect JVM/Scala
• [SPARK-48900] [SC-171319] Ajouter reason un champ pour cancelJobGroup et cancelJobsWithTag
• [SPARK-48865] [SC-171154][sql] Ajouter try_url_decode fonction
• [SPARK-48851] [SC-170767][sql] Remplacez la valeur de SCHEMA_NOT_FOUND de namespace par catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Prise en charge de l’API UDAF toColumn dans Spark Connect
• [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Rendre from_xml compatible avec le schéma StructType
• [SPARK-48930] [SC-171304][core] Rédiger awsAccessKeyId en incluant le modèle accesskey
• [SPARK-48909] [SC-171080][ml][MLLIB] Utilise SparkSession sur SparkContext lors de l’écriture de métadonnées
• [SPARK-48883] [SC-171133][ml][R] Remplacer l’appel de l’API de lecture/écriture RDD par l’appel de l’API de lecture/écriture de trame de données
• [SPARK-48924] [SC-171313][ps] Ajouter une fonction d’assistance make_interval Pandas
• [SPARK-48884] [SC-171051][python] Supprimer la fonction d’assistance inutilisée PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][sql] Exécuter activement plusieurs commandes d’union ensemble
• [SPARK-48896] [SC-171079][ml][MLLIB] Éviter la répartition lors de l'écriture des métadonnées
• [SPARK-48892] [SC-171127][ml] Éviter la lecture de paramètres par ligne dans Tokenizer
• [SPARK-48927] [SC-171227][core] Afficher le nombre de RDD mis en cache dans StoragePage
• [SPARK-48886] [15.x][backport][SC-171039][ss] Ajouter des informations de version au journal des modifications v2 pour permettre une évolution plus facile
• [SPARK-48903] [SC-171136][ss] Définir correctement la dernière version de capture instantanée de RocksDB lors du chargement à distance
• [SPARK-48742] [SC-170538][ss] Famille de colonnes virtuelles pour RocksDB
• [SPARK-48726] [15.x][sc-170753][SS] Créer le format de fichier StateSchemaV3 et l’écrire pour l’opérateur TransformWithStateExec
• [SPARK-48794] [SC-170882][connect][15.x] prise en charge de df.mergeInto pour Spark Connect (Scala et Python)
• [SPARK-48714] [SC-170136][python] Implémenter DataFrame.mergeInto dans PySpark
• [SPARK-48772] [SC-170642][ss][SQL] Mode de lecture du flux de modification de source de données d’État
• [SPARK-48666] [SC-170887][sql] Ne pas pousser le filtre s’il contient des fonctions PythonUDF
• [SPARK-48845] [SC-170889][sql] GenericUDF intercepte les exceptions des enfants
• [SPARK-48880] [SC-170974][core] Éviter de lever NullPointerException si le plug-in de pilote ne parvient pas à initialiser
• [SPARK-48888] [Backport][15x][SC-170973][ss] Supprimer la création de captures instantanées en fonction de la taille des opérations de changelog
• [SPARK-48871] [SC-170876] Correction de la validation INVALID_NON_DETERMINISTIC_EXPRESSIONS dans...
• [SPARK-48883] [SC-170894][ml][R] Remplacer l’appel de l’API de lecture/écriture RDD par l’appel d’API de lecture/écriture de trame de données
• [SPARK-36680] [SC-170640][sql] prend en charge les options de table dynamique pour Spark SQL
• [SPARK-48804] [SC-170558][sql] Ajouter classIsLoadable et vérification de OutputCommitter.isAssignableFrom pour les configurations de classe de la sortie de validateur
• [SPARK-46738] [SC-170791][python] Réactiver un groupe de doctests
• [SPARK-48858] [SC-170756][python] Supprimer l'appel de méthode obsolète setDaemon de Thread dans log_communication.py
• [SPARK-48639] [SC-169801][connect][PYTHON] Ajouter l’origine à RelationCommon
• [SPARK-48863] [SC-170770][es-1133940][SQL] Fix ClassCastException lors de l’analyse json avec «spark.sql.json.enablePartialResults » activé
• [SPARK-48343] [SC-170450][sql] Introduction de l’interpréteur de scripts SQL
• [SPARK-48529] [SC-170755][sql] Introduction des étiquettes dans le script SQL
• [SPARK-45292] Rétablir « [SC-151609][sql][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader »
• [SPARK-48037] [SC-165330][core][3.5] Corriger le manque de métriques liées à l'écriture shuffle dans SortShuffleWriter, ce qui entraîne des données potentiellement inexactes.
• [SPARK-48720] [SC-170551][sql] Aligner la commande ALTER TABLE ... UNSET TBLPROPERTIES ... dans v1 et v2
• [SPARK-48485] [SC-167825][connect][SS] Prise en charge de interruptTag et interruptAll dans les requêtes de streaming
• [SPARK-45292] [SC-151609][sql][HIVE] Supprimer guava des classes partagées de IsolatedClientLoader
• [SPARK-48668] [SC-169815][sql] Prise en charge de l’ALTER NAMESPACE ... PROPRIÉTÉS NON DÉFINIES dans v2
• [SPARK-47914] [SC-165313][sql] Ne pas afficher le paramètre des divisions dans Plage
• [SPARK-48807] [SC-170643][sql] Prise en charge binaire de la source de données CSV
• [SPARK-48220] [SC-167592][python][15.X] Autoriser la transmission d’une table PyArrow à createDataFrame()
• [SPARK-48545] [SC-169543][sql] Créer des fonctions to_avro et from_avro SQL pour faire correspondre les équivalents DataFrame
• [SPARK-47577] [SC-168875][spark-47579] Corriger l’utilisation trompeuse de la clé de journal TASK_ID

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Environnement du système

• Système d’exploitation : Ubuntu 24.04.1 LTS
• Java : Zulu17.50+19-CA
• Scala : 2.12.15
• Python : 3.12.3
• R : 4.4.0
• Delta Lake : 3.2.1

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 04-08-2024https://packagemanager.posit.co/cran/2024-08-04/.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)