Partager via

Mises à jour de maintenance de Databricks Runtime

Cet article liste les mises à jour de maintenance sur les versions non prises en charge de Databricks Runtime. Pour ajouter une mise à jour de maintenance à un cluster existant, redémarrez le cluster. Pour connaître les mises à jour de maintenance sur les versions non prises en charge de Databricks Runtime, consultez Mises à jour de maintenance pour Databricks Runtime (archivé).

Note

Les publications sont échelonnées. Il se peut que votre compte Azure Databricks ne se mette pas à jour pendant plusieurs jours après la date de publication initiale.

Versions de Databricks Runtime

Mises à jour de maintenance par version :

Databricks Runtime 17.3 LTS

Consultez Databricks Runtime 17.3 LTS.

  • 9 décembre 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.5 à 1.3.6
    • [SPARK-50906][SQL] Correction de la vérification de la nullabilité Avro pour les champs de structures réorganisés
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • [SPARK-52762][SDP] Ajouter un message PipelineAnalysisContext pour prendre en charge l’analyse du pipeline pendant l’exécution de la requête Spark Connect
    • [SPARK-54156][PROTOBUF] Classifier les erreurs pour l’échec de conversion ProtobufOptions
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Ajouter une fois à Defineflow Proto
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53729][PYTHON][CONNECT] Correction de la sérialisation de pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Correctif pour SparkUnsupportedOperationException Aucun encodeur trouvé pour le type T, lors de l’utilisation de la classe paramétrée
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • [SPARK-53794][SS] Ajouter une option pour limiter les suppressions par opération de maintenance associée au fournisseur d’état rocksdb
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache de plan
    • [SPARK-53972][SS] Correction de la régression recentProgress de requête en streaming dans pyspark classique
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 17.2

Consultez Databricks Runtime 17.2.

  • 9 décembre 2025
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-54180][SQL] Remplacer la méthode toString de BinaryFileFormat
    • [SPARK-50906][SQL] Correction de la vérification de la Nullability Avro pour les champs de struct réorganisés
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k à l’aide d’Apache DataSketches
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • [SPARK-53972][SS] Correction de la régression recentProgress de requête en streaming dans pyspark classique
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache de plan
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 8 octobre 2025
    • [SPARK-53555] Correctif : SparkML-connect ne peut pas charger le modèle enregistré SparkML (mode hérité)
    • [SPARK-53598][SQL] Vérifier l’existence de numParts avant de lire la propriété de table volumineuse
    • [SPARK-53625][SS] Propager des colonnes de métadonnées via des projections pour traiter l’incompatibilité ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • [SPARK-53623][SQL] améliorer la lecture des propriétés d'une grande table...
    • [SPARK-53729][PYTHON][CONNECT] Correction de la sérialisation de pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-53362] [ML] [CONNECT] Correction du bogue du chargeur local IDFModel
    • [SPARK-53382][SQL] Correction du bogue rCTE avec récursivité incorrecte
    • Backport du correctif pour test instable [SPARK-53345]
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • [SPARK-53423] [SQL] Déplacer toutes les balises de résolution à passe unique vers ResolverTag
    • [SPARK-53431][PYTHON] Correction de l’UDTF Python avec des arguments de table nommés dans l’API DataFrame
    • [SPARK-53336] [ML] [CONNECT] Réinitialiser MLCache.totalMLCacheSizeBytes quand MLCache.clear() il est appelé
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible doit éviter les interruptions en double
    • [SPARK-53470][SQL] Les expressions ExtractValue doivent toujours effectuer la vérification de type
    • Sélection ciblée de [SPARK-53389] Améliorations pour l’API Pandas sur Spark conforme à ANSI
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 17.1

Consultez Databricks Runtime 17.1.

  • 9 décembre 2025
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54180][SQL] Remplacer la toString de BinaryFileFormat
    • [SPARK-50906][SQL] Correction de la vérification de la nullabilité d'Avro pour les champs de structure réorganisés
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k à l’aide d’Apache DataSketches
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53972][SS] Correction de la régression recentProgress de requête en streaming dans pyspark classique
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache de plan
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • [SPARK-53549][SS] Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53625][SS] Propager des colonnes de métadonnées via des projections pour traiter l’incompatibilité ApplyCharTypePadding
    • [SPARK-53598][SQL] Vérifier l’existence de numParts avant de lire la propriété de table volumineuse
    • [SPARK-53623][SQL] améliorer la lecture des propriétés d'une grande table...
    • [SPARK-53555] Correctif : SparkML-connect ne peut pas charger le modèle enregistré SparkML (mode hérité)
    • [SPARK-53729][PYTHON][CONNECT] Correction de la sérialisation de pyspark.sql.connect.window.WindowSpec
    • Mises à jour de sécurité du système d’exploitation
  • 16 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-53362] [ML] [CONNECT] Correction du bogue du chargeur local IDFModel
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible doit éviter les interruptions en double
    • [SPARK-53382][SQL] Correction du bogue rCTE avec récursivité incorrecte
    • [SPARK-53431][PYTHON] Correction de l’UDTF Python avec des arguments de table nommés dans l’API DataFrame
    • [SPARK-53336] [ML] [CONNECT] Réinitialiser MLCache.totalMLCacheSizeBytes quand MLCache.clear() il est appelé
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • Mises à jour de sécurité du système d’exploitation
  • 25 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.3 à 1.3.5
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • [SPARK-53192][CONNECT] Mettent toujours en cache une source de données dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-52833][SQL] Correctif VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Correction de l’UDTF Python optimisé par flèche avec 0-arg eval sur la jointure latérale
    • [SPARK-51505][SQL] Afficher toujours les métriques de numéro de partition vides dans AQEShuffleReadExec
    • [SPARK-52753][SQL] Rendre le fichier binaire parseDataType compatible avec les versions précédentes
    • [SPARK-52842][SQL] Nouvelles fonctionnalités et correctifs de bogues pour l’analyseur à passe unique
    • [SPARK-52960][SQL] Afficher la chaîne de sous-arborescence dans LogicalQueryStage toString
    • [SPARK-53054][CONNECT] Corrigez la connexion. Comportement de format par défaut de DataFrameReader
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 17.0

Consultez Databricks Runtime 17.0.

  • 9 décembre 2025
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • Pour le connecteur Snowflake et Snowflake Lakehouse Federation, TIMESTAMP_NTZ les littéraux (d’horodatage sans fuseau horaire) ne sont plus transférés vers Snowflake. Cette modification empêche les échecs de requête causés par la gestion des horodatages incompatibles et améliore la fiabilité des requêtes affectées.
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-54180][SQL] Remplacer la méthode toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache de plan
    • [SPARK-53972][SS] Correction de la régression recentProgress de requête en streaming dans pyspark classique
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53598][SQL] Vérifier l’existence de numParts avant de lire la propriété de table volumineuse
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • [SPARK-53549][SS] Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
    • [SPARK-53623][SQL] améliorer la lecture des propriétés d'une grande table...
    • [SPARK-53729][PYTHON][CONNECT] Correction de la sérialisation de pyspark.sql.connect.window.WindowSpec
    • Mises à jour de sécurité du système d’exploitation
  • 16 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible doit éviter les interruptions en double
    • [SPARK-53336] [ML] [CONNECT] Réinitialiser MLCache.totalMLCacheSizeBytes quand MLCache.clear() il est appelé
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • [SPARK-53431][PYTHON] Correction de l’UDTF Python avec des arguments de table nommés dans l’API DataFrame
    • [SPARK-53382][SQL] Correction du bogue rCTE avec récursivité incorrecte
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.3 à 1.3.5
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • [SPARK-53192][CONNECT] Mettent toujours en cache une source de données dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51505][SQL] Afficher toujours les métriques de numéro de partition vides dans AQEShuffleReadExec
    • [SPARK-53054][CONNECT] Corrigez la connexion. Comportement de format par défaut de DataFrameReader
    • [SPARK-52961][PYTHON] Correction de l’UDTF Python optimisé par flèche avec 0-arg eval sur la jointure latérale
    • [SPARK-52833][SQL] Correctif VariantBuilder.appendFloat
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • [SPARK-51889][PYTHON][SS] Correction d’un bogue pour MapState clear() dans Python TWS
    • [SPARK-52753][SQL] Rendre le fichier binaire parseDataType compatible avec les versions précédentes
    • [SPARK-49428][SQL] Déplacer Connect Scala Client de Connector à SQL
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52430][SQL] Résoudre le bogue lié à la possibilité de valeur Null de Union dans les rCTE
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-52450] Améliorer les performances du clonage intégral du schéma
    • [SPARK-52599][PYTHON] Prendre en charge le vidage de traceback périodique dans les workers côté pilote
    • [SPARK-52553][SS] Correction de NumberFormatException lors de la lecture du journal des modifications v1
    • Mises à jour de sécurité du système d’exploitation
  • 28 mai 2025
    • Bibliothèques Python mises à jour :
      • google-auth de 2.40.0 à 2.40.1
      • mlflow-skinny de 2.22.0 à 3.0.0
      • opentelemetry-api de 1.32.1 à 1.33.0
      • opentelemetry-sdk de 1.32.1 à 1.33.0
      • opentelemetry-semantic-conventions de la version 0.53b1 à la version 0.54b0
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.0 à 1.3.3
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Correction de la limitation empêchant l'utilisation de la fonction TVF cloud_files_state pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • Corrige les problèmes d’autorisation du catalogue Unity pour les requêtes sur les vues temporaires.
    • Indicateur inversé dans la version 17.0.1, déploiement de l’indicateur SAFE pour tous les espaces de travail pour la version 17.0.0
    • Prise en charge de Delta Sharing pour l’utilisation du cache d’E/S Spark Parquet pour les requêtes qui utilisent des URL pré-signées (disponible à partir de la version 17.0.1).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Le connecteur Teradata passe désormais un TMODE=ANSI au pilote par défaut. Cela signifie que toutes les comparaisons de chaînes effectuées via Lakehouse Federation seront sensibles à la casse.
    • [SPARK-51921][SS][PYTHON] Utilisation du type long pour la durée de vie en millisecondes dans transformWithState
    • [SPARK-52259][ML][CONNECT] Correction de la compatibilité binaire de la classe Param
    • [SPARK-52195][PYTHON][SS] Correction du problème de suppression de colonne d’état initiale pour Python TWS
    • [SPARK-52057] [ML] [CONNECT] Collecte des messages d’avertissement de limite de taille de l’arborescence vers le client
    • [SPARK-52051] [ML] [CONNECT] Activer le résumé du modèle lorsque le contrôle de mémoire est activé
    • [SPARK-51606][CONNECT] Ajouter SPARK_IDENT_STRING lors de l’arrêt du serveur Spark Connect
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52232][SQL] Correction des requêtes non déterministes pour produire des résultats différents à chaque étape
    • [SPARK-52013] [CONNECT] [ML] Suppression de SparkConnectClient.ml_caches
    • [SPARK-52353][SQL] Correction d’un bogue avec des contraintes incorrectes dans LogicalRDDs référençant les itérations précédentes dans UnionLoop
    • [SPARK-52130] [ML] [CONNECT] Affiner le message d’erreur et masquer la configuration spark interne
    • [SPARK-52470][ML][CONNECT] Prise en charge du déchargement du résumé du modèle
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • [SPARK-52010] Ne pas générer de documents d’API pour les classes internes
    • [SPARK-52049] Correction du bogue que les attributs XML ne peuvent pas être analysés en tant que variant
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • [SPARK-52229][ML][CONNECT] Améliorer l’estimation de la taille du modèle
    • [SPARK-50815][PYTHON] Corriger la conversion des données locales de type variant vers Arrow
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
    • [SPARK-51981][SS] Ajouter jobTags à queryStartedEvent
    • [FIX REVERT][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Activation du remplacement de la limite du niveau de récursivité dans la syntaxe
    • [SPARK-52101][SQL] Désactiver le forçage inline pour les RCTEs
    • [SPARK-52099][SQL] Permettre de dépasser la limite de lignes de récursivité en ajoutant un opérateur LIMIT
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 16.4 LTS

Consultez Databricks Runtime 16.4 LTS.

  • 9 décembre 2025
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à partir de maintenant. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • Pour le connecteur Snowflake et Snowflake Lakehouse Federation, TIMESTAMP_NTZ les littéraux (d’horodatage sans fuseau horaire) ne sont plus transférés vers Snowflake. Cette modification empêche les échecs de requête causés par la gestion des horodatages incompatibles et améliore la fiabilité des requêtes affectées.
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54156][PROTOBUF] Classifier les erreurs pour l’échec de conversion ProtobufOptions
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 16.1.0 à 21.0.0
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • [SPARK-53623][SQL] améliorer la lecture des propriétés d'une grande table...
    • [SPARK-53598][SQL] Vérifier l’existence de numParts avant de lire la propriété de table volumineuse
    • [SPARK-53549][SS] Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
    • Mises à jour de sécurité du système d’exploitation
  • 16 septembre 2025
    • Le connecteur Snowflake utilise désormais la INFORMATION_SCHEMA table au lieu de la SHOW SCHEMAS commande pour répertorier les schémas. Cette modification supprime la limite de 10 000 schémas de l’approche précédente et améliore la prise en charge des bases de données avec un grand nombre de schémas.
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • Corrige une erreur temporaire dans le chargeur automatique qui peut entraîner l’échec des travaux
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • [SPARK-51821][CORE] Interruption d’appel () sans tenir uninterruptibleLock pour éviter le blocage possible
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.7 à 1.2.8
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.7 à 1.2.8
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • [SPARK-53192][CONNECT] Mettent toujours en cache une source de données dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour savoir si une tâche va être interrompue lors de la mort
    • [SPARK-52833][SQL] Correctif VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Afficher toujours les métriques de numéro de partition vides dans AQEShuffleReadExec
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • [SPARK-52753][SQL] Rendre le fichier binaire parseDataType compatible avec les versions précédentes
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-52553][SS] Correction de NumberFormatException lors de la lecture du journal des modifications v1
    • [SPARK-52450] Améliorer les performances du clonage intégral du schéma
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
    • [SPARK-52599][PYTHON] Prendre en charge le vidage de traceback périodique dans les workers côté pilote
    • Mises à jour de sécurité du système d’exploitation
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • Correction des problèmes d’autorisation du catalogue Unity pour les requêtes sur les vues temporaires.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • [SPARK-52195][PYTHON][SS] Correction du problème de suppression de colonne d’état initiale pour Python TWS
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Divers correctifs de bogues.
  • 7 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.2.3 à 1.2.7
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$['key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • [SPARK-51921][SS][PYTHON] Utilisation du type long pour la durée de vie en millisecondes dans transformWithState
    • [SPARK-51940][SS] Ajouter une interface pour gérer les métadonnées de point de contrôle de streaming
    • [SPARK-52049] Correction du bogue que les attributs XML ne peuvent pas être analysés en tant que variant
    • [SPARK-51904][SS] Suppression de la purge asynchrone des métadonnées pour StateSchemaV3 et ignorer les fichiers non-batch lors de la liste des fichiers OperatorMetadata
    • [SPARK-51869][SS] Créer une classification pour les erreurs utilisateur dans les UDF pour Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Correction d’un bogue pour MapState clear() dans Python TWS
    • [SPARK-51922] [SS] Correction de UTFDataFormatException générée par StateStoreChangelogReaderFactory pour v1
    • [SPARK-51848][SQL] Correction de l’analyse des enregistrements XML avec un schéma défini contenant des tableaux/structures/cartes de Variant
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 16.2

Consultez Databricks Runtime 16.2 (EoS).

  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour savoir si une tâche va être interrompue lors de la mort
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52553][SS] Correction de NumberFormatException lors de la lecture du journal des modifications v1
    • Mises à jour de sécurité du système d’exploitation
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 41.0.7, 41.0.7, 42.0.5 vers 42.0.5
      • packaging de 24.0, 24.1 vers 24.1
      • platformdirs de 3.10.0, 4.2.2 vers 3.10.0
      • pyparsing de 3.0.9, 3.1.1 vers 3.0.9
      • Ajout de la commande automatique 2.2.2
      • Ajout de backports.tarfile 1.2.0
      • Ajout de importlib_resources 6.4.0
      • Ajout de inflect 7.3.1
      • Ajout de jaraco.context 5.3.0
      • Ajout de jaraco.functools 4.0.1
      • Ajouté le module jaraco.text 3.12.1
      • Ajout de more-itertools 10.3.0
      • Ajout de pip 24.2
      • Ajout de setuptools 74.0.0
      • Ajout de tomli 2.0.1
      • Ajout de Typeguard version 4.3.0
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.43.0
      • Suppression de la version 1.9.0
      • Suppression de distro-info 1.7+build1
      • Suppression de python-apt 2.7.7+ubuntu4
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • [SPARK-52195][PYTHON][SS] Correction du problème de suppression de colonne d’état initiale pour Python TWS
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta-sharing-client_2.12 de 1.2.6 à 1.2.7
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$[' key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • [SPARK-51921][SS][PYTHON] Utilisation du type long pour la durée de vie en millisecondes dans transformWithState
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • [SPARK-51717][SS][RocksDB] Corriger l’altération de l’incompatibilité SST qui peut se produire pour la deuxième capture instantanée créée pour une nouvelle requête
    • Annuler « [SPARK-47895][SQL] group by alias doit être idempotent » dans les versions 15.4, 16.0, 16.1, 16.2 et 16.3
    • Mises à jour de sécurité du système d’exploitation

  • 9 avril 2025

    • Bibliothèques Java mises à jour :
      • Suppression de io.starburst.openjson.openjson 1.8-e.12
      • Suppression de io.starburst.openx.data.json-serde 1.3.9-e.12
      • Suppression de io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias doit être idempotent
    • [SPARK-51505][SQL] Journaliser les métriques de numéro de partition vide dans AQE coalesce
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • [SPARK-51589][SQL] Correction d’un petit bogue qui ne parvient pas à vérifier les fonctions d’agrégation dans |>SELECT
    • Mises à jour de sécurité du système d’exploitation

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • Rétablir « [SPARK-48273][SQL] Corriger la réécriture tardive de PlanWithUnresolvedIdentifier »
    • [SPARK-50985][SS] Classifier l’erreur d’incompatibilité des décalages de timestamp Kafka au lieu d’affirmer et de lever une erreur pour le serveur manquant dans KafkaTokenProvider
    • [SPARK-51065][SQL] Interdiction du schéma non nullable lorsque l'encodage Avro est utilisé pour TransformWithState
    • [SPARK-51237][SS] Ajouter des détails d’API pour les nouvelles API transformWithState helper en fonction des besoins
    • [SPARK-51222][SQL] Optimiser ReplaceCurrentLike
    • [SPARK-51351][SS] Ne pas matérialiser la sortie dans le worker Python pour TWS
    • [SPARK-51084][SQL] Affecter la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • [SPARK-51249][SS] Correction de l’encodage NoPrefixKeyStateEncoder et Avro pour utiliser le nombre correct d’octets de version
    • Mises à jour de sécurité du système d’exploitation

  • 5 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50770][SS] Supprimer l’étendue du package pour les API d’opérateur transformWithState
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 15.4 LTS

Consultez Databricks Runtime 15.4 LTS.

  • 9 décembre 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.7 à 1.1.9
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-54180][SQL] Remplacer la toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 14.0.0.2 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Le critère de photonisation du scan est mis à jour pour autoriser la photonisation du scan quand la vérification du checksum est requise.
      Déterminer si la vérification de checksum est requise provient désormais de la configuration Hadoop plutôt que de la configuration SQLConf.
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • Divers correctifs de bogues.
  • 16 septembre 2025
    • Le connecteur Snowflake utilise désormais la INFORMATION_SCHEMA table au lieu de la SHOW SCHEMAS commande pour répertorier les schémas. Cette modification supprime la limite de 10 000 schémas de l’approche précédente et améliore la prise en charge des bases de données avec un grand nombre de schémas.
    • [SPARK-50870][SQL] Ajouter le fuseau horaire lors de la conversion en horodatage dans V2ScanRelationPushDown
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • Corrige une erreur temporaire dans le chargeur automatique qui peut entraîner l’échec des travaux
    • [SPARK-51821][CORE] Interruption d’appel () sans tenir uninterruptibleLock pour éviter le blocage possible
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.6 à 1.1.7
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • [SPARK-53192][CONNECT] Mettent toujours en cache une source de données dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour savoir si une tâche va être interrompue lors de la mort
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation

  • 21 juillet 2025

    • Pour le calcul activé pour Photon ou utilise le processeur Arm64, mlflow-skinny est mis à niveau vers la version 2.19.0, ray est mis à niveau vers la version 2.37.0 et databricks-feature-engineering est mis à niveau vers 0.8.0.

  • 15 juillet 2025

    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
  • 1 juillet 2025
    • Bibliothèques Java mises à jour :
      • org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.11.3
      • Suppression de com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Suppression de org.slf4j.slf4j-simple 1.7.25
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-49646][SQL] corriger la décorélation des sous-requêtes pour les opérations d'union/de regroupement lorsque `parentOuterReferences` a des références non couvertes dans `collectedChildOuterReferences`
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 3.4.8, 41.0.3 vers 41.0.3
      • filelock de 3.13.4, 3.15.4 vers 3.13.4
      • importlib-metadata de 4.6.4, 6.0.0 vers 6.0.0
      • platformdirs de 3.10.0, 3.11.0 vers 3.10.0
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • zipp de 1.0.0, 3.11.0 vers 3.11.0
      • Ajout de pip 23.2.1
      • Ajout de setuptools 68.0.0
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.38.4
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 vers 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 vers 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 vers 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf vers 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf vers 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 à 1.6.2
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.5 à 1.1.6
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$['key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • Bibliothèques Java mises à jour :
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • Annuler « [SPARK-47895][SQL] group by alias doit être idempotent » dans les versions 15.4, 16.0, 16.1, 16.2 et 16.3
    • [SPARK-50682][SQL] L’alias interne doit être canonique
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025
    • (Changement comportemental) Pour appliquer des correctifs de sécurité critiques, la version python par défaut est mise à jour vers Python 3.11.11 à partir de Python 3.11.0rc1. Cette mise à jour peut avoir un impact sur certaines charges de travail s’exécutant sur Databricks Runtime 15.4 LTS, telles que les charges de travail qui utilisent la sérialisation Python pour stocker et restaurer l’état entre les exécutions ou les charges de travail qui épinglent à la version 3.11.0 python.
    • Bibliothèques Java mises à jour :
      • Suppression de io.starburst.openjson.openjson 1.8-e.12
      • Suppression de io.starburst.openx.data.json-serde 1.3.9-e.12
      • Suppression de io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias doit être idempotent
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • Mises à jour de sécurité du système d’exploitation
  • 31 mars 2025
    • Pour le calcul non activé pour Photon, databricks-feature-engineering est mis à niveau vers la version 0.8.0. Pour le calcul Photon, databricks-feature-engineering reste à 0.6.0.

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • [SPARK-50985][SS] Classifier l’erreur d’incompatibilité des décalages de timestamp Kafka au lieu d’affirmer et de lever une erreur pour le serveur manquant dans KafkaTokenProvider
    • [SPARK-50791][SQL] Correction de NPE dans la gestion des erreurs du Magasin d’états
    • [SPARK-50310][PYTHON] Améliorer les performances des colonnes lorsque DQC est désactivé
    • [SPARK-51222][SQL] Optimiser ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Amélioration mineure des journaux de l’écouteur de requête de diffusion en continu côté serveur ListenerBus
    • [SPARK-51084][SQL] Affecter la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • Mises à jour de sécurité du système d’exploitation

  • 11 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50492][SS] Correction de java.util.NoSuchElementException lorsque la colonne d’heure de l’événement est supprimée après dropDuplicatesWithinWatermark
    • Mises à jour de sécurité du système d’exploitation
    • Pour le calcul non activé pour Photon, mlflow-skinny est mis à niveau vers la version 2.19.0. Pour le calcul Photon, mlflow-skinny reste à 2.13.1.
  • 10 décembre 2024
    • L’instruction USE CATALOG prend désormais en charge la clause IDENTIFIER. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre.
    • Cette version inclut un correctif pour un problème qui peut entraîner la suppression de la clé primaire d’une table Delta dans certains cas limites liés au compactage automatique en arrière-plan.
    • Avec cette version, la taille du cache utilisée par un disque SSD dans un nœud de calcul Databricks s’étend dynamiquement à la taille initiale du disque SSD et diminue si nécessaire, jusqu’à la spark.databricks.io.cache.maxDiskUsage limite. Consultez Optimiser les performances avec la mise en cache sur Azure Databricks.
    • Le package pyodbc est mis à jour de la version 4.0.38 à la version 4.0.39. Cette modification est requise, car un bogue a été trouvé dans la version 4.0.38 et que cette version a été supprimée de PyPI.
    • [SPARK-50329][SQL] corriger InSet$toString
    • [SPARK-47435][SQL] Correction du problème de dépassement de capacité de MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Prendre en charge l’expression IDENTIFIER dans l’instruction SETCATALOG
    • [SPARK-50426][PYTHON] Éviter la recherche statique de source de données Python lors de l’utilisation de sources de données intégrées ou Java
    • [SPARK-48863][SQL] Correction de ClassCastException lors de l’analyse de JSON avec «spark.sql.json.enablePartialResults » activé
    • [SPARK-50310][PYTHON] Ajouter un indicateur pour désactiver DataFrameQueryContext pour PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Corriger l’erreur de signalement des erreurs fatales en tant qu’exceptions non interceptées dans SparkUncaughtExceptionHandler
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • Avec cette version, vous pouvez maintenant interroger la fonction vector_search à l’aide de query_text pour l’entrée de texte ou query_vector pour l’incorporation d’entrée.
    • Vous pouvez maintenant définir un délai d’expiration pour les requêtes Spark Connect à l’aide de la propriété de configuration Spark spark.databricks.execution.timeout. Pour les notebooks s’exécutant sur le calcul sans serveur, la valeur par défaut est 9000 (secondes). Les travaux exécutés sur le calcul serverless et le calcul avec le mode d’accès standard n’ont pas de délai d’expiration, sauf si cette propriété de configuration est définie. Une exécution qui dure plus longtemps que le délai d’expiration spécifié entraîne une erreur QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Correction de l’identificateur paramétrable dans une sous-requête
    • [SPARK-49615] [ML] Rendre la validation du schéma des jeux de données de tous les transformateurs de fonctionnalités ML conforme au paramètre « spark.sql.caseSensitive ».
    • [SPARK-50124][SQL] LIMIT/OFFSET doit conserver l’ordre des données
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • (Changement majeur) Dans Databricks Runtime 15.4 LTS et versions ultérieures, la gestion des expressions régulières dans Photon est mise à jour afin d'aligner sur le comportement de la gestion des expressions régulières d'Apache Spark. Auparavant, les fonctions d’expression régulière exécutées par Photon, telles que split() et regexp_extract(), acceptaient certaines expressions régulières rejetées par l’analyseur Spark. Pour maintenir la cohérence avec Apache Spark, les requêtes Photon échouent désormais pour les expressions régulières que Spark considère non valides. En raison de cette modification, vous pouvez voir des erreurs si votre code Spark inclut des expressions régulières non valides. Par exemple, l’expression split(str_col, '{'), qui contient une accolade sans correspondance et qui a été précédemment acceptée par Photon, échoue désormais. Pour corriger cette expression, vous pouvez échapper au caractère d’accolades : split(str_col, '\\{'). Le comportement de Photon et Spark diffère également dans certaines correspondances d’expressions régulières de caractères non-ASCII. Ceci est également mis à jour afin que Photon corresponde au comportement d’Apache Spark.
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [SPARK-49867][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49443][SQL][PYTHON] Implémenter l'expression to_variant_object et faire en sorte que les expressions schema_of_variant affichent OBJECT pour les objets Variant
    • [SPARK-49615] Correctif de bogue : Rendre la validation du schéma de colonne ML conforme à la configuration spark.sql.caseSensitiveSpark.
  • 22 octobre 2024
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [SPARK-49867][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49443][SQL][PYTHON] Implémenter l'expression to_variant_object et faire en sorte que les expressions schema_of_variant affichent OBJECT pour les objets Variant
    • [SPARK-49615] Correctif de bogue : Rendre la validation du schéma de colonne ML conforme à la configuration spark.sql.caseSensitiveSpark.
  • 10 octobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields
    • [SPARK-49688][CONNECT] Corriger une course aux données entre l’interruption et le plan d’exécution
    • [BACKPORT] [SPARK-49474][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
    • [SPARK-49460][SQL] Suivi : corriger le risque NPE potentiel
  • 25 septembre 2024
    • [SPARK-49628][SQL] ConstantFolding doit copier l’expression avec état avant d’évaluer
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Nouvelle tentative de rattachement sur le ExecutionHolder inactif
    • [SPARK-49458][CONNECT][PYTHON] Fournir l’ID de session côté serveur via ReattachExecute
    • [SPARK-49017][SQL] L’instruction Insert échoue lorsque plusieurs paramètres sont utilisés
    • [SPARK-49451] Autorisez les clés dupliquées dans parse_json.
    • Divers correctifs de bogues.
  • 17 septembre 2024
    • [SPARK-48463][ML] Faire en sorte que Binarizer, Bucketizer, Vector Assembleur, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor prennent en charge les colonnes d’entrée imbriquées
    • [SPARK-49409][CONNECT] Ajustez la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Prise en charge des chemins d’accès style Windows dans ArtifactManager
    • Rétablir « [SPARK-48482][PYTHON] dropDuplicates et dropDuplicatesWithinWatermark doivent accepter des arguments de longueur variable »
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-49366][CONNECT] Considérer le nœud Union comme une feuille dans la résolution des colonnes de dataframe
    • [SPARK-49018][SQL] Correction de approx_count_distinct qui ne fonctionne pas correctement avec le classement
    • [SPARK-49460][SQL] Supprimer cleanupResource() de EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-49336][CONNECT] Limiter le niveau d’imbrication lors de la troncation d’un message protobuf
  • 29 août 2024
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • [SPARK-48941][SPARK-48970] Corrections de rétroportage de l’enregistreur/lecteur ML
    • [SPARK-49074][SQL] Correction de la variante avec df.cache()
    • [SPARK-49263][CONNECT] Client Python Spark Connect : gérer de manière cohérente les options de lecteur de Dataframe booléen
    • [SPARK-48955][SQL] Inclure les modifications ArrayCompact dans la version 15.4
    • [SPARK-48937][SQL] Ajouter la prise en charge du classement pour les expressions de chaîne StringToMap
    • [SPARK-48929] Corriger l’erreur interne d’affichage et nettoyer le contexte d’exception de l’analyseur
    • [SPARK-49125][SQL] Autoriser les noms de colonnes dupliqués en écriture CSV
    • [SPARK-48934][SS] Types datetime Python convertis de manière incorrecte pour définir le délai d’expiration dans applyInPandasWithState
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [SPARK-48981] Corriger la méthode simpleString de StringType dans pyspark pour les classements
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections de rétroportage de l’enregistreur ML Spark
    • [SPARK-48725][SQL] Intégrer CollationAwareUTF8String.lowerCaseCodePoints dans des expressions de chaîne
    • [SPARK-48978][SQL] Implémentation du chemin d’accès rapide ASCII dans la prise en charge du classement pour UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Tronquer le message pour la journalisation
    • [SPARK-49146][SS] Déplacer les erreurs d’assertion liées au filigrane manquant dans les requêtes de streaming en mode Ajout vers l’infrastructure d’erreur
    • [SPARK-48977][SQL] Optimiser la recherche de chaînes sous le classement UTF8_LCASE
    • [SPARK-48889][SS] testStream pour décharger les stores d'état avant de terminer
    • [SPARK-48463] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • [SPARK-48954] try_mod() remplace try_remainder()
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 14.3 LTS

Consultez Databricks Runtime 14.3 LTS.

  • 9 décembre 2025
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-54180][SQL] Remplacer la toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 12.0.1 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • Divers correctifs de bogues.
  • 16 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.6 à 1.1.7
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
    • Divers correctifs de bogues.
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [SPARK-52521][SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-49646][SQL] corriger la décorélation des sous-requêtes pour les opérations d'union/de regroupement lorsque `parentOuterReferences` a des références non couvertes dans `collectedChildOuterReferences`
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 3.4.8, 39.0.1 vers 39.0.1
      • platformdirs de 2.5.2, 2.6.2 vers 2.5.2
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • Ajout de pip 22.3.1
      • Ajout de setuptools 65.6.3
      • Ajout de tomli 2.0.1
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.38.4
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 vers 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 vers 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 vers 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf vers 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf vers 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 à 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.5 à 1.1.6
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • Mises à jour de sécurité du système d’exploitation

  • 9 avril 2025

    • [Changement de comportement] Les opérations de vide effectuent désormais des vérifications de protocole Writer similaires à d’autres opérations, ce qui empêche les nettoyages inattendus sur les tables avec des fonctionnalités plus récentes lorsqu’elles sont exécutées à partir d’anciennes versions de DBR incompatibles.
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • Mises à jour de sécurité du système d’exploitation

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • [SPARK-50791][SQL] Correction de NPE dans la gestion des erreurs du Magasin d’états
    • [SPARK-50705][SQL] Rendre QueryPlan le verrou libre
    • [SPARK-49525][SS][CONNECT] Amélioration mineure des journaux de l’écouteur de requête de diffusion en continu côté serveur ListenerBus
    • Mises à jour de sécurité du système d’exploitation

  • 11 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50492][SS] Correction de java.util.NoSuchElementException lorsque la colonne d’heure de l’événement est supprimée après dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Affecter la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Cette version inclut un correctif pour un problème qui peut entraîner la suppression de la clé primaire d’une table Delta dans certains cas limites liés au compactage automatique en arrière-plan.
    • [SPARK-50329][SQL] corriger InSet$toString
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • [SPARK-49615] [ML] Rendre la validation du schéma des jeux de données de tous les transformateurs de fonctionnalités ML conforme au paramètre « spark.sql.caseSensitive ».
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • [BACKPORT] [SPARK-49474][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields
    • [SPARK-49688][CONNECT] Corriger une course aux données entre l’interruption et le plan d’exécution
  • 25 septembre 2024
    • [SPARK-48810][CONNECT] L’API d’arrêt de session doit être idempotente et ne pas échouer si la session est déjà fermée par le serveur
    • [SPARK-48719][SQL] Correction du bogue de calcul de « RegrS...
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding doit copier l’expression avec état avant d’évaluer
    • [SPARK-49492][CONNECT] Nouvelle tentative de rattachement sur le ExecutionHolder inactif
    • Mises à jour de sécurité du système d’exploitation
  • 17 septembre 2024
    • [SPARK-49336][CONNECT] Limiter le niveau d’imbrication lors de la troncation d’un message protobuf
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-48463][ML] Faire en sorte que Binarizer, Bucketizer, Vector Assembleur, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor prennent en charge les colonnes d’entrée imbriquées
    • [SPARK-49526][CONNECT] Prise en charge des chemins d’accès de style Windows dans ArtifactManager
    • [SPARK-49409][CONNECT] Ajustez la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Considérer le nœud Union comme une feuille dans la résolution des colonnes de dataframe
  • 29 août 2024
    • [SPARK-49146][SS] Déplacer les erreurs d’assertion liées au filigrane manquant dans les requêtes de streaming en mode Ajout vers l’infrastructure d’erreur
    • [SPARK-48862][PYTHON][CONNECT] Éviter d’appeler _proto_to_string lorsque le niveau INFO n’est pas activé
    • [SPARK-49263][CONNECT] Client Python Spark Connect : gérer de manière cohérente les options de lecteur de Dataframe booléen
  • 14 août 2024
    • [SPARK-48941][SPARK-48970] Corrections de rétroportage de l’enregistreur/lecteur ML
    • [SPARK-48706][PYTHON] L’UDF Python dans les fonctions d’ordre supérieur ne doit pas lever d’erreur interne
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-48597][SQL] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-48934][SS] Types datetime Python convertis de manière incorrecte pour définir le délai d’expiration dans applyInPandasWithState
  • 1er août 2024
    • Cette version inclut un correctif de bogue pour les classes ColumnVector et ColumnarArray de l’interface Java Spark. Avant ce correctif, une ArrayIndexOutOfBoundsException pouvait être levée, ou des données incorrectes pouvaient être renvoyées lorsqu’une instance de l’une de ces classes contenait des valeurs null.
    • Sur le calcul serverless pour les notebooks et les travaux, le mode SQL ANSI est activé par défaut. Consultez les paramètres de configuration Spark pris en charge.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections de rétroportage de l’enregistreur ML Spark
    • [SPARK-48889][SS] testStream pour décharger les stores d'état avant de terminer
    • [SPARK-48705][PYTHON] Utiliser explicitement worker_main lorsqu’il commence par pyspark
    • [SPARK-48047][SQL] Réduire la sollicitation de la mémoire des balises TreeNode vides
    • [SPARK-48544][SQL] Réduire la sollicitation de la mémoire des bitSets TreeNode vides
    • [SPARK-46957][CORE] Le déclassement des fichiers aléatoires migrés doit être en mesure de nettoyer à partir de l’exécuteur
    • [SPARK-48463] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • [SPARK-47202][PYTHON] Correction des datetimes de rupture de typo avec tzinfo
    • [SPARK-47713][SQL][CONNECT] Corriger un échec de jointure automatique
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • (Modification du comportement) Les DataFrames mis en cache sur les sources de table Delta sont désormais invalidés si la table source est remplacée. Cette modification signifie que toutes les modifications d’état apportées aux tables Delta invalident désormais les résultats mis en cache. Utilisez .checkpoint() pour conserver un état de table tout au long de la durée de vie d’un DataFrame.
    • Le pilote JDBC Snowflake est mis à jour à la version 3.16.1.
    • Cette version inclut un correctif à un problème qui empêchait l’affichage correct de l’onglet Environnement de l’interface utilisateur Spark lors de l’exécution dans Databricks Container Services.
    • Sur le calcul serverless pour les notebooks et les travaux, le mode SQL ANSI est activé par défaut. Consultez les paramètres de configuration Spark pris en charge.
    • Pour ignorer les partitions non valides lors de la lecture des données, des sources de données basées sur des fichiers, telles que Parquet, ORC, CSV ou JSON, peuvent définir l’option de source de données ignoreInvalidPartitionPaths sur true. Par exemple : spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…). Vous pouvez également utiliser la configuration SQL spark.sql.files.ignoreInvalidPartitionPaths. Toutefois, l’option de source de données est prioritaire sur la configuration SQL. Ce paramètre est false par défaut.
    • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags est correctement threadlocal
    • [SPARK-48445][SQL] Ne pas intégrer les UDF (fonctions définies par l’utilisateur) avec des composants enfants coûteux
    • [SPARK-48481][SQL][SS] Ne pas appliquer OptimizeOneRowPlan à un jeu de données de streaming
    • [SPARK-48383][SS] Générer une meilleure erreur pour les partitions décohérentes dans l'option 'startOffset' de Kafka.
    • [SPARK-48503][SQL] Correction des sous-requêtes scalaires non valides avec group-by sur des colonnes non équivalentes qui ont été incorrectement autorisées.
    • [SPARK-48100][SQL] Résoudre les problèmes liés à l’ignorer des champs de structure imbriqués non sélectionnés dans le schéma
    • [SPARK-48273][SQL] Correction de la réécriture tardive de PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Update CommonExpressionRef si nécessaire
    • [SPARK-48475][PYTHON] Optimisez _get_jvm_function dans PySpark.
    • [SPARK-48292][CORE] Rétablissement de[SPARK-39195][SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • applyInPandasWithState() est disponible sur le calcul avec le mode d’accès standard.
    • Corrige un bogue dans lequel l’optimisation de la fenêtre de classement à l’aide de Photon TopK a mal géré les partitions avec des structs.
    • [SPARK-48310][PYTHON][CONNECT] Les propriétés mises en cache doivent retourner des copies
    • [SPARK-48276][PYTHON][CONNECT] Ajouter la méthode manquante __repr__ pour SQLExpression
    • [SPARK-48294][SQL] Gestion des minuscules dans nestedTypeMissingElementTypeError
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • (Modification du comportement) dbutils.widgets.getAll() est désormais pris en charge pour obtenir toutes les valeurs de widget dans un bloc-notes.
    • Correction d’un bogue dans la fonction try_divide() où les entrées contenant des décimales ont entraîné des exceptions inattendues.
    • [SPARK-48056][CONNECT][PYTHON] Réexécutez le plan si une erreur de SESSION_NOT_FOUND est déclenchée et qu’aucune réponse partielle n’a été reçue
    • [SPARK-48146][SQL] Corriger la fonction d’agrégation dans l’assertion enfant d’expression With
    • [SPARK-47986][CONNECT][PYTHON] Impossible de créer une session lorsque la session par défaut est fermée par le serveur
    • [SPARK-48180][SQL] Améliorer l’erreur lorsque l’appel UDTF avec l’argument TABLE oublie les parenthèses autour de plusieurs expressions PARTITION/ORDER BY
    • [SPARK-48016][SQL] Correction d’un bogue dans try_divide fonction lorsqu’il s’agit de décimales
    • [SPARK-48197][SQL] Éviter l’erreur d’assertion pour la fonction lambda non valide
    • [SPARK-47994][SQL] Corriger un bogue de CASSE avec le filtre de colonne dans SQLServer
    • [SPARK-48173][SQL] CheckAnalysis doit voir l’intégralité du plan de requête
    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • (Modification du comportement) applyInPandas et mapInPandas les types UDF sont désormais pris en charge sur le calcul en mode d’accès partagé exécutant Databricks Runtime 14.3 LTS et versions ultérieures.
    • [SPARK-47739][SQL] Inscrire le type avro logique
    • [SPARK-47941] [SS] [Connect] Propager aux utilisateurs les erreurs d'initialisation du worker ForeachBatch pour PySpark
    • [SPARK-48010][SQL] Éviter les appels répétés à conf.resolver dans resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Vérification de validité pour une référence LCA non résolue
    • [SPARK-47543][CONNECT][PYTHON] Déduire dict comme Mapype à partir de Pandas DataFrame pour permettre la création de DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Utilisation du rappel asynchrone pour le nettoyage de l’exécution
    • [SPARK-47764][CORE][SQL] Nettoyage des dépendances de shuffle basé sur ShuffleCleanupMode
    • [SPARK-48018][SS] Correction de groupId null à l’origine d’une erreur de paramètre manquant avec levée de KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Correction du bogue d’agrégation dans RewriteWithExpression
    • [SPARK-47371] [SQL] XML : Ignorer les balises de ligne trouvées dans CDATA
    • [SPARK-47895][SQL] GROUP BY ALL doit être idempotent
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • [SPARK-47543][CONNECT][PYTHON] Inférence de dict à MapType à partir d'un DataFrame Pandas pour permettre la création de DataFrame
    • [SPARK-47694][CONNECT] Rendre la taille maximale des messages configurable côté client
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Valider le nom de colonne avec le schéma mis en cache
    • [SPARK-47862][PYTHON][CONNECT]Corriger la génération de fichiers proto
    • Rétablir “[SPARK-47543][CONNECT][PYTHON] Déduire dict comme MapType à partir de Pandas DataFrame pour permettre la création de DataFrame”
    • [SPARK-47704][SQL] L’analyse JSON échoue avec « java.lang.ClassCastException » quand spark.sql.json.enablePartialResults est activé
    • [SPARK-47812][CONNECT] Prendre en charge la sérialisation de SparkSession pour le Worker ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduire le cache de plan dans SparkConnectPlanner pour améliorer les performances des requêtes d’analyse
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite échoue avec un plan non valide
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2024
    • (Modification du comportement) Pour garantir un comportement cohérent entre les types de calcul, les UDF PySpark sur les systèmes utilisant le mode d’accès standard se comportent désormais de la même manière que sur les clusters sans isolation et affectés. Cette mise à jour inclut les modifications suivantes susceptibles d’interrompre le code existant :
      • Les fonctions définies par l’utilisateur avec un type de retour string ne convertissent plus implicitement les valeurs non string en valeurs string. Auparavant, les fonctions définies par l’utilisateur avec un type de retour str encapsulaient la valeur de retour avec une fonction str(), quel que soit le type de données réel de la valeur renvoyée.
      • Les fonctions définies par l’utilisateur avec des types de retour timestamp n’appliquent plus implicitement de conversion de timestamp avec timezone.
      • Les configurations spark.databricks.sql.externalUDF.* de cluster Spark ne s’appliquent plus aux fonctions définies par l’utilisateur PySpark sur le calcul avec le mode d’accès standard.
      • La configuration du cluster Spark spark.databricks.safespark.externalUDF.plan.limit n’affecte plus les fonctions définies par l’utilisateur PySpark, supprimant ainsi la limitation de la préversion publique de 5 fonctions définies par l’utilisateur par requête pour les fonctions définies par l’utilisateur PySpark.
      • La configuration spark.databricks.safespark.sandbox.size.default.mib du cluster Spark ne s’applique plus aux UDF PySpark sur le calcul avec le mode d’accès standard. Au lieu de cela, la mémoire disponible sur le système est utilisée. Pour limiter la mémoire des fonctions définies par l’utilisateur PySpark, utilisez spark.databricks.pyspark.udf.isolation.memoryLimit avec une valeur minimale de 100m.
    • Le type de données TimestampNTZ est désormais pris en charge en tant que colonne de clustering avec clustering liquide. Consultez Utilisation de Liquid Clustering pour les tables.
    • [SPARK-47511][SQL] Normaliser les expressions With en réattribuant des identifiants
    • [SPARK-47509][SQL] Bloquer les expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • [SPARK-46990][SQL] Correction du chargement des fichiers Avro vides émis par event-hubs
    • [SPARK-47638][PS][CONNECT] Ignorer la validation du nom de colonne dans PS
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • [SPARK-47135][SS] Implémenter des classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-47176][SQL] Avoir une fonction d’assistance ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passer l’identificateur de table à l’exécution de l’analyse de la source de données des lignes pour la stratégie V2.
    • [SPARK-47044][SQL] Ajouter une requête exécutée pour les sources de données externes JDBC pour expliquer la sortie
    • [SPARK-47167][SQL] Ajouter une classe concrète pour la relation anonyme JDBC
    • [SPARK-47070] Corriger l’agrégation non valide après la réécriture de la sous-requête
    • [SPARK-47121][CORE] Éviter RejectedExecutionExceptions lors de l’arrêt de StandaloneSchedulerBackend
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • [SPARK-47125][SQL] Retourne la valeur Null si Univocity ne déclenche jamais l’analyse
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier doit inclure d’autres expressions dans l’arborescence d’expressions
    • [SPARK-47129][CONNECT][SQL] Faire en sorte que le cache ResolveRelations se connecte au plan correctement
    • [SPARK-47241][SQL] Résoudre les problèmes d’ordre des règles pour ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protocole pour auditeur Client-Side
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • La création d’un schéma avec un emplacement défini nécessite désormais que l’utilisateur dispose de privilèges SELECT et MODIFY sur ANY FILE.
    • [SPARK-47071][SQL] Inline Avec expression si elle contient une expression spéciale
    • [SPARK-47059][SQL] Attacher le contexte d’erreur pour la commande ALTER COLUMN v1
    • [SPARK-46993][SQL] Correction du pliage constant pour les variables de session
    • Mises à jour de sécurité du système d’exploitation
  • 3 janvier 2024
    • [SPARK-46933] Ajoutez la métrique de temps d’exécution de requête aux connecteurs qui utilisent JDBCRDD.
    • [SPARK-46763] Correction de l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • [SPARK-46954] XML : encapsuler InputStreamReader avec BufferedReader.
    • [SPARK-46655] Ignorez la capture du contexte de requête dans les DataFrame méthodes.
    • [SPARK-44815] Cache df.schema pour éviter un appel de procédure distante (RPC) supplémentaire.
    • [SPARK-46952] XML : Limitez la taille de l’enregistrement endommagé.
    • [SPARK-46794] Supprimez les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46736] conserver le champ de message vide dans le connecteur protobuf.
    • [SPARK-45182] Ignorer l’achèvement de la tâche de l’ancienne étape après avoir réessayé l’étape parentale indéterminée telle que déterminée par la somme de contrôle.
    • [SPARK-46414] Utilisez prependBaseUri pour afficher les importations javascript.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46954] XML : Optimiser la recherche d’index de schéma.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46644] Modifiez l’ajout et la fusion dans SQLMetric pour utiliser isZero.
    • [SPARK-46731] Gérer l’instance du fournisseur de magasin d’état par source de données d’état – lecteur.
    • [SPARK-46677] Corrigez la dataframe["*"] résolution.
    • [SPARK-46610] Créer une table doit lancer une exception lorsqu'il n'y a pas de valeur pour une clé dans les options.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • [SPARK-45433] Correction de l'inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au format d'horodatage spécifié.
    • [SPARK-46930] Ajoutez la prise en charge d’un préfixe personnalisé pour les champs de type Union dans Avro.
    • [SPARK-46227] Retour vers la version 14.3.
    • [SPARK-46822] Respectez spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 13.3 LTS

Consultez Databricks Runtime 13.3 LTS.

  • 9 décembre 2025
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 10.0.1 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 24 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-spark_2.12 de 0.7.12 à 0.7.13
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation

  • 15 juillet 2025

    • Mises à jour de sécurité du système d’exploitation

  • 1er juillet 2025

    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 3.4.8, 37.0.1 vers 37.0.1
      • platformdirs de 2.5.2, 2.6.2 vers 2.5.2
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • Ajout de pip 22.2.2
      • Ajout de setuptools 63.4.1
      • Ajout de tomli 2.0.1
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.37.1
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-transport-native-epoll de 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 vers 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
      • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 vers 4.1.87.Final, 4.1.87.Final
      • org.apache.orc.orc-core de 1.8.4-shaded-protobuf vers 1.8.4
      • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf vers 1.8.4
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 à 1.6.1
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.sharing-spark_2.12 de 0.7.11 à 0.7.12
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • [Changement de comportement] Les opérations de vide effectuent désormais des vérifications de protocole Writer similaires à d’autres opérations, ce qui empêche les nettoyages inattendus sur les tables avec des fonctionnalités plus récentes lorsqu’elles sont exécutées à partir d’anciennes versions de DBR incompatibles.
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • Mises à jour de sécurité du système d’exploitation
  • 11 mars 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025
    • [SPARK-50492][SS] Correction de java.util.NoSuchElementException lorsque la colonne d’heure de l’événement est supprimée après dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Traiter les décimales (x, 0) identiques à IntegralType dans PromoteStrings
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • [SPARK-49615] [ML] Rendre la validation du schéma des jeux de données de tous les transformateurs de fonctionnalités ML conforme au paramètre « spark.sql.caseSensitive ».
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields
  • 25 septembre 2024
    • [SPARK-46601] [CORE] Correction de l’erreur de journal dans handleStatusMessage
    • [SPARK-48719][SQL] Correction du bogue de calcul de RegrSlope &RegrIntercept lorsque le premier paramètre est null
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • Mises à jour de sécurité du système d’exploitation
  • 17 septembre 2024
    • [SPARK-49526][CONNECT] Prise en charge des chemins d’accès de style Windows dans ArtifactManager
    • [SPARK-48463][ML] Faire en sorte que Binarizer, Bucketizer, Vector Assembleur, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor prennent en charge les colonnes d’entrée imbriquées
    • Mises à jour de sécurité du système d’exploitation
  • 29 août 2024
  • 14 août 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-48597][SQL] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
  • 1er août 2024
    • Cette version inclut un correctif de bogue pour les classes ColumnVector et ColumnarArray de l’interface Java Spark. Avant ce correctif, une ArrayIndexOutOfBoundsException pouvait être levée, ou des données incorrectes pouvaient être renvoyées lorsqu’une instance de l’une de ces classes contenait des valeurs null.
    • [SPARK-47202][PYTHON] Correction des datetimes de rupture de typo avec tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections de rétroportage de l’enregistreur ML Spark
    • [SPARK-48463] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • (Modification du comportement) Les DataFrames mis en cache sur les sources de table Delta sont désormais invalidés si la table source est remplacée. Cette modification signifie que toutes les modifications d’état apportées aux tables Delta invalident désormais les résultats mis en cache. Utilisez .checkpoint() pour conserver un état de table tout au long de la durée de vie d’un DataFrame.
    • Cette version inclut un correctif à un problème qui empêchait l’affichage correct de l’onglet Environnement de l’interface utilisateur Spark lors de l’exécution dans Databricks Container Services.
    • [SPARK-48383][SS] Générer une meilleure erreur pour les partitions décohérentes dans l'option 'startOffset' de Kafka.
    • [SPARK-48292][CORE] Rétablissement de[SPARK-39195][SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
    • [SPARK-48503][SQL] Correction des sous-requêtes scalaires non valides avec group-by sur des colonnes non équivalentes qui ont été incorrectement autorisées.
    • [SPARK-48481][SQL][SS] Ne pas appliquer OptimizeOneRowPlan à un jeu de données de streaming
    • [SPARK-48475][PYTHON] Optimisez _get_jvm_function dans PySpark.
    • [SPARK-48273][SQL] Correction de la réécriture tardive de PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Ne pas intégrer les UDF (fonctions définies par l’utilisateur) avec des composants enfants coûteux
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • [SPARK-48277] Améliorer le message d’erreur pour ErrorClassesJsonReader.getErrorMessage
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • (Modification du comportement) dbutils.widgets.getAll() est désormais pris en charge pour obtenir toutes les valeurs de widget dans un bloc-notes.
    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • [SPARK-47994][SQL] Corriger un bogue de CASSE avec le filtre de colonne dans SQLServer
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • [SPARK-47956][SQL] Vérification de validité pour une référence LCA non résolue
    • [SPARK-46822][SQL] Respectez spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc
    • [SPARK-47895][SQL] GROUP BY ALL doit être idempotent
    • [SPARK-48018][SS] Correction de groupId null à l’origine d’une erreur de paramètre manquant avec levée de KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • [SPARK-44653][SQL] Les unions de DataFrame non triviales ne doivent pas interrompre la mise en cache
    • Divers correctifs de bogues.
  • 11 avril 2024
    • [SPARK-47509][SQL] Bloquer les expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • Mises à jour de sécurité du système d’exploitation
  • 1er avril 2024
    • [SPARK-47385] Correction des encodeurs tuples avec les entrées Option.
    • [SPARK-38708][SQL] Mettre à niveau le client metastore Hive vers la version 3.1.3 pour Hive 3.1
    • [SPARK-47200][SS] Classe d’erreurs pour l’erreur de transaction de fonction utilisateur par lot Foreach
    • [SPARK-47368][SQL] Supprimer le contrôle de configuration inferTimestampNTZ dans ParquetRowConverter
    • [SPARK-44252][SS] Définir une nouvelle classe d’erreur et appliquer pour le cas où l’état de chargement à partir de DFS échoue
    • [SPARK-47135][SS] Implémenter des classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-47300][SQL] L’indicateur entre guillemets quoteIfNeeded doit commencer par des chiffres
    • [SPARK-47305][SQL] Correction de PruneFilters pour étiqueter correctement l’indicateur isStreaming de LocalRelation lorsque le plan présente à la fois Lot et En continu
    • [SPARK-47070] Corriger l’agrégation non valide après la réécriture de la sous-requête
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • [SPARK-47145][SQL] Passer l’identificateur de table à l’exécution de l’analyse de la source de données des lignes pour la stratégie V2.
    • [SPARK-47167][SQL] Ajouter une classe concrète pour la relation anonyme JDBC
    • [SPARK-47176][SQL] Avoir une fonction d’assistance ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Ajouter une requête exécutée pour les sources de données externes JDBC pour expliquer la sortie
    • [SPARK-47125][SQL] Retourne la valeur Null si Univocity ne déclenche jamais l’analyse
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • La création d’un schéma avec un emplacement défini nécessite désormais que l’utilisateur dispose de privilèges SELECT et MODIFY sur ANY FILE.
    • Mises à jour de sécurité du système d’exploitation
  • 8 février 2024
    • Les requêtes de flux des changements de données (CDF) sur les vues matérialisées du catalogue Unity ne sont pas prises en charge et la tentative d’exécution d’une requête CDF avec une vue matérialisée Unity Catalog retourne une erreur. Les tables de streaming Unity Catalog prennent en charge les requêtes CDF sur des tables CDC non automatiques dans Databricks Runtime 14.1 et versions ultérieures. Les requêtes CDF ne sont pas prises en charge avec les tables de streaming du catalogue Unity dans Databricks Runtime 14.0 et versions antérieures.
    • [SPARK-46794] Supprimez les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46933] Ajoutez la métrique de temps d’exécution de requête aux connecteurs qui utilisent JDBCRDD.
    • [SPARK-45582] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de diffusion en continu en mode sortie.
    • [SPARK-46396] L’inférence de l’horodatage ne doit pas lever d’exception.
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • [SPARK-46610] Créer une table doit lancer une exception lorsqu'il n'y a pas de valeur pour une clé dans les options.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46600] Déplacer du code partagé entre SqlConf et SqlApiConf vers SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46763] Correction de l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • Mises à jour de sécurité du système d’exploitation
  • 17 janvier 2024
    • Le nœud shuffle du plan d’explication retourné par une requête Photon est mis à jour pour ajouter l’indicateur causedBroadcastJoinBuildOOM=true quand une erreur de mémoire insuffisante se produit pendant une lecture aléatoire qui fait partie d’une jointure de diffusion.
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajoutez un indicateur distinct pour privateKeyPassword.
    • [SPARK-46173] Appel de trimAll ignoré lors de l’analyse des dates.
    • [SPARK-46370] Corrigez le bogue lors de l’interrogation à partir d’une table après avoir modifié les valeurs par défaut des colonnes.
    • [SPARK-46370] Corrigez le bogue lors de l’interrogation à partir d’une table après avoir modifié les valeurs par défaut des colonnes.
    • [SPARK-46370] Corrigez le bogue lors de l’interrogation à partir d’une table après avoir modifié les valeurs par défaut des colonnes.
    • [SPARK-46609] Évitez l’explosion exponentielle dans PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46602] Propager allowExisting lors de la création d'une vue lorsque la vue/la table n'existe pas.
    • [SPARK-46249] Exiger un verrou d’instance pour acquérir des métriques RocksDB pour empêcher la concurrence avec les opérations en arrière-plan.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-46478] Inversion de SPARK-43049 pour utiliser varchar(255) d’Oracle pour la chaîne.
    • [SPARK-46250] Réalisation d’une opération « deflake » sur test_parity_listener.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46056] Correction du NPE de la lecture vectorisée Parquet avec la valeur par défaut byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception lorsque la table ou la vue est introuvable.
    • [SPARK-46466] Le lecteur Parquet vectorisé ne doit jamais rebaser pour timestamp ntz.
  • 14 décembre 2023
    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • [SPARK-44582] Itérateur ignoré sur SMJ s’il a été nettoyé.
    • [SPARK-45433] Correction de l'inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au format d'horodatage spécifié.
    • [SPARK-45655] Autoriser les expressions non déterministes dans AggregateFunctions dans CollectMetrics.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Le connecteur Spark-snowflake a été mis à niveau vers la version 2.12.0.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • [SPARK-45544] Support SSL intégré à TransportContext.
    • [SPARK-45892] Refactorisation de la validation du plan d’optimiseur pour dissocier validateSchemaOutput et validateExprIdUniqueness.
    • [SPARK-45730] Amélioration des contraintes de temps pour ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • Mises à jour de sécurité du système d’exploitation
  • 10 novembre 2023
    • Les filtres de partition sur les requêtes de streaming de Delta Lake font désormais l’objet d’un pushdown avant la limitation de débit pour avoir une meilleure utilisation.
    • Requêtes de flux de données modifiées sur les tables de streaming du catalogue Unity et les vues matérialisées pour afficher les messages d’erreur.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45584] Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45427] Ajout des paramètres RPC SSL à SSLOptions et SparkTransportConf.
    • [SPARK-45541] Ajout SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-44219] Ajout de validations supplémentaires par règle pour les réécritures d’optimisation.
    • [SPARK-45543] Correction d’un problème où InferWindowGroupLimit posait un problème lorsque les autres fonctions de fenêtre n’avaient pas le même cadre de fenêtre que les fonctions de classement.
    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2023
    • [SPARK-45256] Correction d’un problème d’échec lors DurationWriter de l’écriture de plus de valeurs que la capacité initiale.
    • [SPARK-45419] Évitez de réutiliser des rocksdb sst fichiers dans une autre rocksdb instance en supprimant les entrées de mappage de versions de fichiers des versions ultérieures.
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Correctifs divers.
  • 13 octobre 2023
    • La dépendance Snowflake-jdbc a été mise à niveau de 3.13.29 à 3.13.33.
    • La fonction array_insert est basée sur 1 pour les index positifs et négatifs, alors qu’avant, elle était basée sur 0 pour les index négatifs. Il insère désormais un nouvel élément à la fin des tableaux d’entrée pour l’index -1. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.negativeIndexInArrayInsert la valeur true.
    • Correction d’un problème relatif au fait de ne pas ignorer les fichiers endommagés lorsque ignoreCorruptFiles est activé pendant l’inférence de schéma CSV avec le chargeur automatique.
    • Rétablir « [SPARK-42946] ».
    • [SPARK-42205] Mise à jour du protocole JSON pour supprimer la journalisation des accumulables dans une tâche ou des événements de démarrage d’étape.
    • [SPARK-45178] Retourner pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • [SPARK-45316] Ajoutez de nouveaux paramètres ignoreCorruptFiles et ignoreMissingFiles à HadoopRDD et NewHadoopRDD.
    • [SPARK-44740] Correction des valeurs de métadonnées pour Artifacts.
    • [SPARK-45360] Configuration du générateur de sessions Spark initialisée à partir de SPARK_REMOTE.
    • [SPARK-44551] Commentaires modifiés pour être synchronisés avec OSS.
    • [SPARK-45346] L’inférence de schéma Parquet respecte désormais les indicateurs respectant la casse lors de la fusion du schéma.
    • [SPARK-44658]ShuffleStatus.getMapStatus retourne None maintenant au lieu de Some(null).
    • [SPARK-44840] Définition de array_insert() 1 pour les index négatifs.
  • 14 septembre 2023
    • [SPARK-44873] Ajout de la compatibilité avec alter view pour les colonnes imbriquées dans le client Hive.
    • [SPARK-44878] Limite stricte désactivée pour le gestionnaire d’écriture afin d’éviter une exception d’insertion lorsque le cache est complet.
  • 30 août 2023
    • La commande dbutils cp (dbutils.fs.cp) est désormais optimisée pour accélérer la copie. Grâce à cette amélioration, les opérations de copie peuvent prendre jusqu’à 100 fois moins de temps, selon la taille du fichier. La fonctionnalité est disponible sur tous les systèmes Cloud et de fichiers accessibles dans Databricks, y compris pour les volumes Unity Catalog et les montages DBFS.
    • [SPARK-44455] Citer les identifiants avec des guillemets inversés dans le résultat SHOW CREATE TABLE.
    • [SPARK-44763] Correction d’un problème qui montrait une chaîne comme un double en arithmétique binaire avec intervalle.
    • [SPARK-44871] Correction percentile_disc du comportement.
    • [SPARK-44714] Réduit les restrictions de la résolution LCA concernant les requêtes.
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • [SPARK-44505] Ajout d’un remplacement pour la prise en charge des colonnes dans Analyse de DSv2.
    • [SPARK-44479] Correction de la conversion de protobuf à partir d'un type de structure vide.
    • [SPARK-44718] Faites correspondre la configuration en mode mémoire par défaut ColumnVector avec la valeur de configuration OffHeapMemoryMode.
    • [SPARK-42941] Ajout de la prise en charge de StreamingQueryListener dans Python.
    • [SPARK-44558] Exportation du niveau de journalisation Spark Connect de PySpark.
    • [SPARK-44464] Correction applyInPandasWithStatePythonRunner des lignes de sortie qui ont la valeur Null comme première valeur de colonne.
    • [SPARK-44643] Correction Row.__repr__ lorsque le champ est une ligne vide.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 12.2 LTS

Consultez Databricks Runtime 12.2 LTS.

  • 9 décembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de la version 10.0.0 à la version 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mise à jour de Python de 2.7.18 à 2.7.18.1
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 24 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 1 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • certifi de 2019.11.28, 2021.10.8 vers 2021.10.8
      • chardet de 3.0.4, 4.0.0 vers 4.0.0
      • idna de 2.8, 3.3 vers 3.3
      • requests de 2.22.0, 2.27.1 vers 2.27.1
      • six de 1.14.0, 1.16.0 vers 1.16.0
      • urllib3 de 1.25.8, 1.26.9 vers 1.26.9
      • Ajout de pip 21.2.4
      • Ajout de setuptools 61.2.0
      • Ajout de tomli 1.2.2
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.37.0
      • Distro 1.4.0 supprimée
      • Suppression de distro-info 0.23+ubuntu1.1
      • Suppression de python-apt 2.0.1+ubuntu0.20.4.1
    • Bibliothèques Java mises à jour :
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 à 1.6.1
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • [SPARK-42655][SQL] Erreur de référence de colonne ambiguë incorrecte
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • [Changement de comportement] Les opérations de vide effectuent désormais des vérifications de protocole Writer similaires à d’autres opérations, ce qui empêche les nettoyages inattendus sur les tables avec des fonctionnalités plus récentes lorsqu’elles sont exécutées à partir d’anciennes versions de DBR incompatibles.
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025
    • Mises à jour de sécurité du système d’exploitation

  • 11 mars 2025

    • Mises à jour de sécurité du système d’exploitation

  • 10 décembre 2024

    • Mises à jour de sécurité du système d’exploitation

  • 26 novembre 2024

    • Divers correctifs de bogues.

  • 10 octobre 2024

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields

  • 25 septembre 2024

    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Correction de l’erreur de journal dans handleStatusMessage
    • Divers correctifs de bogues.

  • 17 septembre 2024

    • Mises à jour de sécurité du système d’exploitation

  • 29 août 2024

    • Divers correctifs de bogues.

  • 14 août 2024

    • [SPARK-48941][SPARK-48970] Corrections de rétroportage de l’enregistreur/lecteur ML
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-48597][SQL] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
    • [SPARK-48463][ML] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • Mises à jour de sécurité du système d’exploitation

  • 1er août 2024

  • 1er août 2024

    • Pour appliquer les correctifs de sécurité requis, la version Python dans Databricks Runtime 12.2 LTS est mise à niveau de 3.9.5 à 3.9.19.

  • 11 juillet 2024

    • (Modification du comportement) Les DataFrames mis en cache sur les sources de table Delta sont désormais invalidés si la table source est remplacée. Cette modification signifie que toutes les modifications d’état apportées aux tables Delta invalident désormais les résultats mis en cache. Utilisez .checkpoint() pour conserver un état de table tout au long de la durée de vie d’un DataFrame.
    • [SPARK-48481][SQL][SS] Ne pas appliquer OptimizeOneRowPlan à un jeu de données de streaming
    • [SPARK-47070] Corriger l’agrégation non valide après la réécriture de la sous-requête
    • [SPARK-42741][SQL] Pas de désenveloppement des casts dans la comparaison binaire quand le littéral est null
    • [SPARK-48445][SQL] Ne pas intégrer les UDF (fonctions définies par l’utilisateur) avec des composants enfants coûteux
    • [SPARK-48503][SQL] Correction des sous-requêtes scalaires non valides avec group-by sur des colonnes non équivalentes qui ont été incorrectement autorisées.
    • [SPARK-48383][SS] Générer une meilleure erreur pour les partitions décohérentes dans l'option 'startOffset' de Kafka.
    • Mises à jour de sécurité du système d’exploitation

  • 17 juin 2024

    • [SPARK-48277] Améliorer le message d’erreur pour ErrorClassesJsonReader.getErrorMessage
    • Divers correctifs de bogues.

  • 21 mai 2024

    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • Mises à jour de sécurité du système d’exploitation

  • 9 mai 2024

    • [SPARK-44251][SQL] Définition de la valeur pouvant accepter Null correctement sur une clé de jointure fusionnée dans une jointure externe complète USING
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Vérification de validité pour une référence LCA non résolue
    • [SPARK-48018][SS] Correction de groupId null à l’origine d’une erreur de paramètre manquant avec levée de KafkaException.couldNotReadOffsetRange
    • Mises à jour de sécurité du système d’exploitation

  • 25 avril 2024

    • Mises à jour de sécurité du système d’exploitation

  • 11 avril 2024

    • Mises à jour de sécurité du système d’exploitation

  • 1er avril 2024

    • [SPARK-47305][SQL] Correction de PruneFilters pour étiqueter correctement l’indicateur isStreaming de LocalRelation lorsque le plan présente à la fois Lot et En continu
    • [SPARK-44252][SS] Définir une nouvelle classe d’erreur et appliquer pour le cas où l’état de chargement à partir de DFS échoue
    • [SPARK-47135][SS] Implémenter des classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-47200][SS] Classe d’erreurs pour l’erreur de transaction de fonction utilisateur par lot Foreach
    • Mises à jour de sécurité du système d’exploitation

  • 14 mars 2024

    • [SPARK-47176][SQL] Avoir une fonction d’assistance ResolveAllExpressionsUpWithPruning
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • [SPARK-47125][SQL] Retourne la valeur Null si Univocity ne déclenche jamais l’analyse
    • [SPARK-47167][SQL] Ajouter une classe concrète pour la relation anonyme JDBC
    • Mises à jour de sécurité du système d’exploitation

  • 29 février 2024

    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • La création d’un schéma avec un emplacement défini nécessite désormais que l’utilisateur dispose de privilèges SELECT et MODIFY sur ANY FILE.
    • [SPARK-45582][SS] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de streaming en mode sortie
    • Mises à jour de sécurité du système d’exploitation

  • 13 février 2024

    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46794] Supprimez les sous-requêtes des contraintes LogicalRDD.
    • Mises à jour de sécurité du système d’exploitation

  • 31 janvier 2024

    • [SPARK-46763] Correction de l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • Mises à jour de sécurité du système d’exploitation

  • 25 décembre 2023

    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-39440] Ajoutez une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-43067] Corrigez l’emplacement du fichier de ressources de classe d’erreur dans le connecteur Kafka.
    • [SPARK-46249] Exiger un verrou d’instance pour acquérir des métriques RocksDB pour empêcher la concurrence avec les opérations en arrière-plan.
    • [SPARK-46602] Propager allowExisting lors de la création d'une vue lorsque la vue/la table n'existe pas.
    • [SPARK-46058] Ajoutez un indicateur distinct pour privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception lorsque la table ou la vue est introuvable.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-42852] Rétablir les modifications associées à NamedLambdaVariable à partir d’EquivalentExpressions.

  • 14 décembre 2023

    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • [SPARK-44582] Itérateur ignoré sur SMJ s’il a été nettoyé.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • [SPARK-45655] Autoriser les expressions non déterministes dans AggregateFunctions dans CollectMetrics.
    • Mises à jour de sécurité du système d’exploitation

  • 29 novembre 2023

    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Correction d’un problème à cause duquel les traits de soulignement d’échappement dans les opérations getColumns provenant de clients JDBC ou ODBC n’étaient pas interprétés comme des caractères génériques.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage Stage et Task.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • [SPARK-43718] Correction de la possibilité de valeurs Null pour les clés dans les jointures USING.
    • [SPARK-45544] Support SSL intégré à TransportContext.
    • [SPARK-43973] L’interface utilisateur structured Streaming affiche désormais correctement les requêtes ayant échoué.
    • [SPARK-45730] Amélioration des contraintes de temps pour ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • Mises à jour de sécurité du système d’exploitation

  • 14 novembre 2023

    • Les filtres de partition sur les requêtes de streaming de Delta Lake font désormais l’objet d’un pushdown avant la limitation de débit pour avoir une meilleure utilisation.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45427] Ajout des paramètres RPC SSL à SSLOptions et SparkTransportConf.
    • [SPARK-45584] Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45541] Ajout SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • Mises à jour de sécurité du système d’exploitation

  • 24 octobre 2023

    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Correctifs divers.

  • 13 octobre 2023

    • La dépendance Snowflake-jdbc a été mise à niveau de 3.13.29 à 3.13.33.
    • [SPARK-42553] Assurez-vous qu'il y ait au moins une unité de temps après un intervalle.
    • [SPARK-45346] L’inférence de schéma Parquet respecte l’indicateur respectant la casse lors de la fusion du schéma.
    • [SPARK-45178] Retourner pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • [SPARK-45084]StateOperatorProgress pour utiliser un numéro de partition de shuffle précis et adéquat.

  • 12 septembre 2023

    • [SPARK-44873] Ajout de la prise en charge de alter view avec des colonnes imbriquées dans le client Hive.
    • [SPARK-44718] Faites correspondre la configuration en mode mémoire par défaut ColumnVector avec la valeur de configuration OffHeapMemoryMode.
    • [SPARK-43799] Ajout de l’option binaire du descripteur à l’API PySpark Protobuf .
    • Correctifs divers.

  • 30 août 2023

    • [SPARK-44485]TreeNode.generateTreeStringOptimisé .
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • [SPARK-44871][11.3-13.0] Comportement fixe percentile_disc .
    • [SPARK-44714] Assouplissement des restrictions de la résolution LCA concernant les requêtes.
    • Mises à jour de sécurité du système d’exploitation

  • 15 août 2023

    • [SPARK-44504] La tâche de maintenance nettoie les fournisseurs chargés en cas d’erreur d’arrêt.
    • [SPARK-44464] Correction de applyInPandasWithStatePythonRunner pour produire les lignes avec Null comme première valeur de colonne.
    • Mises à jour de sécurité du système d’exploitation

  • 29 juillet 2023

    • Correction d’un problème à cause duquel dbutils.fs.ls() renvoyait INVALID_PARAMETER_VALUE.LOCATION_OVERLAP lorsqu’il était appelé pour un chemin d’accès à un emplacement de stockage qui entrait en conflit avec un autre emplacement de stockage externe ou managé.
    • [SPARK-44199]CacheManager n’actualise fileIndex plus inutilement.
    • Mises à jour de sécurité du système d’exploitation

  • 24 juillet 2023

    • [SPARK-44337] Correction d’un problème où n’importe quel champ défini à Any.getDefaultInstance provoquait des erreurs d’analyse.
    • [SPARK-44136] Correction d’un problème où StateManager se matérialiserait dans un exécuteur au lieu du pilote dans FlatMapGroupsWithStateExec.
    • Mises à jour de sécurité du système d’exploitation

  • 23 juin 2023

    • Mises à jour de sécurité du système d’exploitation

  • 15 juin 2023

    • Photonisé approx_count_distinct.
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • [SPARK-43779]ParseToDate charge EvalMode maintenant dans le thread principal.
    • [SPARK-43156][SPARK-43098] Test étendu de comptage d'erreurs de sous-requête scalaire avec decorrelateInnerQuery désactivé.
    • Mises à jour de sécurité du système d’exploitation

  • 2 juin 2023

    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Améliorez les performances des mises à jour incrémentielles avec SHALLOW CLONE Apache Iceberg et Apache Parquet.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-43404] Ignorez la réutilisation du fichier sst pour la même version du magasin d’états RocksDB afin d’éviter l’erreur d’incompatibilité d’ID.
    • [SPARK-43413][11.3-13.0] Correction de la sous-requête IN de possibilité de valeurs nulles de ListQuery.
    • [SPARK-43522] Correction de la création d’un nom de colonne struct avec un index du tableau.
    • [SPARK-43541] Propagation de toutes les balises Project dans la résolution des expressions et des colonnes manquantes.
    • [SPARK-43527] Correction catalog.listCatalogs dans PySpark.
    • [SPARK-43123] Les métadonnées de champ interne ne sont plus divulguées dans les catalogues.
    • [SPARK-43340] Correction du champ de trace de pile manquant dans des journaux d’événements.
    • [SPARK-42444]DataFrame.drop gère désormais correctement les colonnes dupliquées.
    • [SPARK-42937]PlanSubqueries définit InSubqueryExec#shouldBroadcast maintenant la valeur true.
    • [SPARK-43286] Mise à jour du aes_encrypt mode CBC pour générer des IV aléatoires.
    • [SPARK-43378] Fermez correctement les objets de flux dans deserializeFromChunkedBuffer.

  • 17 mai 2023

    • Les analyses Parquet sont désormais robustes contre les OOMs lors de l’analyse de fichiers exceptionnellement structurés en ajustant dynamiquement la taille des lots. Les métadonnées de fichier sont analysées pour réduire la taille du lot de manière préventive et sont à nouveau réduites lors des nouvelles tentatives de tâche en tant que filet de sécurité final.
    • Si un fichier Avro a été lu uniquement avec l’option failOnUnknownFields ou avec Auto Loader en mode d’évolution de failOnNewColumns schéma, les colonnes qui ont différents types de données sont lues comme null au lieu de générer une erreur indiquant que le fichier ne peut pas être lu. Ces lectures échouent maintenant et recommandent aux utilisateurs d’utiliser l’option rescuedDataColumn .
    • Auto Loader effectue maintenant les opérations suivantes.
      • Lit correctement et ne sauve plus les types Integer, Short et Byte si l’un de ces types de données est fourni, mais le fichier Avro suggère l’un des deux autres types.
      • Empêche la lecture des types d’intervalles en tant que types date ou horodatage pour éviter d’obtenir des dates endommagées.
      • Empêche la lecture Decimal des types avec une précision inférieure.
    • [SPARK-43172] Expose l'hôte et le jeton du client de connexion Spark.
    • [SPARK-43293]__qualified_access_only est ignoré dans les colonnes normales.
    • [SPARK-43098] Correction d’un bogue COUNT d’exactitude lorsque la sous-requête scalaire est regroupée par clause.
    • [SPARK-43085] Prise en charge de l’attribution de colonnes DEFAULT pour les noms de tables en plusieurs parties.
    • [SPARK-43190]ListQuery.childOutput est désormais cohérent avec la sortie secondaire.
    • [SPARK-43192] Suppression de la validation de l’ensemble de caractères de l’agent utilisateur.
    • Mises à jour de sécurité du système d’exploitation

  • 25 avril 2023

    • Si un fichier Parquet a été lu uniquement avec l’option failOnUnknownFields ou avec Auto Loader en mode d’évolution de failOnNewColumns schéma, les colonnes qui avaient différents types de données sont lues comme null au lieu de générer une erreur indiquant que le fichier ne peut pas être lu. Ces lectures échouent maintenant et recommandent aux utilisateurs d’utiliser l’option rescuedDataColumn .
    • Désormais, le chargeur automatique lit et ne sauve plus correctement les types Integer, Short et Byte si l’un de ces types de données est fourni. Le fichier Parquet suggère l’un des deux autres types. Lorsque la colonne de données sauvée était précédemment activée, l’incompatibilité du type de données entraînait le sauvetage des colonnes même si elles étaient lisibles.
    • [SPARK-43009] Paramétré avec des sql()Any constantes
    • [SPARK-42406] Terminer les champs récursifs Protobuf en supprimant le champ
    • [SPARK-43038] Prendre en charge le mode CBC par aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Modification pour imprimer workdir si appDirs est Null lors de l’événement de handle de worker WorkDirCleanup
    • [SPARK-43018] Corriger un bogue pour les commandes INSERT avec des littéraux d’horodatage
    • Mises à jour de sécurité du système d’exploitation

  • 11 avril 2023

    • Prise en charge des formats de source de données hérités dans la commande SYNC.
    • Corrige un problème dans le comportement de %autoreload dans les notebooks en dehors d’un répertoire.
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42928] Effectue resolvePersistentFunction la synchronisation.
    • [SPARK-42936] Résout le problème LCan lorsque la clause peut être résolue directement par son agrégat enfant.
    • [SPARK-42967] Corrige SparkListenerTaskStart.stageAttemptId lorsqu'une tâche démarre après l'annulation de l'étape.
    • Mises à jour de sécurité du système d’exploitation

  • 29 mars 2023

    • Databricks SQL prend désormais en charge la spécification de valeurs par défaut pour les colonnes des tables Delta Lake, au moment de la création de la table ou après. Les commandes INSERT, UPDATE, DELETE, et MERGE suivantes peuvent faire référence à la valeur par défaut de n'importe quelle colonne en utilisant le mot clé explicite DEFAULT. De plus, si des affectations INSERT ont une liste explicite de moins de colonnes que la table cible, les valeurs de colonne par défaut correspondantes sont remplacées par les colonnes restantes (ou NULL si aucune valeur par défaut n’est spécifiée).

      Par exemple:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Le chargeur automatique lance désormais au moins un journal RocksDB synchrone propre pour les flux Trigger.AvailableNow afin de s’assurer que le point de contrôle peut être nettoyé régulièrement pour les flux du chargeur automatique à exécution rapide. Certains flux peuvent mettre plus longtemps à s’arrêter, mais vous économiserez des coûts de stockage et améliorerez l’expérience du chargeur automatique dans les exécutions futures.

    • Vous pouvez maintenant modifier une table Delta pour ajouter la prise en charge des fonctionnalités de table à l’aide de DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Augmentation de lockAcquireTimeoutMs à 2 minutes pour l’acquisition du magasin d’état RocksDB dans Structure Streaming

    • [SPARK-42521] Ajouter des VALEURS NULL pour les INSERT avec des listes spécifiées par l’utilisateur de moins de colonnes que la table cible

    • [SPARK-42702][SPARK-42623] Prise en charge de la requête paramétrée dans les sous-requêtes et les CTE

    • [SPARK-42668] Intercepter une exception lors de la tentative de fermeture du flux compressé dans l’arrêt HDFSStateStoreProvider

    • [SPARK-42403] JsonProtocol doit gérer les chaînes JSON null

  • 8 mars 2023

    • Le message d’erreur « Échec de l’initialisation de la configuration » a été amélioré pour fournir plus de contexte au client.
    • Il existe un changement de terminologie pour l’ajout de fonctionnalités à une table Delta à l’aide de la propriété table. La syntaxe préférée est maintenant 'delta.feature.featureName'='supported' au lieu de 'delta.feature.featureName'='enabled'. Pour la compatibilité descendante, l’utilisation de 'delta.feature.featureName'='enabled' fonctionne toujours et continuera de fonctionner.
    • À partir de cette version, il est possible de créer ou de remplacer une table par une propriété de table delta.ignoreProtocolDefaults supplémentaire pour ignorer les configurations Spark liées au protocole, ce qui inclue les versions de lecteur et d’enregistreur par défaut, et les fonctionnalités de table prises en charge par défaut.
    • [SPARK-42070] Remplacez la valeur par défaut de l’argument de la fonction Mask de -1 par NULL
    • [SPARK-41793] Résultat incorrect pour les cadres de fenêtre définis par une clause de portée sur des décimales significatives
    • [SPARK-42484] Message d’erreur UnsafeRowUtils amélioré
    • [SPARK-42516] Capturer toujours la configuration du fuseau horaire de session lors de la création d’affichages
    • [SPARK-42635] Corrigez l’expression TimestampAdd.
    • [SPARK-42622] Désactivé la substitution dans les valeurs
    • [SPARK-42534] Correction de la clause DB2Dialect Limit
    • [SPARK-42121] Ajouter des fonctions table intégrées posexplode, posexplode_outer, json_tuple et pile
    • [SPARK-42045] Mode SQL ANSI : Round/Bround doit retourner une erreur sur un dépassement d'entier léger/modéré/important.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 9.1 LTS

Consultez Databricks Runtime 9.1 LTS.

  • 9 avril 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 mars 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 septembre 2024
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • Mises à jour de sécurité du système d’exploitation
  • 6 septembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 29 août 2024
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
  • 14 août 2024
  • 1er août 2024
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Définition de la valeur pouvant accepter Null correctement sur une clé de jointure fusionnée dans une jointure externe complète USING
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • Divers correctifs de bogues.
  • 11 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 1er avril 2024
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajoutez un indicateur distinct pour privateKeyPassword.
    • [SPARK-39440] Ajoutez une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
  • 14 décembre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-45544] Support SSL intégré à TransportContext.
    • [SPARK-45730] Amélioration des contraintes de temps pour ReloadingX509TrustManagerSuite.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-45427] Ajout des paramètres RPC SSL à SSLOptions et SparkTransportConf.
    • [SPARK-45584] Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45541] Ajout SSLFactory.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage de phase et de tâche.
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Mises à jour de sécurité du système d’exploitation
  • 13 octobre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2023
    • Correctifs divers.
  • 30 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • [SPARK-43098] Corrige le bogue d'exactitude de COUNT lorsque la sous-requête scalaire a une clause GROUP BY.
    • [SPARK-43156][SPARK-43098] Étendre le test du bug de comptage des sous-requêtes scalaires avec decorrelateInnerQuery désactivé.
    • [SPARK-40862] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery.
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Correction d’un problème dans l’analyse de données sauvées JSON pour empêcher UnknownFieldException.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-37520] Ajouter les fonctions de chaîne startswith() et endswith()
    • [SPARK-43413] Correction IN de la nullabilité ListQuery de la sous-requête.
    • Mises à jour de sécurité du système d’exploitation
  • 17 mai 2023
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2023
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2023
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42967] Corrigez SparkListenerTaskStart.stageAttemptId lorsqu’une tâche est démarrée après l’annulation de l’étape.
  • 29 mars 2023
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2023
    • [SPARK-42484] Message d’erreur amélioré pour UnsafeRowUtils.
    • Correctifs divers.
  • 28 février 2023
    • Les utilisateurs peuvent désormais lire et écrire certaines tables Delta qui nécessitent Reader version 3 et Writer version 7, à l’aide de Databricks Runtime 9.1 LTS ou version ultérieure. Pour réussir, les fonctionnalités de table répertoriées dans le protocole des tables doivent être prises en charge par la version actuelle de Databricks Runtime.
    • Mises à jour de sécurité du système d’exploitation
  • 16 février 2023
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2023
    • Les types de tables JDBC sont désormais "EXTERNAL" par défaut.
  • 18 janvier 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2022
    • Correction d’un problème avec l’analyse JSON dans Auto Loader quand toutes les colonnes étaient laissées en tant que chaînes (cloudFiles.inferColumnTypes n’a pas été définie ou défini sur false) et que le JSON contenait des objets imbriqués.
    • Mises à jour de sécurité du système d’exploitation
  • 15 novembre 2022
    • Mise à niveau d’Apache commons-text vers 1.10.0.
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 1er novembre 2022
    • Correction d’un problème où si une table Delta avait une colonne définie par l’utilisateur nommée _change_type, mais que le flux de données de modification était désactivé sur cette table, les données de cette colonne ne rempliraient pas correctement les valeurs NULL lors de l’exécution MERGE.
    • Correction d’un problème avec Auto Loader où un fichier peut être dupliqué dans le même micro-lot quand allowOverwrites est activé
    • [SPARK-40596] Remplissez ExecutorDecommission avec des messages dans ExecutorDecommissionInfo
    • Mises à jour de sécurité du système d’exploitation
  • 18 octobre 2022
    • Mises à jour de sécurité du système d’exploitation
  • 5 octobre 2022
    • Correctifs divers.
    • Mises à jour de sécurité du système d’exploitation
  • 22 septembre 2022
    • Les utilisateurs peuvent définir spark.conf.set(« spark.databricks.io.listKeysWithPrefix.azure.enabled », « true ») pour réactiver la liste intégrée du chargeur automatique sur ADLS. La liste intégrée a été précédemment désactivée en raison de problèmes de performances, mais peut avoir entraîné une augmentation des coûts de stockage pour les clients.
    • [SPARK-40315] Ajout de hashCode() pour Literal d’ArrayBasedMapData
    • [SPARK-40089] Correction du tri pour certains types décimaux
    • [SPARK-39887] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
  • 6 septembre 2022
    • [SPARK-40235] Utiliser un verrou interruptible au lieu de synchroniser dans Executor.updateDependencies()
    • [SPARK-35542] Correctif : Bucketizer créé pour plusieurs colonnes avec les paramètres splitsArray, inputCols et outputCols ne peut pas être chargé après l'avoir sauvegardé.
    • [SPARK-40079] Ajout d’une validation d’Imputer inputCols en cas d’entrée vide
  • 24 août 2022
    • [SPARK-39666] Utiliser UnsafeProjection.create afin de respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
    • [SPARK-39962] Appliquer une projection lorsque les attributs de groupe sont vides
    • Mises à jour de sécurité du système d’exploitation
  • 9 août 2022
    • Mises à jour de sécurité du système d’exploitation
  • 27 juillet 2022
    • Les résultats de l’opération Delta MERGE sont cohérents lorsque la source n’est pas déterministe.
    • [SPARK-39689] Prise en charge pour le lineSep de 2 caractères dans la source de données CSV
    • [SPARK-39575] Ajouté ByteBuffer#rewind après ByteBuffer#get dans AvroDeserializer.
    • [SPARK-37392] Correction de l’erreur de performances pour l’optimiseur de catalyseur.
    • Mises à jour de sécurité du système d’exploitation
  • 13 juillet 2022
    • [SPARK-39419]ArraySort lève une exception lorsque le comparateur retourne null.
    • Désactivation de l'utilisation par Auto Loader des API cloud intégrées pour le listing de répertoires sur Azure.
    • Mises à jour de sécurité du système d’exploitation
  • 5 juillet 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 15 juin 2022
    • [SPARK-39283] Corriger le blocage entre TaskMemoryManager et UnsafeExternalSorter.SpillableIterator.
  • 2 juin 2022
    • [SPARK-34554] Implémentez la copy() méthode dans ColumnarMap.
    • Mises à jour de sécurité du système d’exploitation
  • 18 mai 2022
    • Correction d’une fuite de mémoire intégrée potentielle dans Auto Loader.
    • Mise à niveau la version du kit SDK AWS de la version 1.11.655 vers la version 1.11.678.
    • [SPARK-38918] L'élimination de colonnes imbriquées doit exclure les attributs qui n'appartiennent pas à la relation actuelle.
    • [SPARK-39084] Corriger df.rdd.isEmpty() en utilisant TaskContext pour arrêter l'itérateur à la fin de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 19 avril 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 6 avril 2022
    • [SPARK-38631] Utilise l'implémentation basée sur Java pour l'extraction de fichiers tar dans Utils.unpack.
    • Mises à jour de sécurité du système d’exploitation
  • 22 mars 2022
    • Le répertoire de travail actuel des notebooks sur les clusters à haute concurrence avec le contrôle d’accès aux tables ou le transfert d’informations d’identification activé a été modifié pour pointer vers le répertoire de base de l’utilisateur. Auparavant, le répertoire actif était /databricks/driver.
    • [SPARK-38437] Sérialisation indulgente de la date et heure à partir de la source de données
    • [SPARK-38180] Autorisation des expressions up-cast sécurisées dans les prédicats d’égalité corrélés
    • [SPARK-38155] Interdiction de tout agrégat distinct dans les sous-requêtes latérales avec des prédicats non pris en charge
    • [SPARK-27442] Suppression d’un champ de vérification lors de la lecture ou de l’écriture de données dans un parquet.
  • 14 mars 2022
    • [SPARK-38236] Les chemins d’accès absolus spécifiés dans la table create/alter sont traités comme relatifs
    • [SPARK-34069] Interrompre le thread de tâche si la propriété SPARK_JOB_INTERRUPT_ON_CANCEL locale a la valeur true.
  • 23 février 2022
    • [SPARK-37859] Les tables SQL créées avec JDBC avec Spark 3.1 ne sont pas lisibles avec Spark 3.2.
  • 8 février 2022
    • [SPARK-27442] Suppression d’un champ de vérification lors de la lecture ou de l’écriture de données dans un parquet.
    • Mises à jour de sécurité du système d’exploitation
  • 1er février 2022
    • Mises à jour de sécurité du système d’exploitation
  • 26 janvier 2022
    • Correction d’un problème à cause duquel les transactions concurrentes sur les tables Delta pouvaient être validées dans un ordre non sérialisable dans certaines conditions rares.
    • Correction d’un problème à cause duquel la commande OPTIMIZE pouvait échouer lors de l’activation du dialecte SQL ANSI.
  • 19 janvier 2022
    • Correctifs mineurs et améliorations de la sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2021
    • Correction d’un problème qui pouvait entraîner l’échec des flux Structured Streaming avec ArrayIndexOutOfBoundsException.
    • Correction d'une condition de compétition qui pouvait entraîner l'échec d'une requête avec une IOException telle que java.io.IOException: No FileSystem for scheme, ou faire que les modifications apportées à sparkContext.hadoopConfiguration ne prennent pas effet dans les requêtes.
    • Le connecteur Apache Spark pour Delta Sharing a été mis à niveau vers la version 0.2.0.
  • 20 octobre 2021
    • Mise à niveau du connecteur BigQuery de la version 0.18.1 à la version 0.22.2. Cela ajoute la prise en charge du type BigNumeric.
  • Last updated on