Databricks Runtime 14.3 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.3 LTS avec Apache Spark 3.5.0.

Databricks a publié cette version en février 2024.

Améliorations et nouvelles fonctionnalités

• Prise en charge du système de fichiers d’espace de travail dans PySpark User-Defined Functions (UDF) sur les clusters en mode d’accès standard (anciennement mode d’accès partagé)
• Prise en charge des optimisations MERGE de vecteur de suppression sans Photon
• API de catalogue Spark désormais entièrement prises en charge en mode d’accès standard
• Delta UniForm est désormais en disponibilité générale
• Nouvelle fonction SQL EXECUTE IMMEDIATE
• Recalculer les statistiques des sauts de données pour les tables Delta
• informations d’état de requête pour les requêtes de diffusion en continu avec état
• Utiliser l’ID Microsoft Entra pour l’authentification Kafka sur des clusters standard
• Ajout de la prise en charge du nettoyage des fichiers et des partitions pour améliorer les performances des requêtes
• Déclarer des variables temporaires dans une session SQL
• Mises à jour de Thriftserver pour supprimer des fonctionnalités inutilisées
• Utiliser les fichiers truststore et keystore (magasin de clés) dans les volumes Unity Catalog
• Prise en charge du format de fichier XML natif (préversion publique)
• Prise en charge du stockage Cloudflare R2 (Version préliminaire publique)
• L'accès de Spark et dbutils aux fichiers d’espace de travail est pris en charge sur les clusters du Unity Catalog à accès standard
• Prise en charge des scripts init et de la bibliothèque de cluster sur les clusters de catalogue Unity d’accès standard

Prise en charge du système de fichiers d’espace de travail dans PySpark User-Defined Functions (UDF) sur les clusters en mode d’accès standard (anciennement mode d’accès partagé)

Les fonctions définies par l’utilisateur PySpark sur des clusters standard peuvent désormais importer des modules Python à partir de dossiers Git, de fichiers d’espace de travail ou de volumes UC.

Pour plus d’informations sur l’utilisation des modules dans des dossiers Git Databricks ou des fichiers d’espace de travail, consultez Utiliser des modules Python et R.

Prise en charge des optimisations MERGE de vecteur de suppression sans Photon

Photon n’est plus nécessaire pour les opérations MERGE pour tirer parti des optimisations des vecteurs de suppression. Consultez Que sont les vecteurs de suppression ?.

API de catalogue Spark désormais entièrement prises en charge en mode d’accès standard

Vous pouvez maintenant utiliser toutes les fonctions de l’API spark.catalog dans Python et Scala sur le calcul configurés avec le mode d’accès standard.

Delta UniForm est désormais en disponibilité générale

UniForm est maintenant en disponibilité générale et utilise la fonctionnalité de table IcebergCompatV2. Vous pouvez désormais activer ou mettre à niveau UniForm sur des tables existantes. Voir Lire les tables Delta avec les clients Iceberg.

Nouvelle fonction SQL EXECUTE IMMEDIATE

Vous pouvez maintenant utiliser la EXECUTE IMMEDIATE syntaxe pour prendre en charge les requêtes paramétrables dans SQL. Voir EXECUTE IMMEDIATE.

Recalculer les statistiques des sauts de données pour les tables Delta

Vous pouvez maintenant recalculer les statistiques stockées dans le journal Delta après avoir modifié les colonnes utilisées pour les sauts de données. Consultez Spécifier des colonnes de statistiques Delta.

Informations d’état de requête pour les requêtes de diffusion en continu avec état

Vous pouvez désormais interroger des données et des métadonnées d’état de flux structuré. Consultez Lire les informations d’état Structured Streaming.

Utiliser l’ID Microsoft Entra pour l’authentification Kafka sur des clusters standard

Vous pouvez maintenant authentifier les services Event Hubs via OAuth avec Microsoft Entra ID sur le calcul configuré avec le mode d’accès standard. Consultez Authentification du principal de service avec Microsoft Entra ID et Azure Event Hubs.

Ajout de la prise en charge du nettoyage des fichiers et des partitions pour améliorer les performances des requêtes

Pour accélérer certaines requêtes qui s’appuient sur l’égalité tolérante aux valeurs nulles dans les JOIN conditions, nous prenons désormais en charge DynamicFilePruning et DynamicPartitionPruning pour l’opérateur EqualNullSafe dans les JOIN.

Déclarer des variables temporaires dans une session SQL

Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées à partir des requêtes. Voir Variables.

Mises à jour de Thriftserver pour supprimer des fonctionnalités inutilisées

Le code de Thriftserver a été mis à jour pour supprimer le code de fonctionnalités obsolètes. En raison de ces modifications, les configurations suivantes ne sont plus prises en charge :

• Les fichiers JAR auxiliaires de Hive, configurés en utilisant la propriété hive.aux.jars.path, ne sont plus pris en charge pour les connexions hive-thriftserver.
• Le fichier init global de Hive (.hiverc), dont l’emplacement est configuré en utilisant la propriété hive.server2.global.init.file.location ou la variable d’environnement HIVE_CONF_DIR, n’est plus pris en charge pour les connexions hive-thriftserver.

Utiliser les fichiers truststore et keystore (magasin de clés) dans les volumes Unity Catalog

Vous pouvez utiliser des fichiers truststore et keystore dans les volumes Unity Catalog pour vous authentifier auprès de Confluent Schema Registry. Consultez la documentation pour avro ou tampons de protocole.

Prise en charge du format de fichier XML natif (préversion publique)

La prise en charge du format de fichier XML natif est désormais en avant-première publique. La prise en charge du format de fichier XML permet l’ingestion, l’interrogation et l’analyse des données XML pour le traitement par lots ou la diffusion en continu. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge des expressions SQL telles que from_xml, et peut générer des documents XML. Il ne nécessite pas de jars externes et fonctionne en toute transparence avec le chargeur automatique, read_files, COPY INTO et DLT. Consultez Lire et écrire des fichiers XML.

Prise en charge du stockage Cloudflare R2 (Version préliminaire publique)

Vous pouvez désormais utiliser Cloudflare R2 comme stockage cloud pour les données inscrites dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre. Le stockage R2 prend en charge toutes les ressources Databricks et IA prises en charge dans AWS S3, Azure Data Lake Storage et Google Cloud Storage. Consultez Utiliser les réplicas de Cloudflare R2 ou migrer le stockage vers R2 et Créer des informations d’identification de stockage pour se connecter à Cloudflare R2.

Spark et dbutils ont accès aux fichiers de l’espace de travail sur les clusters Unity Catalog à accès standard.

L'accès Spark et dbutils en lecture et écriture aux fichiers de l'espace de travail est désormais pris en charge sur les clusters du catalogue Unity en mode d'accès standard. Consultez Utilisation des fichiers d’espace de travail.

Prise en charge des scripts init et de la bibliothèque de cluster sur les clusters du catalogue Unity à accès standard

L’installation de scripts init étendus au cluster et de bibliothèques Python et JAR sur des clusters catalogue Unity en mode d’accès standard, y compris l’installation à l’aide de stratégies de cluster, est désormais en disponibilité générale. Databricks recommande d’installer des scripts d’initialisation et des bibliothèques à partir de volumes de catalogue Unity.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • fastjsonschema, versions 2.19.0 à 2.19.1
  • filelock de 3.12.4 à 3.13.1
  • googleapis-common-protos de 1.61.0 à 1.62.0
  • packaging de 22.0 à 23.2
• Bibliothèques R mises à niveau :
  • foreign de 0.8-82 à 0.8-85
  • nlme de 3.1-162 à 3.1-163
  • rpart de 4.1.19 à 4.1.21
• Bibliothèques Java mises à niveau :
  • com.databricks.databricks-sdk-java de 0.7.0 à 0.13.0
  • org.apache.orc.orc-core de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf à 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims de 1.9.1 à 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 à 2.11.0

Apache Spark

Databricks Runtime 14.3 comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 14.2 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

• [SPARK-46541] [SC-153546][sql][CONNECT] Correction de la référence de colonne ambiguë dans la jointure automatique
• [SPARK-45433] Rétablir « [SC-145163][sql] Corriger l’inférence de schéma CSV/JSON...
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Rendre addArtifact réessayable
• [SPARK-46660] [SC-153391][connect] Les requêtes ReattachExecute mettent à jour la vivacité de SessionHolder.
• [SPARK-46670] [SC-153273][python][SQL] Rendre dataSourceManager auto-cloné en séparant les sources de données Python statiques et runtime
• [SPARK-46720] [SC-153410][sql][PYTHON] Refactoriser la source de données Python pour s’aligner sur d’autres sources de données intégrées DSv2
• [SPARK-46684] [SC-153275][python][CONNECT] Correction de CoGroup.applyInPandas/Arrow pour passer correctement des arguments
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML : Lever une erreur sur plusieurs sources de données XML
• [SPARK-46382] [SC-151881][sql]XML : ignoreSurroundingSpaces par défaut sur true
• [SPARK-46382] [SC-153178][sql] XML : Mettre à jour la documentation pour ignoreSurroundingSpaces
• [SPARK-45292] Rétablir « [SC-151609][sql][HIVE] Suppression de Guava dans les classes partagées de IsolatedClientLoader »
• [SPARK-45292] [SC-151609][sql][HIVE] Supprimer guava des classes partagées de IsolatedClientLoader
• [SPARK-46311] [SC-150137][core] Journaliser l’état final des pilotes pendant Master.removeDriver
• [SPARK-46413] [SC-151052][python] Valider le type de retour des UDF Python Arrow
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Corriger le lecteur Avro pour gérer les blocs de longueur nulle
• [SPARK-46537] [SC-151286][sql] Convertir NPE et assertions de commandes en erreurs internes
• [SPARK-46179] [SC-151678][sql] Ajouter CrossDbmsQueryTestSuites, qui exécute d'autres SGBD contre des fichiers de référence utilisant d'autres SGBD, en commençant par Postgres
• [SPARK-44001] [SC-151413][protobuf] Ajouter une option pour permettre le déballage des types de wrappers bien connus de protobuf
• [SPARK-40876] [SC-151786][sql] Promotion de type étendu pour les décimales avec une échelle plus importante dans les lecteurs Parquet
• [SPARK-46605] [SC-151769][connect] Rendre la fonction dans le module de connexion compatible avec lit/typedLit
• [SPARK-46634] [SC-153005][sql] la validation littérale ne doit pas descendre dans les champs Null
• [SPARK-37039] [SC-153094][ps] Correctif Series.astype pour fonctionner correctement avec une valeur manquante
• [SPARK-46312] [SC-150163][core] Utilisation lower_camel_case dans store_types.proto
• [SPARK-46630] [SC-153084][sql] XML : Valider le nom d’élément XML en écriture
• [SPARK-46627] [SC-152981][ss][UI] Corriger le contenu de l’info-bulle de chronologie sur l’interface utilisateur de streaming
• [SPARK-46248] [SC-151774][sql] XML : prise en charge des options ignoreCorruptFiles et ignoreMissingFiles
• [SPARK-46386] [SC-150766][python] Améliorer les assertions d’observation (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Commentaire de mise à jour sur isZero dans AccumulateorV2
• [SPARK-46601] [SC-151785] [CORE] Correction de l’erreur de journal dans handleStatusMessage
• [SPARK-46568] [SC-151685][python] Rendre les options de source de données Python un dictionnaire sensible à la casse
• [SPARK-46611] [SC-151783][core] Supprimer ThreadLocal en remplaçant SimpleDateFormat par DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Prendre Literal.apply en charge s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Correction du nom de sortie de pyspark.sql.functions.user et session_user
• [SPARK-46621] [SC-151794][python] Traiter le problème de null dans Exception.getMessage dans l'exception capturée Py4J
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader doit respecter le mode mémoire lors de la création de vecteurs de colonne pour la colonne manquante
• [SPARK-46613] [SC-151778][sql][PYTHON] Enregistrer l'exception complète lorsqu'il est impossible d'identifier les sources de données Python
• [SPARK-46559] [SC-151364][mllib] Entourez le export dans le nom du package avec des backticks
• [SPARK-46522] [SC-151784][python] Empêcher l'enregistrement de la source de données Python en cas de conflits de noms
• [SPARK-45580] [SC-149956][sql] Gérer le cas où une sous-requête imbriquée devient une jointure d’existence
• [SPARK-46609] [SC-151714][sql] Éviter l’explosion exponentielle dans PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][sql] Corriger l'exception de pointeur nul (NPE) lors de la description étendue d'une colonne sans statistiques de colonne.
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML : Utiliser TypeCoercion.findTightestCommonType pour la vérification de compatibilité
• [SPARK-40876] [SC-151129][sql] Élargissement des promotions de type dans les lecteurs Parquet
• [SPARK-46179] [SC-151069][sql] Extraire du code dans des fonctions réutilisables dans SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Prise en charge s.c.immutable.ArraySeq comme customCollectionCls dans MapObjects
• [SPARK-46585] [SC-151622][core] Construit metricPeaks directement en tant que immutable.ArraySeq au lieu d'utiliser mutable.ArraySeq.toSeq dans Executor
• [SPARK-46488] [SC-151173][sql] Ignorer l’appel de la fonction trimAll lors de l’analyse d’horodatage
• [SPARK-46231] [SC-149724][python] Migrer tout le reste NotImplementedError & TypeError dans l’infrastructure d’erreur PySpark
• [SPARK-46348] [SC-150281][core] Support spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] Durée de récupération du log Spark HA
• [SPARK-46358] [SC-150307][connect] Simplifier la vérification de la condition dans le ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Remplacez l’heure/la date actuelle avant l’évaluation des expressions de table inline.
• [SPARK-46563] [SC-151441][sql] La vue simpleString ne respecte pas la configuration spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Réduire la profondeur de la pile en remplaçant (string|array).size par (string|array).length
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(tous les champs d’un struct) entraîne un échec d’assertion
• [SPARK-46565] [SC-151414][python] Affiner les classes d’erreur et les messages d’erreur pour les sources de données Python
• [SPARK-46576] [SC-151614][sql] Améliorer les messages d’erreur pour le mode d’enregistrement de source de données non pris en charge
• [SPARK-46540] [SC-151355][python] Respecter les noms de colonnes lorsque la fonction de lecture de la source de données Python génère des sorties dénommées Objets Row
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite fuit la SessionState de Hive
• [SPARK-44556] [SC-151562][sql] Réutilisation OrcTail lors de l’activation de VectorizedReader
• [SPARK-46587] [SC-151618][sql] XML : Correction de la conversion des grands entiers XSD
• [SPARK-46382] [SC-151297][sql] XML : Capturer des valeurs entre les éléments
• [SPARK-46567] [SC-151447][core] Supprimer ThreadLocal pour ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Inscription automatique de la source de données Python au démarrage
• [SPARK-28386] [SC-151014][sql] Impossible de résoudre les ORDER BY colonnes avec GROUP BY et HAVING
• [SPARK-46524] [SC-151446][sql] Améliorer les messages d’erreur pour le mode d’enregistrement non valide
• [SPARK-46294] [SC-150672][sql] Nettoyer la sémantique d’init et la valeur zéro
• [SPARK-46301] [SC-150100][core] Support spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Supprimer la vérification pour c>=0 de ExternalCatalogUtils#needsEscaping car elle est toujours vraie
• [SPARK-46553] [SC-151360][ps] FutureWarning pour interpolate le type d’objet
• [SPARK-45914] [SC-151312][python] Prise en charge de la validation et de l’abandon de l’API pour l’écriture de source de données Python
• [SPARK-46543] [SC-151350][python][CONNECT] Générer PySparkValueError pour les champs vides
• [SPARK-46520] [SC-151227][python] Prise en charge du mode de remplacement pour l’écriture de source de données Python
• [SPARK-46502] [SC-151235][sql] Supporter les types de timestamp dans UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][connect] Transmettre les paramètres de message dans les métadonnées de ErrorInfo
• [SPARK-46397] Rétablir « [SC-151311][python][CONNECT] La fonction sha2 devrait lever PySparkValueError pour numBits non valide »
• [SPARK-46170] [SC-149472][sql] Prise en charge de l'intégration de règles stratégiques de post-planification adaptative des requêtes dans SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable ne doit pas charger la table
• [SPARK-46397] [SC-151311][python][CONNECT] La fonction sha2 devrait lever une erreur pour une valeur PySparkValueError non valide numBits
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables ne lève pas d’exception lorsque la table ou la vue est introuvable
• [SPARK-46272] [SC-151012][sql] Support CTAS à l’aide de sources DSv2
• [SPARK-46480] [SC-151127][core][SQL] Corriger NPE lors de la tentative de tâche de cache de table
• [SPARK-46100] [SC-149051][core][PYTHON] Réduire la profondeur de la pile en remplaçant (chaîne|tableau).size par (chaîne|tableau).length
• [SPARK-45795] [SC-150764][sql] DS V2 prend en charge le mode push down
• [SPARK-46485] [SC-151133][sql] V1Write ne doit pas ajouter un tri quand ce n'est pas nécessaire
• [SPARK-46468] [SC-151121] [SQL] Gestion du bogue COUNT pour les sous-requêtes EXISTS avec agrégat sans clés de regroupement
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE Prise en charge de SQL
• [SPARK-46498] [SC-151199][core] Supprimer shuffleServiceEnabled de o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Définir les configurations de base sur le CORRECTED mode par défaut
• [SPARK-45525] [SC-151120][sql][PYTHON] Prise en charge de l’écriture de source de données Python à l’aide de DSv2
• [SPARK-46505] [SC-151187][connect] Rendre le seuil d’octets configurable dans ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Supprimer les configurations SQL obsolètes de conversion de date et heure
• [SPARK-46443] [SC-151123][sql] Précision décimale et échelle doivent être décidés par le dialecte H2.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] Corriger le diagramme de pile de durée d'opération sur la page de streaming structuré
• [SPARK-46207] [SC-151068][sql] Supporter MergeInto dans DataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Ajouter une nouvelle API dans DataWriter pour écrire un itérateur d’enregistrements
• [SPARK-46273] [SC-150313][sql] Prise en charge INSERT d’INTO/OVERWRITE à l’aide de sources DSv2
• [SPARK-46344] [SC-150267][core] Avertir correctement lorsqu'un exécuteur termine correctement, mais que le maître est déconnecté
• [SPARK-46284] [SC-149944][python][CONNECT] Ajouter session_user une fonction à Python
• [SPARK-46043] [SC-149786][sql] Prise en charge de la création de table à l’aide de sources DSv2
• [SPARK-46323] [SC-150191][python] Correction du nom de sortie de pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][python][CONNECT] Ajouter Column.isNaN dans PySpark
• [SPARK-46456] [SC-151050][core] Ajouter spark.ui.jettyStopTimeout pour définir le délai d’expiration pour l'arrêt du serveur Jetty afin de débloquer l’arrêt de SparkContext
• [SPARK-43427] [SC-150356][protobuf] spark protobuf : permettre la conversion ascendante des types d'entiers non signés
• [SPARK-46399] [SC-151013][14.x][Core] Ajout de l’état de sortie à l’événement de fin d’application pour l’utilisation de Spark Listener
• [SPARK-46423] [SC-150752][python][SQL] Faire en sorte que l’instance de source de données Python soit établie pour DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][python][SQL] Prise en charge des métriques Python dans la source de données Python
• [SPARK-46330] [SC-151015] Chargement des blocs d’interface utilisateur Spark sur une durée longue quand HybridStore est activé
• [SPARK-46378] [SC-150397][sql] Supprimez toujours le tri après la conversion de l’agrégat en projet
• [SPARK-45506] [SC-146959][connect] Ajout de la prise en charge de l’URI ivy à SparkConnect addArtifact
• [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close() pour éviter la fuite de mémoire
• [SPARK-46427] [SC-150759][python][SQL] Modifier la description de la source de données Python pour être assez explicite
• [SPARK-45597] [SC-150730][python][SQL] Prise en charge de la création de table à l’aide d’une source de données Python dans SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][python] Ajouter getMessageParameters ainsi que la prise en charge de getQueryContext
• [SPARK-46453] [SC-150897][connect] Générer une exception depuis internalError() dans SessionHolder
• [SPARK-45758] [SC-147454][sql] Introduire un mappeur pour les codecs de compression hadoop
• [SPARK-46213] [PYTHON] Introduction de PySparkImportError pour le framework d’erreurs
• [SPARK-46230] [SC-149960][python] Migrer RetriesExceeded vers l’erreur PySpark
• [SPARK-45035] [SC-145887][sql] Correction de ignoreCorruptFiles/ignoreMissingFiles avec CSV/JSON multiligne signalera une erreur
• [SPARK-46289] [SC-150846][sql] Prend en charge la gestion de l'ordre des UDT en mode interprété
• [SPARK-46229] [SC-150798][python][CONNECT] Ajouter applyInArrow à groupBy et cogroup dans Spark Connect
• [SPARK-46420] [SC-150847][sql] Supprimer le transport inutilisé dans SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Migration de tous les éléments RuntimeError restants dans le framework d’erreurs de PySpark
• [SPARK-45796] [SC-150613][sql] Prise en charge de MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] Ajouter applyInArrow à groupBy et cogroup
• [SPARK-46069] [SC-149672][sql] Support de l'extraction du type d'horodatage en type de date
• [SPARK-46406] [SC-150770][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Convertir IllegalStateException en internalError dans les itérateurs de session
• [SPARK-45807] [SC-150751][sql] Améliorer l’API ViewCatalog
• [SPARK-46009] [SC-149771][sql][CONNECT] Fusionner la règle d’analyse de PercentileCont et PercentileDisc dans functionCall
• [SPARK-46403] [SC-150756][sql] Décoder le fichier binaire Parquet avec la méthode getBytesUnsafe
• [SPARK-46389] [SC-150779][core] Fermez manuellement l’instance RocksDB/LevelDB lors de la levée d'une exception checkVersion
• [SPARK-46360] [SC-150376][python] Améliorer le débogage des messages d’erreur avec la nouvelle getMessage API
• [SPARK-46233] [SC-149766][python] Migrer tout le reste AttributeError dans l’infrastructure d’erreur PySpark
• [SPARK-46394] [SC-150599][sql] Correction des problèmes de spark.catalog.listDatabases() sur les schémas contenant des caractères spéciaux lorsque l'option spark.sql.legacy.keepCommandOutputSchema est définie sur vrai
• [SPARK-45964] [SC-148484][sql] Supprimer l’accesseur sql privé dans le package XML et JSON sous le package catalyseur
• [SPARK-45856] [SC-148691] Déplacement de ArtifactManager de Spark Connect dans SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] Correction du script de lancement spark-connect-scala-client
• [SPARK-46416] [SC-150699][core] Ajouter @tailrec à HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Restreindre les charsets dans encode()
• [SPARK-46253] [SC-150416][python] Planifier la lecture de la source de données Python à l’aide de MapInArrow
• [SPARK-46339] [SC-150266][ss] Répertoire avec nom de numéro de lot ne doit pas être traité comme journal des métadonnées
• [SPARK-46353] [SC-150396][core] Refactorisation pour améliorer la RegisterWorker couverture des tests unitaires
• [SPARK-45826] [SC-149061][sql] Ajouter une configuration SQL pour les traces de pile dans le contexte de requête DataFrame
• [SPARK-45649] [SC-150300][sql] Unifier le cadre de préparation pour OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][core] Correction pour que le Master mette à jour un worker de UNKNOWN à ALIVE sur le msg RegisterWorker
• [SPARK-46388] [SC-150496][sql] HiveAnalysis omet la protection du modèle de query.resolved
• [SPARK-46401] [SC-150609][core] Utilisation !isEmpty() au RoaringBitmap lieu de getCardinality() > 0 dans RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] Classifier les exceptions dans le catalogue de tables JDBC
• [SPARK-45798] [SC-150513][connect] Suivi : ajouter l'identifiant de session du serveur à SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML : Ajout de la prise en charge de TimestampNTZType
• [SPARK-46075] [SC-150393][connect] Améliorations apportées à SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Remplacement de l’utilisation incorrecte dans la documentation de setConf par conf.set
• [SPARK-46202] [SC-150420][connect] Exposer de nouvelles API ArtifactManager pour prendre en charge les répertoires cibles personnalisés
• [SPARK-45824] [SC-147648][sql] Appliquer la classe d’erreur dans ParseException
• [SPARK-45845] [SC-148163][ss][UI] Ajouter un nombre de lignes d’état supprimées à l’interface utilisateur de streaming
• [SPARK-46316] [SC-150181][core] Activer buf-lint-action sur le core module
• [SPARK-45816] [SC-147656][sql] Retourner NULL lors d'un débordement pendant la conversion de timestamp en entiers
• [SPARK-46333] [SC-150263][sql] Remplacer IllegalStateException par SparkException.internalError dans le catalyseur
• [SPARK-45762] [SC-148486][core] Prise en charge de gestionnaires de shuffle définis dans les jars utilisateur en changeant l'ordre de démarrage
• [SPARK-46239] [SC-149752][core] Masquer les Jetty informations
• [SPARK-45886] [SC-148089][sql] Sortir la trace de pile complète dans le contexte DataFrame callSite
• [SPARK-46290] [SC-150059][python] Modifier saveMode en indicateur booléen pour DataSourceWriter
• [SPARK-45899] [SC-148097][connect] Définir errorClass dans errorInfoToThrowable
• [SPARK-45841] [SC-147657][sql] Exposer la trace de pile par DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Prise en charge de killall dans l’API de soumission REST
• [SPARK-46234] [SC-149711][python] Introduction PySparkKeyError pour l’infrastructure d’erreur PySpark
• [SPARK-45606] [SC-147655][sql] Restrictions de publication sur le filtre d’exécution multicouche
• [SPARK-45725] [SC-147006][sql] Supprimer le filtre d’exécution de sous-requête IN non par défaut
• [SPARK-45694] [SC-147314][spark-45695][SQL] Nettoyer l’utilisation déconseillée de l’API View.force et ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] Rendre withOrigin plus générique
• [SPARK-46292] [SC-150086][core][UI] Afficher un résumé des workers dans MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Utiliser LazyList au lieu de Stream
• [SPARK-45888] [SC-149945][ss] Appliquer le cadre de classe d'erreur à la source de données d'état (métadonnées)
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed doit conserver l'ordre dict/map
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Nettoyer SeqOps.view et ArrayOps.view conversions
• [SPARK-46029] [SC-149255][sql] Échapper le guillemet simple, _ et % pour le filtrage DS V2
• [SPARK-46275] [SC-150189] Protobuf : Retour de Null en mode permissif quand la désérialisation échoue.
• [SPARK-46320] [SC-150187][core] Soutien spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Ne pas appliquer de filtres aux groupes de lignes Parquet qui débordent
• [SPARK-46300] [SC-150097][python][CONNECT] Mettre en correspondance un comportement mineur dans Column avec une couverture de test complète
• [SPARK-46298] [SC-150092][python][CONNECT] Faire correspondre l’avertissement de dépréciation, le cas de test et l’erreur de Catalog.createExternalTable
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Nettoyer l’utilisation obsolète de l’API liée à StringContext/StringOps/RightProjection/LeftProjection/Either et l’utilisation des types de BufferedIterator/CanBuildFrom/Traversable.
• [SPARK-33393] [SC-148407][sql] Prise en charge de SHOW TABLE EXTENDED dans v2
• [SPARK-45737] [SC-147011][sql] Supprimer inutile .toArray[InternalRow] dans SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] Exiger un verrou d’instance pour acquérir des métriques RocksDB pour empêcher la concurrence avec les opérations en arrière-plan
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed doit respecter l’ordre de dictée
• [SPARK-46274] [SC-150043] [SQL] Correction de l’opérateur de plage computeStats() pour vérifier la validité de la longueur avant la conversion
• [SPARK-46040] [SC-149767][sql][Python] Mettre à jour l'API UDTF pour 'analyser' les colonnes de partitionnement/ordonnancement afin de prendre en charge les expressions générales
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty doit fonctionner avec tous les types de données
• [SPARK-45678] [SC-146825][core] Couvre BufferReleasingInputStream.available/reset en cas d'exception tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Nettoyer l’utilisation déconseillée de l’API liée à IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][sql] introduction de la nouvelle syntaxe
• [SPARK-46269] [SC-149816][ps] Activer d’autres tests de fonction de compatibilité NumPy
• [SPARK-45807] [SC-149851][sql] Ajouter createOrReplaceView(..) / replaceView(..) au ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introduire une fonction implicite dans laquelle Scala Array doit être encapsulé immutable.ArraySeq.
• [SPARK-46205] [SC-149655][core] Améliorer les PersistenceEngine performances avec KryoSerializer
• [SPARK-45746] [SC-149359][python] Retourne des messages d’erreur spécifiques si la méthode UDTF 'analyze' ou 'eval' accepte ou retourne des valeurs incorrectes
• [SPARK-46186] [SC-149707][connect] Correction de la transition d’état illégale lors de l’interruption d’ExecuteThreadRunner avant le démarrage
• [SPARK-46262] [SC-149803][ps] Activer le test pour np.left_shift l’objet Pandas-on-Spark.
• [SPARK-45093] [SC-149679][connect][PYTHON] Prise en charge appropriée de la gestion et de la conversion des erreurs pour AddArtifactHandler
• [SPARK-46188] [SC-149571][doc][3.5] Correction du css des tables générées par Spark doc
• [SPARK-45940] [SC-149549][python] Ajouter InputPartition à l’interface DataSourceReader
• [SPARK-43393] [SC-148301][sql] Résoudre le bogue de dépassement d’expression de séquence.
• [SPARK-46144] [SC-149466][sql] Fail INSERT INTO ... REPLACE si la condition contient une sous-requête
• [SPARK-46118] [SC-149096][sql][SS][connect] Utiliser SparkSession.sessionState.conf au lieu de SQLContext.conf marquer SQLContext.conf comme déconseillé
• [SPARK-45760] [SC-147550][sql] Ajouter une expression With pour éviter la duplication des expressions
• [SPARK-43228] [SC-149670][sql] Les clés de jointure correspondent également à PartitioningCollection dans CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][ps] Test SparkPandasNotImplementedError avec nettoyage du code inutilisé
• [SPARK-46119] [SC-149205][sql] Redéfinir la méthode toString pour UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Utiliser une exception d’étendue plus étroite pour le processeur SQL
• [SPARK-46191] [SC-149565][core] Améliorer FileSystemPersistenceEngine.persist le msg d’erreur en cas de fichier existant
• [SPARK-46036] [SC-149356][sql] Suppression de la classe d’erreur de la fonction raise_error
• [SPARK-46055] [SC-149254][sql] Réécrire l'implémentation des API de base de données du catalogue
• [SPARK-46152] [SC-149454][sql] XML : Ajouter la prise en charge de DecimalType dans l’inférence de schéma XML
• [SPARK-45943] [SC-149452][sql] Déplacer DetermineTableStats vers les règles de résolution
• [SPARK-45887] [SC-148994][sql] Harmoniser l’implémentation du codegen et du non-codegen de Encode
• [SPARK-45022] [SC-147158][sql] Fournir un contexte pour les erreurs d’API de jeu de données
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Remplacer toIterator par iteratorIterableOnce
• [SPARK-46141] [SC-149357][sql] Modifier la valeur par défaut pour spark.sql.legacy.ctePrecedencePolicy en CORRECTED
• [SPARK-45663] [SC-146617][core][MLLIB] Remplacer IterableOnceOps#aggregate par IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Réutiliser des objets littéraux dans la règle ComputeCurrentTime
• [SPARK-45803] [SC-147489][core] Supprimer le non utilisé RpcAbortException
• [SPARK-46148] [SC-149350][ps] Correction du test pyspark.pandas.mlflow.load_model (Python 3.12)
• [SPARK-46110] [SC-149090][python] Utiliser des classes d’erreur dans catalogue, conf, connect, observation, modules pandas
• [SPARK-45827] [SC-149203][sql] Correctifs variés avec codegen et lecteur vectorisé désactivé
• [SPARK-46080] Rétablir « [SC-149012][python] Mettre à niveau Cloudpickle vers 3.0.0 »
• [SPARK-45460] [SC-144852][sql] Remplacer scala.collection.convert.ImplicitConversions par scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Supprimer la résolution spéciale de l'Espace de noms non résolu pour certaines commandes
• [SPARK-45600] [SC-148976][python] Faire en sorte que l'inscription des sources de données Python se fasse au niveau de la session
• [SPARK-46074] [SC-149063][connect][SCALA] Détails insuffisants dans le message d’erreur sur l’échec de la fonction utilisateur
• [SPARK-46114] [SC-149076][python] Ajouter PySparkIndexError pour l’infrastructure d’erreurs
• [SPARK-46120] [SC-149083][connect][PYTHON] Supprimer la fonction d’assistance DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Gestion des chemins d’accès de mise à jour pour la source de données Python
• [SPARK-46062] [14.x][sc-148991][SQL] Synchroniser l’indicateur isStreaming entre la définition CTE et la référence
• [SPARK-45698] [SC-146736][core][SQL][ss] Nettoyer l’utilisation déconseillée de l’API liée à Buffer
• [SPARK-46064] [SC-148984][sql][SS] Déplacer EliminateEventTimeWatermark vers l'analyseur et le changer pour n'avoir d'effet que sur l'enfant résolu
• [SPARK-45922] [SC-149038][connect][CLIENT] Refactorisation des reessais mineurs (suivi de plusieurs politiques)
• [SPARK-45851] [SC-148419][connect][SCALA] Prise en charge de plusieurs stratégies dans le client Scala
• [SPARK-45974] [SC-149062][sql] Ajouter une vérification des attributs de filtre non vide pour RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets dans le client Scala Spark Connect
• [SPARK-45136] [SC-146607][connect] Améliorer ClosureCleaner avec la prise en charge d’Ammonite
• [SPARK-46084] [SC-149020][ps] Refactorisation de la conversion du type de données pour le type catégoriel.
• [SPARK-46083] [SC-149018][python] Faire de SparkNoSuchElementException comme une API d’erreur standardisée
• [SPARK-46048] [SC-148982][python][CONNECT] Prise en charge des DataFrame.groupingSets dans Python Spark Connect
• [SPARK-46080] [SC-149012][python] Mettre à niveau Cloudpickle vers la version 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Correction de la représentation de chaîne protobuf pour l’API Pandas Functions avec Spark Connect
• [SPARK-46065] [SC-148985][ps] Refactorer (DataFrame|Series).factorize() pour qu'il utilise create_map.
• [SPARK-46070] [SC-148993][sql] Compiler le modèle regex dans SparkDateTimeUtils.getZoneId en dehors de la boucle chaude
• [SPARK-46063] [SC-148981][python][CONNECT] Améliorer les messages d’erreur liés aux types d’arguments dans cute, rollup, groupby et pivot
• [SPARK-44442] [SC-144120][mesos] Supprimer la prise en charge de Mesos
• [SPARK-45555] [SC-147620][python] Inclut un objet débogueur pour l’assertion ayant échoué
• [SPARK-46048] [SC-148871][python][SQL] Prise en charge de DataFrame.groupingSets dans PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Faire du faulthandler une configuration d'exécution pour l'exécution de Python dans SQL
• [SPARK-45996] [SC-148586][python][CONNECT] Afficher les messages d’exigence de dépendance appropriés pour Spark Connect
• [SPARK-45681] [SC-146893][ui] Cloner une version js de UIUtils.errorMessageCell pour un rendu d’erreur cohérent sur l’interface utilisateur
• [SPARK-45767] [SC-147225][core] Delete TimeStampedHashMap et son UT
• [SPARK-45696] [SC-148864][core] Méthode fix tryCompleteWith in trait Promise est déconseillée
• [SPARK-45503] [SC-146338][ss] Ajouter la configuration pour définir la compression RocksDB
• [SPARK-45338] [SC-143934][core][SQL] Remplacer scala.collection.JavaConverters par scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Correction ArrayIndexOutOfBoundsException dans conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Amélioration de l’API XSDToSchema : Passer à l’API HDFS pour l’accessibilité du stockage cloud
• [SPARK-45819] [SC-147570][core] Prise en charge clear dans l’API de soumission REST
• [SPARK-45552] [14.x][sc-146874][PS] Introduire des paramètres flexibles pour assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Fournir une interface pour d’autres sources de streaming pour ajouter _metadata des colonnes
• [SPARK-45929] [SC-148692][sql] Prise en charge de l’opération groupingSets dans l’API dataframe
• [SPARK-46012] [SC-148693][core] EventLogFileReader ne doit pas lire les journaux cycliques si le fichier d'état de l'application est manquant
• [SPARK-45965] [SC-148575][sql] Déplacer les expressions de partitionnement DSv2 dans le module functions.partitioning
• [SPARK-45971] [SC-148541][core][SQL] Corriger le nom du package à SparkCollectionUtilsorg.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Nettoyer l’utilisation déconseillée de l’API liée à MapOps &Fix method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Supprimer treatEmptyValuesAsNulls et utiliser nullValue l’option à la place dans XML
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Correction des typeshints pour gérer list GenericAlias dans Python 3.11+
• [SPARK-45999] [SC-148595][ps] Utiliser une PandasProduct dédiée dans cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Correction pyspark.ml.torch.tests.test_distributor dans Python 3.11
• [SPARK-45994] [SC-148581][python] Change description-file to description_file
• [SPARK-45575] [SC-146713][sql] Prise en charge des options d'accès rétrospectif pour l'API de lecture de df
• [SPARK-45747] [SC-148404][ss] Utiliser les informations de clé de préfixe dans les métadonnées d’état pour gérer la lecture de l’état pour l'agrégation par fenêtre de session
• [SPARK-45898] [SC-148213][sql] Réécrire les API de table de catalogue pour utiliser un plan logique non résolu
• [SPARK-45828] [SC-147663][sql] Supprimer la méthode déconseillée dans dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Mise à niveau protobuf vers la version 4.25.1 pour prendre en charge Python 3.11
• [SPARK-45911] [SC-148226][core] Rendre TLS1.3 la valeur par défaut pour RPC SSL
• [SPARK-45955] [SC-148429][ui] Prise en charge du repli pour les détails du graphe de flammes et du vidage des fils
• [SPARK-45936] [SC-148392][ps] Optimize Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Règle de correspondance MetaException correcte lors de l’obtention des métadonnées de partition
• [SPARK-45655] [SC-148085][sql][SS] Autoriser les expressions non déterministes dans AggregateFunctions dans CollectMetrics
• [SPARK-45946] [SC-148448][ss] Correction de l’utilisation de l’écriture FileUtils déconseillée pour passer un charset par défaut dans RocksDBSuite
• [SPARK-45511] [SC-148285][ss] Source de données d’état - Lecteur
• [SPARK-45918] [SC-148293][ps] Optimize MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] Retourne les métriques observées à partir de commandes
• [SPARK-45867] [SC-147916][core] Support spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Ajouter une fonction d’assistance pour parser
• [SPARK-45930] [SC-148399][sql] Soutien des UDFs non déterministes dans MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Créer une API UDTF Python pour arrêter la consommation de lignes de la table d’entrée
• [SPARK-45731] [SC-147929][sql] Mettre également à jour les statistiques de partition avec ANALYZE TABLE la commande
• [SPARK-45868] [SC-148355][connect] Veillez à spark.table utiliser le même analyseur avec spark vanille
• [SPARK-45882] [SC-148161][sql] Le partitionnement par BroadcastHashJoinExec doit respecter CoalescedHashPartitioning lors de sa propagation.
• [SPARK-45710] [SC-147428][sql] Affecter des noms à l’erreur _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] Traiter les décimales (x, 0) identiques à IntegralType dans PromoteStrings
• [SPARK-45786] [SC-147552][sql] Correction des résultats incorrects de la multiplication décimale et de la division
• [SPARK-45871] [SC-148084][connect] Optimisations de conversion de collection liées à .toBuffer dans les modules connect
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager peut rechercher un sparkcontext arrêté
• [SPARK-45913] [SC-148289][python] Rendre les attributs internes privés à partir d’erreurs PySpark.
• [SPARK-45827] [SC-148201][sql] Ajouter un type de données Variant dans Spark.
• [SPARK-44886] [SC-147876][sql] Introduire CLUSTER BY la clause CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][core] Support spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Vérifier l'ID de session côté serveur
• [SPARK-45896] [SC-148091][sql] Construction ValidateExternalType avec le type attendu correct
• [SPARK-45902] [SC-148123][sql] Supprimer la fonction resolvePartitionColumns inutilisée de DataSource
• [SPARK-45909] [SC-148137][sql] Supprimer NumericType le cast s’il peut être converti en toute sécurité IsNotNull
• [SPARK-42821] [SC-147715][sql] Supprimer les paramètres inutilisés dans les méthodes splitFiles
• [SPARK-45875] [SC-148088][core] Supprimer MissingStageTableRowData du core module
• [SPARK-45783] [SC-148120][python][CONNECT] Améliorer les messages d’erreur lorsque le mode Spark Connect est activé, mais que l’URL distante n’est pas définie
• [SPARK-45804] [SC-147529][ui] Ajouter la configuration spark.ui.threadDump.flamegraphEnabled pour activer/désactiver le graphique en flammes
• [SPARK-45664] [SC-146878][sql] Introduire un mappeur pour les codecs de compression orc
• [SPARK-45481] [SC-146715][sql] Présentation d'un mappeur pour les codecs de compression Parquet
• [SPARK-45752] [SC-148005][sql] Simplifiez le code pour vérifier les relations CTE non référencées
• [SPARK-44752] [SC-146262][sql] XML : Mettre à jour Spark Docs
• [SPARK-45752] [SC-147869][sql] Le CTE non référencé doit être vérifié par CheckAnalysis0.
• [SPARK-45842] [SC-147853][sql] Refactoriser les API de fonctions du catalogue pour utiliser l’analyseur
• [SPARK-45639] [SC-147676][sql][PYTHON] Prise en charge du chargement des sources de données Python dans DataFrameReader
• [SPARK-45592] [SC-146977][sql] Problème de correction dans AQE avec InMemoryTableScanExec
• [SPARK-45794] [SC-147646][ss] Introduction de la source de métadonnées pour interroger les informations sur l'état du streaming.
• [SPARK-45739] [SC-147059][python] Catch IOException au lieu de seulement EOFException pour faulthandler
• [SPARK-45677] [SC-146700] Amélioration de la journalisation des erreurs pour l’API Observation
• [SPARK-45544] [SC-146873][core] Intégrer la prise en charge SSL dans TransportContext
• [SPARK-45654] [SC-147152][python] Ajouter une API d’écriture de source de données Python
• [SPARK-45771] [SC-147270][core] Activer spark.eventLog.rolling.enabled par défaut
• [SPARK-45713] [SC-146986][python] Prise en charge de l’inscription de sources de données Python
• [SPARK-45656] [SC-146488][sql] Correction de l'observation d'anomalies lorsque des observations identifiées portent le même nom sur plusieurs jeux de données
• [SPARK-45808] [SC-147571][connect][PYTHON] Meilleure gestion des erreurs pour les exceptions SQL
• [SPARK-45774] [SC-147353][core][UI] Prise en charge spark.master.ui.historyServerUrl dans ApplicationPage
• [SPARK-45776] [SC-147327][core] Supprimer la vérification null défensive de MapOutputTrackerMaster#unregisterShuffle ajoutée dans SPARK-39553
• [SPARK-45780] [SC-147410][connect] Propager toutes les variables locales de thread du client Spark Connect dans InheritableThread
• [SPARK-45785] [SC-147419][core] Supporter la rotation du numéro d'application
• [SPARK-45793] [SC-147456][core] Améliorer les codecs de compression intégrés
• [SPARK-45757] [SC-147282][ml] Éviter le re-calcul de NNZ dans Binarizer
• [SPARK-45209] [SC-146490][core][UI] Prise en charge des graphiques en flamme pour la page de vidage des fils de l'exécuteur
• [SPARK-45777] [SC-147319][core] Prise en charge spark.test.appId dans LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] Refactoriser la vérification null pour avoir des raccourcis
• [SPARK-45711] [SC-146854][sql] Introduire un mappeur pour les codecs de compression avro
• [SPARK-45523] [SC-146077][python] Retourne un message d’erreur utile si l’UDTF retourne None pour une colonne non nullable
• [SPARK-45614] [SC-146729][sql] Affecter des noms à l’erreur _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] Améliorer Dataset.isEmpty() en appliquant une limite globale 1
• [SPARK-45569] [SC-145915][sql] Attribuer le nom à l’erreur _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Correctif Spark History Server pour trier Duration correctement la colonne
• [SPARK-45754] [SC-147169][core] Support spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Simplifiez DataFrameStatFunctions.countMinSketch avec CountMinSketchAgg
• [SPARK-45753] [SC-147167][core] Support spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] Améliorer MasterPage pour afficher Resource la colonne uniquement lorsqu’elle existe
• [SPARK-45112] [SC-143259][sql] Utiliser une résolution basée sur 'UnresolvedFunction' dans les fonctions du jeu de données SQL

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 14.3.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.3 LTS
  • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs DBR s’exécutent sur les machines virtuelles du fournisseur de cloud, qui peuvent utiliser une autre version Ubuntu ou une distribution Linux.
• Java : Zulu 8.74.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 3.1.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de packages Posit le 13 juillet 2023 : https://packagemanager.posit.co/cran/2023-07-13/.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)