Databricks Runtime 15.4 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.4 LTS, technologie Apache Spark 3.5.0.

Databricks a publié cette version en août 2024.

Modifications de comportement

• L’utilisation d’un VARIANT en tant que type d’entrée ou de sortie avec une fonction UDF, UDAF ou UDTF Python lève une exception
• spark.sql.legacy.jdbc.useNullCalendar est désormais activé par défaut
• Changement dans le mode de liaison de schéma par défaut pour les vues
• Interdire l’utilisation de la syntaxe non documentée ! à la place de NOT en dehors des expressions booléennes
• Interdire la syntaxe de définition de colonne non documentée dans les vues
• Gestion cohérente des erreurs pour le décodage Base64 dans Spark et Photon
• L’ajout d’une contrainte CHECK sur une colonne non valide retourne maintenant la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION
• spark.sql.legacy.jdbc.useNullCalendar est désormais activé par défaut
• pyodbc est mis à jour de 4.0.38 à 4.0.39

L’utilisation d’un VARIANT en tant que type d’entrée ou de sortie avec une fonction UDF, UDAF ou UDTF Python provoque une exception

[Changement cassant] Dans Databricks Runtime 15.3 et versions ultérieures, l’appel de toute fonction définie par l’utilisateur Python (UDF), la fonction d’agrégation définie par l’utilisateur (UDAF) ou la fonction de table définie par l’utilisateur (UDTF) qui utilise un type VARIANT comme argument ou valeur de retour lève une exception. Cette modification a pour but de prévenir les problèmes qui pourraient survenir en raison d’une valeur invalide renvoyée par l’une de ces fonctions. Pour en savoir plus sur le VARIANT type, consultez utiliser VARIANTs pour stocker des données semi-structurées.

spark.sql.legacy.jdbc.useNullCalendar est désormais activé par défaut

spark.sql.legacy.jdbc.useNullCalendar est maintenant défini par défaut à true. Si cette modification interrompt vos requêtes (comme par exemple celles qui retournent des valeurs TIMESTAMP), définissez-la sur false dans votre code.

Basculer vers le mode de liaison de schéma par défaut pour les vues

Les vues s’adaptent désormais aux modifications de schéma dans la requête sous-jacente en utilisant la compensation de schéma avec des règles de cast standard. Il s’agit d’un changement par rapport au mode par défaut précédent (BINDING), qui levait des erreurs lorsqu’un cast sécurisé ne pouvait pas être effectué lors du référencement de la vue.

Voir CREATE VIEW et la fonction cast.

Interdire l’utilisation de la syntaxe non documentée ! à la place de NOT en dehors des expressions booléennes

Avec cette version, l’utilisation de ! comme synonyme de NOT en dehors des expressions booléennes n’est plus autorisée. Par exemple, des instructions telles que les suivantes : CREATE ... IF ! EXISTS, IS ! NULL, une propriété de champ ou colonne ! NULL, ! IN et ! BETWEEN, doivent être remplacées par : CREATE ... IF NOT EXISTS, IS NOT NULL, une propriété de champ ou colonne NOT NULL, NOT IN et NOT BETWEEN.

Ce changement garantit la cohérence, s’aligne sur la norme SQL, et rend votre code SQL plus portable.

L’opérateur de préfixe booléen! (par exemple, !is_mgr ou !(true AND false)) n’est pas affecté par ce changement.

Interdire la syntaxe de définition de colonne non documentée dans les vues

Databricks prend en charge CREATE VIEW avec des colonnes répondant à un nom et des annotations de colonnes. Auparavant, la spécification des types de colonnes, contraintes NOT NULL, ou DEFAULT, était autorisée. Avec cette version, vous ne pouvez plus utiliser cette syntaxe.

Ce changement garantit la cohérence, s’aligne sur la norme SQL, et prend en charge les améliorations futures.

Gestion cohérente des erreurs pour le décodage Base64 dans Spark et Photon

Cette version modifie la façon dont Photon gère les erreurs de décodage Base64 pour qu’elles correspondent à la gestion Spark de ces erreurs. Avant ces modifications, le chemin de génération de code Photon et Spark ne parvenait parfois pas à déclencher des exceptions d’analyse, tandis que l’exécution interprétée par Spark déclenchait correctement IllegalArgumentException ou ConversionInvalidInputError. Cette mise à jour garantit que Photon déclenche constamment les mêmes exceptions que Spark pendant les erreurs de décodage Base64, ce qui fournit une gestion des erreurs plus prévisible et fiable.

L’ajout d’une contrainte CHECK sur une colonne non valide retourne maintenant la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION

Pour fournir une messagerie d’erreur plus utile, dans Databricks Runtime 15.3 et versions ultérieures, une instruction ALTER TABLE ADD CONSTRAINT qui inclut une contrainte CHECK référençant un nom de colonne non valide retourne la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, une erreur INTERNAL_ERROR était retournée.

spark.sql.legacy.jdbc.useNullCalendar est désormais activé par défaut

### spark.sql.legacy.jdbc.useNullCalendar est maintenant défini sur true comme paramètre par défaut. Si cette modification interrompt vos requêtes (comme par exemple celles qui retournent des valeurs TIMESTAMP), définissez-la sur false dans votre code.

pyodbc est mis à jour de 4.0.38 à 4.0.39

Le package pyodbc est mis à jour de la version 4.0.38 à la version 4.0.39. Cette modification est requise, car un bogue a été trouvé dans la version 4.0.38 et que cette version a été supprimée de PyPI.

Améliorations et nouvelles fonctionnalités

• Fonctions de validation UTF-8
• API de jeu de données typées avec des fonctions définies par l’utilisateur Scala
• activer UniForm Iceberg à l’aide de ALTER TABLE
• Fonction try_url_decode
• Autoriser éventuellement l’optimiseur à s’appuyer sur des contraintes de clé étrangère non appliquées
• Exécutions de travaux parallélisées pour les remplacements sélectifs
• Amélioration des performances pour le flux des changements de données avec des remplacements sélectifs
• Latence de requête améliorée pour la commande COPY INTO
• Prise en charge de la fonctionnalité de table de suppression des contraintes de vérification
• Le calcul dédié (anciennement « calcul mono-utilisateur ») prend en charge le contrôle d’accès précis, les vues matérialisées et les tables de diffusion en continu (préversion publique)
• Prise en charge étendue des bibliothèques Java et Scala
• Prise en charge étendue des opérations de jeu de données Scala
• Scala est en disponibilité générale sur le calcul standard de Unity Catalog
• Accès géré par Unity Catalog aux services cloud externes à l’aide des identifiants de service (aperçu public)

Fonctions de validation UTF-8

Cette version présente les fonctions suivantes pour valider les chaînes UTF-8 :

• is_valid_utf8 vérifie si une chaîne est une chaîne UTF-8 valide.
• make_valid_utf8 convertit une chaîne UTF-8 potentiellement non valide en chaîne UTF-8 valide à l’aide de caractères de substitution
• validate_utf8 génère une erreur si l’entrée n’est pas une chaîne UTF-8 valide.
• try_validate_utf8 retourne NULL si l’entrée n’est pas une chaîne UTF-8 valide.

API de jeu de données typées avec des fonctions définies par l’utilisateur Scala

Cette version ajoute la prise en charge des API de jeux de données typées avec des fonctions Scala définies par l'utilisateur (à l'exclusion des fonctions d'agrégation définies par l'utilisateur) sur les calculs compatibles avec Unity Catalog en mode d'accès standard (anciennement mode d'accès partagé). Consultez les API de jeux de données typés.

Activer UniForm Iceberg à l’aide de ALTER TABLE

Vous pouvez désormais activer UniForm Iceberg sur des tables existantes sans réécrire les fichiers de données. Consultez Activer les lectures d'Iceberg sur une table existante.

try_url_decode, fonction

Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée en URL. Si la chaîne n’est pas au format correct, la fonction retourne NULL au lieu de lever une erreur.

Autoriser éventuellement l’optimiseur à s’appuyer sur des contraintes de clé étrangère non appliquées

Pour améliorer les performances des requêtes, vous pouvez désormais spécifier le mot clé RELY sur les contraintes FOREIGN KEY lorsque vous exécutez CREATE ou ALTER sur une table.

Exécutions de travaux parallélisées pour les remplacements sélectifs

Les remplacements sélectifs à l’aide de replaceWhere exécutent désormais des travaux qui suppriment les données et insèrent de nouvelles données en parallèle, ce qui améliore les performances des requêtes et l’utilisation du cluster.

Amélioration des performances du flux de données de changement grâce à des surcharges sélectives

Les remplacements sélectifs à l’aide de replaceWhere sur les tables avec flux des changements de données n’écrivent plus de fichiers de changements de données distincts pour les données insérées. Ces opérations utilisent une colonne masquée _change_type présente dans les fichiers de données Parquet sous-jacents pour enregistrer les changements sans amplification d’écriture.

Latence de requête améliorée pour la commande COPY INTO

Cette version inclut une modification qui améliore la latence de requête pour la commande COPY INTO. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le magasin d’états RocksDB. Avec ce changement, vous devez constater une amélioration de la durée de démarrage pour les requêtes avec des états volumineux, telles que les requêtes avec un grand nombre de fichiers déjà ingérés.

Prise en charge de la suppression de la fonctionnalité de table de contraintes de vérification

Vous pouvez désormais supprimer la fonctionnalité de table checkConstraints d’une table Delta en utilisant ALTER TABLE table_name DROP FEATURE checkConstraints. Consultez Désactiver des contraintes de validation.

Le calcul dédié (anciennement « calcul mono-utilisateur ») prend en charge le contrôle d’accès précis, les vues matérialisées et les tables de diffusion en continu (préversion publique)

Lorsqu’un espace de travail est activé pour le calcul serverless, Databricks Runtime 15.4 LTS ajoute la prise en charge du contrôle d’accès affiné sur le calcul dédié. Lorsqu’une requête accède à l’un des objets suivants, la ressource de calcul dédiée sur Databricks Runtime 15.4 LTS transmet la requête au calcul serverless pour exécuter le filtrage des données :

• Vues définies sur des tables sur lesquelles l’utilisateur n’a pas le privilège SELECT.
• Vues dynamiques.
• Tableaux avec des filtres de lignes ou des masques de colonne appliqués.
• Vues matérialisées et tables de streaming.

Ces requêtes ne sont pas prises en charge sur le calcul dédié exécutant Databricks Runtime 15.3 et ci-dessous.

Pour plus d’informations, consultez Contrôle d’accès affiné sur le calcul dédié.

Prise en charge étendue des bibliothèques Java et Scala

À compter de Databricks Runtime 15.4 LTS, toutes les bibliothèques Java et Scala groupées avec Databricks Runtime sont disponibles dans tous les modes d’accès au calcul lorsque vous utilisez Unity Catalog. Pour en savoir plus sur la prise en charge du langage sur le calcul compatible avec le catalogue Unity, consultez les exigences et limitations de calcul standard.

Prise en charge étendue des opérations de jeu de données Scala

Avec cette version, les ressources de calcul compatibles avec le catalogue Unity qui utilisent le mode d’accès standard prennent en charge les opérations Scala Dataset suivantes : map, mapPartitions, foreachPartition, flatMap, reduce et filter.

Scala est en disponibilité générale sur le calcul standard de Unity Catalog

Avec cette version, Scala est généralement disponible sur les environnements de calcul activés par Unity Catalog en mode d'accès standard, incluant la prise en charge des fonctions scalaires définies par l'utilisateur (UDF). Les fonctions d’agrégation définies par l’utilisateur Hive, les fonctions définies par l’utilisateur Hive et Structured Streaming ne sont pas pris en charge. Pour obtenir la liste complète des limitations, consultez les exigences et limitations de calcul standard.

Accès géré par Unity Catalog aux services cloud externes à l'aide des identifiants de service (Aperçu Public)

Les informations d’identification du service permettent une authentification simple et sécurisée avec les services de votre locataire cloud à l’aide d’identités managées Azure (MI) et du catalogue Unity. Consultez Créer des informations d’identification de service.

Résolution des bogues

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • azure-core de 1.30.1 vers 1.30.2
  • google-auth de 2.29.0 vers 2.31.0
  • google-cloud-storage de 2.16.0 vers 2.17.0
  • google-resumable-media de 2.7.0 vers 2.7.1
  • googleapis-common-protos de 1.63.0 vers 1.63.2
  • mlflow-skinny de 2.11.3 vers 2.11.4
  • proto-plus de 1.23.0 vers 1.24.0
  • s3transfer de 0.10.1 vers 0.10.2
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • com.databricks.databricks-sdk-java de 0.17.1 vers 0.27.0
  • com.ibm.icu.icu4j de 72.1 vers 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 vers 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs Spark et améliorations inclus dans Databricks Runtime 15.3 (EoS), ainsi que les correctifs de bogues supplémentaires et les améliorations suivants apportés à Spark :

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Autoriser le regroupement sur les expressions dans les sous-requêtes scalaires, si elles sont reliées à des lignes externes
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Désactivation de l’entrée/sortie de variante vers les fonctions définies par l’utilisateur scalaire python, les fonctions UDTF et les fonctions UDAF lors de la compilation des requêtes
• [SPARK-48441] [SC-170980][sql][WARMFIX] Correction du comportement StringTrim pour les collations non UTF8_BINARY
• [SPARK-48440] [SC-170895][sql][WARMFIX] Corriger le comportement StringTranslate pour les classements non UTF8_BINARY
• [SPARK-48872] [SC-170866][python] Réduire la surcharge de _capture_call_site
• [SPARK-48862] [SC-170845][python][CONNECT] Éviter d’appeler _proto_to_string lorsque le niveau INFO n’est pas activé
• [SPARK-48852] [SC-170837][connect] Correction de la fonction de troncature de chaîne dans connect
• [SPARK-48791] [SC-170658][core] Correction de la régression de performance causée par la surcharge d’inscription des accumulateurs à l’aide de CopyOnWriteArrayList
• [SPARK-48118] [SQL] Prise en charge de la variable d’environnement SPARK_SQL_LEGACY_CREATE_HIVE_TABLE
• [SPARK-48241] [SC-165811][sql] Échec d’analyse csv avec des colonnes de type char/varchar
• [SPARK-48168] [SC-166900][sql] Ajout de la prise en charge des opérateurs de décalage au niveau du bit
• [SPARK-48148] les objets JSON [SC-165630][core] ne doivent pas être modifiés lors de la lecture en tant que CHAÎNE
• [SPARK-46625] [SC-170561] CTE avec clause Identifier en tant que référence
• [SPARK-48771] [SC-170546][sql] Accélérer LogicalPlanIntegrity.validateExprIdUniqueness pour les plans de requête volumineux
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Rendre le nom de colonne par défaut de cast compatible avec Spark Classic
• [SPARK-48623] [SC-170544][core] Migrations de journalisation structurée [Partie 2]
• [SPARK-48296] [SC-166138][sql] Prise en charge de Codegen pour to_xml
• [SPARK-48027] [SC-165154][sql] InjectRuntimeFilter pour la jointure à plusieurs niveaux doit vérifier le type de jointure enfant
• [SPARK-48686] [SC-170365][sql] Améliorer les performances de ParserUtils.unscapeSQLString
• [SPARK-48798] [SC-170588][python] Introduction spark.profile.render pour le profilage basé sur SparkSession
• [SPARK-48048] [SC-169099] Rétablissement de « [SC-164846][connect][SS] Ajout de la prise en charge de l’écouteur côté client pour Scala »
• [SPARK-47910] [SC-168929][core] fermer le flux lorsque DiskBlockObjectWriter fermeResources pour éviter la fuite de mémoire
• [SPARK-48816] [SC-170547][sql] Raccourci pour les convertisseurs d’intervalles dans UnivocityParser
• [SPARK-48589] [SC-170132][sql][SS] Ajouter les options snapshotStartBatchId et snapshotPartitionId à la source de données d’état
• [SPARK-48280] [SC-170293][sql] Amélioration de la surface de test de classement à l’aide du parcours d’expressions
• [SPARK-48837] [SC-170540][ml] Dans CountVectorizer, lisez uniquement le paramètre binaire une fois par transformation, et non une seule fois par ligne
• [SPARK-48803] [SC-170541][sql] Levée d’une erreur interne dans orc(De)serializer pour s’aligner sur ParquetWriteSupport
• [SPARK-48764] [SC-170129][python] Filtrage des images liées à IPython à partir de la pile utilisateur
• [SPARK-48818] [SC-170414][python] Simplifier les fonctions percentile
• [SPARK-48479] [SC-169079][sql] Prise en charge de la création de fonctions SQL définies par l’utilisateur scalaires et table dans l’analyseur
• [SPARK-48697] [SC-170122][lc-4703][SQL] Ajout de filtres de chaîne prenant en charge le classement
• [SPARK-48800] [SC-170409][connect][SS] Exécution d’opération « deflake » sur ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][sql] Correction depuis la version pour l’alias de fonction intégré random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
• [SPARK-48638] [SC-169575][connect] Ajout de la prise en charge d’ExecutionInfo pour DataFrame
• [SPARK-48064] [SC-164697][sql] Mettre à jour les messages d’erreur pour les classes d’erreur liées à la routine
• [SPARK-48810] [CONNECT] L’API de session stop() doit être idempotente et ne pas échouer si la session est déjà fermée par le serveur
• [SPARK-48650] [15.x][python] Affichage du site d’appel correct à partir du notebook IPython
• [SPARK-48271] [SC-166076][sl] Conversion de l’erreur de correspondance dans RowEncoder en UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][sql] Correction de l’incompatibilité de résolution de type varchar pour DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][sql] Correction de la régression pour INSERT avec une liste de colonnes partielles sur une table avec char/varchar
• [SPARK-48767] [SC-170330][sql] Correction de certaines invites d’erreur lorsque les données de type variant ne sont pas valides
• [SPARK-48719] [SC-170339][sql] Correction du bogue de calcul de RegrSlope & RegrIntercept lorsque le premier paramètre a la valeur Null
• [SPARK-48815] [SC-170334][connect] Mettre à jour l’environnement lors de l’arrêt de la session de connexion
• [SPARK-48646] [SC-169020][python] Affiner la docstring et les annotations de type de l'API de source de données Python
• [SPARK-48806] [SC-170310][sql] Transmission de l’exception réelle en cas d’échec de url_decode
• [SPARK-47777] [SC-168818] Correction du test de connexion à la source de données de streaming Python
• [SPARK-48732] [SC-169793][sql] Nettoyage de l’utilisation déconseillée de l’API liée à JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][sql] Correction de la table de cache avec une colonne compilée
• [SPARK-48623] [SC-169034][core] Migrations de journalisation structurée
• [SPARK-48655] [SC-169542][sql] SPJ : Ajout de tests pour ignorer la lecture aléatoire pour les requêtes d’agrégation
• [SPARK-48586] [SC-169808][ss] Suppression de l’acquisition de verrous dans doMaintenance() en effectuant une copie approfondie des mappages de fichiers dans RocksDBFileManager dans load()
• [SPARK-48799] [Backport][15.x][SC-170283][ss] Refactorisation du contrôle de version pour la lecture/écriture des métadonnées d’opérateur et les appelants
• [SPARK-48808] [SC-170309][sql] Corriger le NPE lors de la connexion au thriftserver par Hive 1.2.1 lorsque le schéma de résultat est vide
• [SPARK-48715] [SC-170291][sql] Intégrer la validation UTF8String dans les implémentations de fonctions de chaîne sensibles au classement
• [SPARK-48747] [SC-170120][sql] Ajout d’un itérateur de point de code à UTF8String
• [SPARK-48748] [SC-170115][sql] Mettre en cache numChars dans UTF8String
• [SPARK-48744] [SC-169817][core] L’entrée de journal ne doit être construite qu’une seule fois
• [SPARK-46122] [SC-164313][sql] Définir spark.sql.legacy.createHiveTableByDefault sur false par défaut
• [SPARK-48765] [SC-170119][deploy] Améliorer l’évaluation des valeurs par défaut pour SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][sql] Ajouter un document de migration pour CREATE TABLEl'AS SELECT changement de comportement de changement de comportement depuis Spark 3.4
• [SPARK-48598] [SC-169484][python][CONNECT] Propager le schéma mis en cache dans les opérations de trame de données
• [SPARK-48766] [SC-170126][python] Documentez la différence de comportement de extraction entre element_at et try_element_at
• [SPARK-48768] [SC-170124][python][CONNECT] Ne doit pas mettre en cache explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] Passage aux métadonnées de l’opérateur de lecture une fois sur le pilote, afin de vérifier si nous pouvons trouver des informations pour numColsPrefixKey utilisées pour les requêtes d’agrégation de fenêtre de session
• [SPARK-48656] [SC-169529][core] Exécution d’une vérification de longueur et levée de l’erreur COLLECTION_SIZE_LIMIT_EXCEEDED dans CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][sql] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
• [SPARK-48472] [SC-169044][sql] Activer les expressions réflectives avec des chaînes ordonnées
• [SPARK-48699] [SC-169597][sql] Affiner l’API de classement
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] Utiliser l’ICU dans l’expression InitCap pour les chaînes UTF8_BINARY
• [SPARK-48282] [SC-169813][sql] Modification de la logique de recherche de chaîne pour le classement UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][sql] Activation de la prise en charge du classement pour l’expression Mode
• [SPARK-48320] [SPARK-48490] Synchronisation de la dernière caractéristique de journalisation et des cas de test à partir d’OSS Spark
• [SPARK-48629] [SC-169479] Migration du code résiduel vers un framework de journalisation structurée
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] Utiliser l’ICU dans les expressions inférieure/supérieure pour les chaînes UTF8_BINARY
• [SPARK-48573] [15.x][sc-169582][SQL] Mettre à niveau la version d’ICU
• [SPARK-48687] [Backport][15.x][SS] Ajout d’une modification pour effectuer la validation du schéma d’état et la mise à jour sur le pilote pour les requêtes avec état
• [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrer logInfo avec des variables vers une infrastructure de journalisation structurée
• [SPARK-48008] [SC-167363][1/2] Prise en charge des fonctions UDAF dans Spark Connect
• [SPARK-48578] [SC-169505][sql] ajouter des fonctions associées à la validation de chaîne UTF8
• [SPARK-48670] [SC-169598][sql] Fournir une suggestion dans le cadre du message d’erreur lorsque le nom de classement non valide est donné
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... … RK-48291] Framework de journalisation structuré côté Java
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib : Migrer logWarn avec des variables vers une infrastructure de journalisation structurée
• [SPARK-48706] [SC-169589][python] L’UDF Python dans les fonctions d’ordre supérieur ne doit pas lever d’erreur interne
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] Toujours faire le remplissage de caractères dans les prédicats
• [SPARK-48662] [SC-169533][sql] Correction de l'expression StructsToXml avec les collations
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates et dropDuplicatesWIthinWatermark doivent accepter des arguments de longueur variable
• [SPARK-48678] [SC-169463][core] Optimisations des performances pour SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Renommage de UTF8_BINARY_LCASE en UTF8_LCASE
• [SPARK-47927] [SC-164123][sql] : correction de l’attribut Nullability dans le décodeur UDF
• [SPARK-47579] [SC-165297][core][PART1] Migrer logInfo avec des variables vers une infrastructure de journalisation structurée (nouveau)
• [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal pas utiliser les méthodes déconseillées
• [SPARK-48431] [SC-167290][lc-4066][SQL] Ne pas transférer les prédicats sur les colonnes classées aux lecteurs de fichiers
• [SPARK-47579] Rétablir « [SC-165297][core][PART1] Migrer logInfo avec des variables vers une infrastructure de journalisation structurée »
• [SPARK-47585] [SC-164306][sql] SQL Core : Migrer logInfo avec des variables vers une infrastructure de journalisation structurée
• [SPARK-48466] [SC-169042][sql] Créer un nœud dédié pour EmptyRelation dans AQE
• [SPARK-47579] [SC-165297][core][PART1] Migrer logInfo avec des variables vers une infrastructure de journalisation structurée
• [SPARK-48410] [SC-168320][sql] Correction de l’expression InitCap pour les classements UTF8_BINARY_LCASE & ICU
• [SPARK-48318] [SC-167709][sql] Activation de la prise en charge des jointures de hachage pour tous les classements (types complexes)
• [SPARK-48435] [SC-168128][sql] le classement UNICODE ne doit pas prendre en charge l’égalité binaire
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] Prise en charge de l'utilisation de colonnes comme paramètres pour plusieurs fonctions dans PySpark/Scala
• [SPARK-48591] [SC-169081][python] Ajouter une fonction d’assistance pour simplifier Column.py
• [SPARK-48574] [SC-169043][sql] Correction de la prise en charge des StructTypes avec classements
• [SPARK-48305] [SC-166390][sql] Ajout de la prise en charge du classement pour les expressions CurrentLike
• [SPARK-48342] [SC-168941][sql] Introduction de l’analyseur de script SQL
• [SPARK-48649] [SC-169024][sql] Ajouter « ignoreInvalidPartitionPaths » et « spark.sql.files.ignoreInvalidPartitionPaths » pour autoriser l’ignorance des chemins de partition non valides
• [SPARK-48000] [SC-167194][sql] Activation de la prise en charge de la jointure de hachage pour tous les classements (StringType)
• [SPARK-48459] [SC-168947][connect][PYTHON] Implémenter DataFrameQueryContext dans Spark Connect
• [SPARK-48602] [SC-168692][sql] Rendre le générateur csv prendre en charge différents styles de sortie avec spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][sql] Modification de la comparaison de chaînes pour UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][sql] : refactoriser : utilisez l'idMap auxiliaire au lieu de OP_ID_TAG
• [SPARK-48634] [SC-169021][python][CONNECT] Éviter d’initialiser statiquement le pool de threads sur ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][sql] Introduit un binaryFormatter universel pour rendre la sortie binaire cohérente
• [SPARK-48642] [SC-168889][core] Fausse erreur SparkOutOfMemoryError provoquée par l’arrêt de tâche en cas de débordement
• [SPARK-48572] [SC-168844][sql] Correction des expressions DateSub, DateAdd, WindowTime, TimeWindow et SessionWindow
• [SPARK-48600] [SC-168841][sql] Correction du cast implicite des expressions FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][sql] Exécution d’une vérification de longueur et levée de l’erreur COLLECTION_SIZE_LIMIT_EXCEEDED dans Hex.hex
• [SPARK-48587] [SC-168824][variant] Éviter l’amplification du stockage lors de l’accès à un sous-variant
• [SPARK-48647] [SC-168936][python][CONNECT] Affiner le message d’erreur pour YearMonthIntervalType dans df.collect
• [SPARK-48307] [SC-167802][sql] InlineCTE doit conserver les relations non insérées dans le nœud WithCTE d’origine
• [SPARK-48596] [SC-168581][sql] Amélioration des performances pour calculer la chaîne hexadécimale pour long
• [SPARK-48621] [SC-168726][sql] Correction de la simplification Like dans l’optimiseur pour les chaînes classées
• [SPARK-47148] [SC-164179][sql] Éviter de matérialiser AQE ExchangeQueryStageExec lors de l’annulation
• [SPARK-48584] [SC-168579][sql] Amélioration des performances pour unescapePathName
• [SPARK-48281] [SC-167260][sql] Modification de la logique de recherche de chaîne pour le classement UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][sql] Remplacement de séquence d’octets UTF-8 non valide
• [SPARK-48595] [SC-168580][core] Nettoyage de l’utilisation déconseillée des API liées à commons-compress
• [SPARK-48030] [SC-164303][sql] SPJ : mise en cache de rowOrdering et structType pour InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][sql] Ajout de la caractéristique WriteFilesExecBase pour l’écriture v1
• [SPARK-48551] [SC-168438][sql] Amélioration de Perf pour escapePathName
• [SPARK-48565] [SC-168437][ui] Corriger l’affichage du dump de thread dans l’interface
• [SPARK-48364] [SC-166782][sql] Ajout d’un cast de type AbstractMapType et correction du mappage de paramètres RaiseError pour fonctionner avec des chaînes classées
• [SPARK-48421] [SC-168689][sql] SPJ : Ajouter une documentation
• [SPARK-48604] [SC-168698][sql] Remplacement de l’appel de méthode new ArrowType.Decimal(precision, scale) déconseillé
• [SPARK-46947] [SC-157561][core] Retarder l’initialisation du gestionnaire de mémoire jusqu’à ce que le plug-in driver soit chargé
• [SPARK-48411] [SC-168576][ss][PYTHON] Ajouter un test E2E pour DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][ss] Suivre les échecs de validation de ligne d’état à l’aide d’une classe d’erreur explicite
• [SPARK-48221] [SC-167143][sql] Modification de la logique de recherche de chaîne pour le classement UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][sql] Ajouter la prise en charge du classement pour l’expression Levenshtein
• [SPARK-48593] [SC-168719][python][CONNECT] Corriger la représentation sous forme de chaîne de la fonction lambda
• [SPARK-48622] [SC-168710][sql] obtenir SQLConf une seule fois lors de la résolution des noms de colonnes
• [SPARK-48594] [SC-168685][python][CONNECT] Renommer parent champ en child dans ColumnAlias
• [SPARK-48403] [SC-168319][sql] Correction des expressions supérieures et inférieures pour les classements UTF8_BINARY_LCASE & ICU
• [SPARK-48162] [SC-166062][sql] Ajouter la prise en charge du classement pour les expressions MISC
• [SPARK-48518] [SC-167718][core] Rendre la compression LZF capable de s’exécuter en parallèle
• [SPARK-48474] [SC-167447][core] Correction du nom de classe du journal dans SparkSubmitArguments et SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ : Prise en charge des expressions de transformation pour lecture aléatoire d’un côté
• [SPARK-48552] [SC-168212][sql] l'inférence de schéma CSV multi-ligne doit également générer FAILED_READ_FILE
• [SPARK-48560] [SC-168268][ss][PYTHON] StreamingQueryListener.spark peut être défini
• [SPARK-48569] [SC-168321][ss][CONNECT] Gestion des cas de périphérie dans query.name
• [SPARK-47260] [SC-167323][sql] Attribuer un nom à la classe d'erreur _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][python][CONNECT] Propager le schéma mis en cache dans les opérations définies
• [SPARK-48155] [SC-165910][sql] AQEPropagateEmptyRelation pour la jointure doit vérifier si l’enfant restant est uniquement BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][core] Les noms courts des codecs de compression ne respectent pas la casse, à l’exception de la journalisation des événements
• [SPARK-48447] [SC-167607][ss] Vérification de la classe du fournisseur du magasin d’états avant d’appeler le constructeur
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff et DateTimeUtils.timestampAdd ne doivent pas lever l’exception INTERNAL_ERROR
• [SPARK-48513] [Backport][15.x][SC-168085][ss] Ajouter une classe d’erreur pour la compatibilité du schéma d’état et la refactorisation mineure
• [SPARK-48413] [SC-167669][sql] ALTER COLUMN avec interclassement
• [SPARK-48561] [SC-168250][ps][CONNECT] Levée de PandasNotImplementedError pour les fonctions de traçage non prises en charge
• [SPARK-48465] [SC-167531][sql] Éviter la propagation de relation vide sans opération
• [SPARK-48553] [SC-168166][python][CONNECT] Mise en cache de propriétés supplémentaires
• [SPARK-48540] [SC-168069][core] Éviter les paramètres de chargement de sortie ivy dans stdout
• [SPARK-48535] [SC-168057][ss] Mettre à jour les documents de configuration afin d’indiquer la possibilité d’un problème de perte/corruption de données si l'option d'ignorer les valeurs nulles pour les jointures entre flux est activée.
• [SPARK-48536] [SC-168059][python][CONNECT] Mettre en cache le schéma spécifié par l'utilisateur dans applyInPandas et applyInArrow
• [SPARK-47873] [SC-163473][sql] Écrire des chaînes compilées dans le metastore Hive à l’aide du type de chaîne standard
• [SPARK-48461] [SC-167442][sql] Remplacer NullPointerExceptions par une classe d’erreur dans l’expression AssertNotNull
• [SPARK-47833] [SC-163191][sql][CORE] Fourniture d’une pile d’appelants pour checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][sql] Port HIVE-12270 : Ajout de la prise en charge de DBTokenStore au jeton de délégation HS2
• [SPARK-47578] [SC-167497][r] Migrer RPackageUtils avec des variables vers une infrastructure de journalisation structurée
• [SPARK-47875] [SC-162935][core] Supprimer spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][core] Définition de spark.hadoop.fs.s3a.connection.establish.timeout sur 30 secondes s’il est manquant
• [SPARK-47972] [SC-167692][sql] Restreindre l’expression CAST pour les classements
• [SPARK-48430] [SC-167489][sql] Corriger l’extraction des valeurs de carte lorsque la carte contient des chaînes compilées
• [SPARK-47318] [SC-162712][core][3.5] Ajout de l’arrondi HKDF à la dérivation de clé AuthEngine pour suivre les pratiques KEX standard
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Correction des sous-requêtes scalaires non valides avec group-by ou des colonnes non équivalentes qui ont été incorrectement autorisées
• [SPARK-48508] [SC-167695][connect][PYTHON] Mettre en cache le schéma spécifié par l'utilisateur dans DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][windows] Correction du bogue dans Windows où le démarrage de plusieurs instances Spark dans la même seconde provoque un échec
• [SPARK-45891] [SC-167608] Rétablissement de « Décrire le schéma de déchiquetage pour variant »
• [SPARK-48391] [SC-167554][core]Utilisation de addAll au lieu d’ajouter une fonction dans la méthode fromAccumulatorInfos de la classe TaskMetrics
• [SPARK-48496] [SC-167600][core] Utiliser des instances de modèle regex statiques dans JavaUtils.timeStringAs et JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][sql] Correction du message d’erreur NPE pour le fichier csv de délimiteur null
• [SPARK-48489] [SC-167598][sql] Levée d’une meilleure erreur accessible par l’utilisateur lors de la lecture d’un schéma illégal à partir d’une source de données texte
• [SPARK-48471] [SC-167324][core] Améliorer la documentation et le guide d’utilisation du serveur d’historique
• [SPARK-45891] [SC-167597] Décrire le schéma de déchiquetage pour variant
• [SPARK-47333] [SC-159043][sql] Utiliser checkInputDataTypes pour vérifier les types de paramètres de la fonction to_xml
• [SPARK-47387] [SC-159310][sql] Supprimer certaines classes d’erreur inutilisées
• [SPARK-48265] [ES-1131440][sql] La déduction du lot de limites de groupe de fenêtres doit effectuer un pliage constant
• [SPARK-47716] [SC-167444][sql] Éviter le conflit de noms d’affichage dans le cas de test de tri sémantique SQLQueryTestSuite
• [SPARK-48159] [SC-167141][sql] Extension de la prise en charge des chaînes classées sur les expressions datetime
• [SPARK-48462] [SC-167271][sql][Tests] Utiliser withSQLConf dans les tests : Refactoriser HiveQuerySuite et HiveTableScanSuite
• [SPARK-48392] [SC-167195][core] Charger également spark-defaults.conf lorsque --properties-file est fourni
• [SPARK-48468] [SC-167417] Ajout de l’interface LogicalQueryStage dans catalyst
• [SPARK-47578] [SC-164988][core] Rétroportage manuel pour Spark PR #46309 : Migration de logWarning avec des variables vers un framework de journalisation structurée
• [SPARK-48415] [SC-167321] Revenir à « [PYTHON] Refactorisation de TypeName afin de prendre en charge les types de données paramétrés »
• [SPARK-46544] [SC-151361][sql] Prise en charge de la version 2 DESCRIBE TABLE EXTENDED avec statistiques de table
• [SPARK-48325] [SC-166963][core] Toujours spécifier des messages dans ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][sql] Ajout de la prise en charge des classements pour les paramètres régionaux ICU et les spécificateurs de classement
• [SPARK-47221] [SC-157870][sql] Utilise des signatures de CsvParser à AbstractParser
• [SPARK-47246] [SC-158138][sql] Remplacer InternalRow.fromSeq par new GenericInternalRow pour enregistrer une conversion de collection
• [SPARK-47597] [SC-163932][streaming] Rétroportage manuel pour Spark PR #46192 : Streaming : Migration de logInfo avec des variables vers un framework de journalisation structurée
• [SPARK-48415] [SC-167130][python] Refactor TypeName pour prendre en charge les types de données paramétrables
• [SPARK-48434] [SC-167132][python][CONNECT] Faire en sorte que printSchema utilise le schéma mis en cache
• [SPARK-48432] [ES-1097114][sql] Éviter l’unboxing d’entiers dans UnivocityParser
• [SPARK-47463] [SC-162840][sql] Utiliser V2Predicate pour encapsuler l’expression avec le type de retour booléen
• [SPARK-47781] [SC-162293][sql] Gérer les décimales d’échelle négative pour les sources de données JDBC
• [SPARK-48394] [SC-166966][core] Nettoyage de mapIdToMapIndex sur mapoutput unregister
• [SPARK-47072] [SC-156933][sql] Corriger les formats d'intervalle supportés dans les messages d'erreur
• [SPARK-47001] [SC-162487][sql] Vérification de pushdown dans l’optimiseur
• [SPARK-48335] [SC-166387][python][CONNECT] Rendre _parse_datatype_string compatible avec Spark Connect
• [SPARK-48329] [SC-166518][sql] Activer spark.sql.sources.v2.bucketing.pushPartValues.enabled par défaut
• [SPARK-48412] [SC-166898][python] Refactorisation de l’analyse json du type de données
• [SPARK-48215] [SC-166781][sql] Extension de la prise en charge des chaînes classées sur l’expression date_format
• [SPARK-45009] [SC-166873][sql][SUIVI] Ajout d’une classe d’erreur et de tests pour la décorrélation des sous-requêtes de prédicat dans une condition de jointure qui référencent les deux enfants de jointure
• [SPARK-47960] [SC-165295][ss][15.x] Autoriser le chaînage d’autres opérateurs avec état après l’opérateur transformWithState.
• [SPARK-48340] [SC-166468][python] Prise en charge du fait que prefer_timestamp_ntz est absent de l’inférence de schéma TimestampNTZ
• [SPARK-48157] [SC-165902][sql] Ajouter la prise en charge du classement pour les expressions CSV
• [SPARK-48158] [SC-165652][sql] Ajouter la prise en charge du classement pour les expressions XML
• [SPARK-48160] [SC-166064][sql] Ajouter la prise en charge du classement pour les expressions XPATH
• [SPARK-48229] [SC-165901][sql] Ajouter la prise en charge du classement pour les expressions inputFile
• [SPARK-48367] [SC-166487][connect] Correction de lint-scala pour scalafmt afin de détecter les fichiers à mettre en forme correctement
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] Refactorisation de la structure pour le contexte d'erreur de DataFrame
• [SPARK-48370] [SC-166787][connect] Checkpoint et localCheckpoint dans le client Scala Spark Connect
• [SPARK-48247] [SC-166028][python] Utiliser toutes les valeurs dans une dictée lors de l’inférence du schéma MapType
• [SPARK-48395] [SC-166794][python] Correction StructType.treeString pour les types paramétrables
• [SPARK-48393] [SC-166784][python] Déplacer un groupe de constantes vers pyspark.util
• [SPARK-48372] [SC-166776][spark-45716][PYTHON] Implémenter StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] Checkpoint et localCheckpoint dans Spark Connect

Consultez Mises à jour de maintenance de Databricks Runtime 15.4 LTS.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.4 LTS
  • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs DBR s’exécutent sur les machines virtuelles du fournisseur de cloud, qui peuvent utiliser une autre version Ubuntu ou une distribution Linux.
• Java : Zulu 8.78.0.19-CA-linux64
• Scala : 2.12.15
• Python : 3.11.11
• R : 4.3.2
• Delta Lake : 3.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 05-02-2024 : https://packagemanager.posit.co/cran/2024-02-05/.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)