Databricks Runtime 17.2

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 17.2, alimenté par Apache Spark 4.0.0.

Azure Databricks a publié cette version en septembre 2025.

Nouvelles fonctionnalités et améliorations

• LIKE prend en charge le classement UTF8_LCASE
• st_exteriorring la fonction est désormais prise en charge
• Afficher les détails du pushdown dans EXPLAIN et l’interface utilisateur Spark pour les analyses à distance
• Déclarer plusieurs variables de session ou locales dans une seule DECLARE instruction
• Mot clé de prise en charge TEMPORARY pour la création d’une vue de métrique
• Prendre en charge des commandes supplémentaires avec un contrôle d’accès affiné
• Remplacer de manière sélective et atomique les données par INSERT REPLACE USING et INSERT REPLACE ON (GA)
• Utiliser des E/S natives pour LokiFileSystem.getFileStatus S3
• Mode ANSI activé par défaut pour l’API Pandas sur Spark
• Auto Loader déduit les colonnes de partition en singleVariantColumn mode

LIKE prend en charge le classement UTF8_LCASE

L’opérateur LIKE prend désormais en charge le classement, ce qui permet une correspondance non sensible à la UTF8_LCASE casse.

st_exteriorring la fonction est désormais prise en charge

Vous pouvez maintenant utiliser la st_exteriorring fonction pour extraire la limite externe d’un polygone et la renvoyer en tant que chaîne de ligne. Consultez Fonction st_exteriorring.

Afficher les détails du pushdown dans EXPLAIN et l’interface utilisateur Spark pour les analyses à distance

La EXPLAIN commande et l’interface utilisateur Spark pour RemoteSparkConnectScan le calcul dédié affichent désormais les prédicats, les agrégations, les groupes par clauses, les limites et les exemples qui sont poussés vers le bas dans l’analyse distante.

Déclarer plusieurs variables de session ou locales dans une seule DECLARE instruction

Dans Databricks Runtime 17.2 et versions ultérieures, vous pouvez déclarer plusieurs variables de session ou locales du même type et de la même valeur par défaut dans une instruction unique DECLARE . Afficher DECLARE VARIABLE et commencer l’instruction composée DE END.

Mot clé de prise en charge TEMPORARY pour la création d’une vue de métrique

Vous pouvez maintenant utiliser le mot clé lors de la TEMPORARY création d’une vue de métrique. Les vues de métriques temporaires sont visibles uniquement dans la session qui les a créées et sont supprimées lorsque la session se termine. Voir CREATE VIEW.

Prendre en charge des commandes supplémentaires avec un contrôle d’accès affiné

Le contrôle d’accès affiné sur le calcul dédié prend désormais en charge les commandes et FSCK REPAIR TABLE les DESCRIBE DETAIL commandes.

Remplacer de manière sélective et atomique les données par INSERT REPLACE USING et INSERT REPLACE ON (GA)

INSERT REPLACE USING et INSERT REPLACE ON sont désormais en disponibilité générale pour Databricks Runtime 17.2. Les deux commandes SQL remplacent une partie de la table par le résultat d’une requête.

INSERT REPLACE USING remplace les lignes lorsque les USING colonnes comparent égales à l’égalité. INSERT REPLACE ON remplace les lignes lorsqu’elles correspondent à une condition définie par l’utilisateur.

Voir INSERT dans la référence du langage SQL et remplacer sélectivement les données avec Delta Lake.

Utiliser des E/S natives pour LokiFileSystem.getFileStatus S3

LokiFileSystem.getFileStatus utilise désormais la pile d’E/S native pour le trafic Amazon S3 et retourne org.apache.hadoop.fs.FileStatus des objets au lieu de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

Mode ANSI activé par défaut pour l’API Pandas sur Spark

ANSI_MODE est désormais activé par défaut pour l’API Pandas sur Spark, compute.ansi_mode_support=Truece qui garantit la parité de conformité ANSI avec pandas natifs. L’option s’applique toujours si compute.fail_on_ansi_mode elle compute.ansi_mode_support est définie sur False.

Auto Loader déduit les colonnes de partition en mode singleVariantColumn

Le chargeur automatique déduit désormais les colonnes de partition à partir de chemins de fichiers lors de l’ingestion de données au format de type semi-structuré à l’aide de l’option singleVariantColumn. Auparavant, les colonnes de partition n’ont pas été détectées automatiquement. Consultez les options du chargeur automatique.

Changements comportementaux

• DESCRIBE CONNECTION affiche les paramètres d’environnement pour les connexions JDBC
• Option permettant de tronquer l’historique uniforme pendant la migration des tables managées
• Syntaxe SQL pour les options de lecture Delta dans les requêtes de streaming
• Corriger les résultats avec split une limite régulière vide et positive
• Correction url_decode et try_url_decode gestion des erreurs dans Photon
• Environnement d’exécution partagée pour les fonctions définies par l’utilisateur Python du catalogue Unity
• Suivi des lignes activé par défaut pour les nouvelles tables
• TABLE prise en charge des arguments pour les UDTF Python du catalogue Unity

DESCRIBE CONNECTION affiche les paramètres d’environnement pour les connexions JDBC

Azure Databricks inclut désormais les paramètres d’environnement définis par l’utilisateur dans la DESCRIBE CONNECTION sortie des connexions JDBC qui prennent en charge les pilotes personnalisés et s’exécutent en isolation. Les autres types de connexion restent inchangés.

Option permettant de tronquer l’historique uniforme pendant la migration des tables managées

Vous pouvez désormais tronquer l’historique uniforme lors de la migration de tables avec Uniform/Iceberg activé à l’aide ALTER TABLE...SET MANAGEDde . Cela simplifie les migrations et réduit les temps d’arrêt par rapport à la désactivation et à la réactivation manuelle d’Uniform.

Syntaxe SQL pour les options de lecture Delta dans les requêtes de streaming

Vous pouvez maintenant spécifier des options de lecture Delta pour les requêtes de streaming basées sur SQL à l’aide de la WITH clause. Par exemple:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Corriger les résultats avec split une limite régulière vide et positive

Azure Databricks retourne désormais des résultats corrects lors de l’utilisation split function avec un regex vide et une limite positive. Précédemment, la fonction a tronqué incorrectement la chaîne restante au lieu de l’inclure dans le dernier élément.

Correction url_decode et try_url_decode gestion des erreurs dans Photon

Dans Photon, try_url_decode() et url_decode() avec failOnError = false maintenant NULL retour pour les chaînes encodées url non valides au lieu d’échouer la requête.

Environnement d’exécution partagée pour les fonctions définies par l’utilisateur Python du catalogue Unity

Azure Databricks partage désormais l’environnement d’exécution pour les fonctions de table définies par l’utilisateur Python (UDF) à partir du même propriétaire et de la même session Spark. Une clause facultative STRICT ISOLATION est disponible pour désactiver le partage pour les fonctions définies par l’utilisateur avec des effets secondaires, tels que la modification de variables d’environnement ou l’exécution de code arbitraire.

Suivi des lignes activé par défaut pour les nouvelles tables

Azure Databricks active désormais le suivi des lignes par défaut pour toutes les tables managées du catalogue Unity nouvellement créées. Les tables existantes ne sont pas affectées et conservent leurs paramètres de suivi des lignes actuels.

TABLE prise en charge des arguments pour les UDTF Python dans Unity Catalog

Unity Catalog Python UDTFs prennent en charge TABLE les arguments, ce qui permet aux fonctions d’accepter des tables entières en tant que paramètres d’entrée, ce qui permet d’effectuer des transformations et des agrégations de données plus complexes sur des jeux de données structurés. Consultez les fonctions de table définies par l’utilisateur Python dans le catalogue Unity. (Rétroporté à partir de 17.3 LTS).

Mises à niveau de la bibliothèque

Bibliothèques Python mises à niveau :

Aucune bibliothèque Python n’a été mise à niveau dans cette version.

Bibliothèques R mises à niveau :

Aucune bibliothèque R n’a été mise à niveau dans cette version.

Bibliothèques Java mises à niveau :

• io.delta.delta-sharing-client_2.13 de 1.3.3 à 1.3.5

Apache Spark

Databricks Runtime 17.2 inclut Apache Spark 4.0.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans la version 17.1, ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

• SPARK-53183 Utiliser Java Files.readString au lieu de o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Réintroduisez les champs ansiConfig dans messageParameters de CAST_INVALID_INPUT et CAST_OVERFLOW
• SPARK-53124 Supprimer des champs inutiles à partir de JsonTuple
• SPARK-53106 Ajouter des tests d’évolution de schéma pour les suites de connexion Spark Scala TWS
• SPARK-53201 Utiliser SparkFileUtils.contentEquals au lieu de Files.equal
• SPARK-53308 Ne supprimez pas les alias dans RemoveRedundantAliases qui provoqueraient des doublons
• SPARK-53241 Prise en charge createArray dans SparkCollectionUtils
• SPARK-53239 Améliorer et MapSort améliorer SortArray les performances viaparallelSort
• SPARK-53184 Correction de melt() lorsque les colonnes de valeur combinent des chaînes et des nombres
• SPARK-53144 Libérer createViewCommand dans SparkConnectPlanner effet secondaire
• SPARK-53303 Utilisez l’encodeur d’état vide lorsque l’état initial n’est pas fourni dans TWS
• SPARK-52917 Prise en charge de lecture pour activer l’aller-retour pour le fichier binaire au format xml
• SPARK-53110 Implémenter la fonction time_trunc dans PySpark
• SPARK-53107 Implémenter la fonction time_trunc dans Scala
• SPARK-52146 Détecter les références de fonction cycliques dans les fonctions définies par l’utilisateur SQL
• SPARK-52469 Utiliser l’API JEP 223 pour traiter la version Java
• SPARK-53094 Corriger CUBE avec un agrégat contenant des HAVING clauses
• SPARK-51874 Ajouter TypedConfigBuilder pour l’énumération Scala
• SPARK-53287 Ajouter un guide de migration ANSI
• SPARK-43100 Les métriques shuffle basées sur push doivent être désérialisées correctement
• SPARK-53045 DESCRIBE EXTENDED doit être résilient aux métadonnées endommagées
• SPARK-53114 Prise en charge join dans JavaUtils
• SPARK-53297 Correction de la documentation de l’API Pipelines déclaratifs StreamingTable
• SPARK-53181 Activer les tests de documentation sous ANSI
• SPARK-52482 Améliorer la gestion des exceptions pour lire certains fichiers zstd endommagés
• SPARK-52990 Soutien StringSubstitutor
• SPARK-51874 Ajouter TypedConfigBuilder pour l’énumération Scala
• SPARK-53169 Supprimer les commentaires liés à «Set the logger level of File Appender to » de log4j2.properties
• SPARK-53080 Prise en charge et prise en cleanDirectory charge SparkFileUtilsJavaUtils
• SPARK-53045 DESCRIBE EXTENDED doit être résilient aux métadonnées endommagées
• SPARK-53000 Renommer StringUtils.scala dans StringConcat.scala le sql/api module
• SPARK-52952 Ajouter un script de développement de forçage de type UDF PySpark
• SPARK-52998 Plusieurs variables à l’intérieur de déclarer
• SPARK-51817 Réintroduisez les champs ansiConfig dans messageParameters de CAST_INVALID_INPUT et CAST_OVERFLOW
• SPARK-52820 Capturer des plans complets dans des fichiers dorés
• SPARK-53274 Prise en charge du pushdown de jointure gauche et droite dans JDBCScanBuilder
• SPARK-52110 Implémenter la prise en charge de la syntaxe SQL pour les pipelines
• SPARK-52950 Activer le mode ANSI dans DataSourceV2StrategySuite
• SPARK-52947 Corriger le chemin d’accès à l’image dans le guide de programmation des pipelines déclaratifs
• SPARK-52592 Prise en charge de la création d’un ps. Séries d’une ps. Série
• SPARK-53301 Différencier les indicateurs de type de Pandas UDF et Flèche UDF
• SPARK-53146 Rendre MergeIntoTable disponible dans l’effet secondaire SparkConnectPlanner
• SPARK-53166 Utiliser SparkExitCode.EXIT_FAILURE dans l’objet SparkPipelines
• SPARK-53288 Corriger l’erreur d’assertion avec la limite globale de diffusion en continu
• SPARK-52394 Correction de l’erreur de division par zéro de la correction automatique en mode ANSI
• SPARK-51555 Ajouter la fonction time_diff()
• SPARK-52948 Activer test_np_spark_compat_frame sous ANSI
• SPARK-53134 Nettoyer les importations ANSI inutilisées dans les tests
• SPARK-52593 Éviter CAST_INVALID_INPUT de MultiIndex.to_series, Series.dot et DataFrame.dot en mode ANSI
• SPARK-53291 Correction de la valeur nullabilité pour la colonne valeur
• SPARK-53097 Rendre WriteOperationV2 libre dans SparkConnectPlanner effet secondaire
• SPARK-53305 Prise en charge de TimeType dans createDataFrame
• SPARK-52914 Prise en charge des On-Demand Log Loading journaux propagés dans History Server
• SPARK-33538 Envoyer directement des prédicats IN/NOT au metastore Hive
• SPARK-52849 Ajouter stringifyException à o.a.s.util.Utils
• SPARK-52771 Correction de l’élargissement du type float32 dans truediv/floordiv
• SPARK-52502 Vue d’ensemble du nombre de threads
• SPARK-52788 Correction de l’erreur de conversion de la valeur binaire dans BinaryType en XML
• SPARK-53123 Prise en charge getRootCause dans SparkErrorUtils
• SPARK-53129 Améliorer SparkShell l’importation java.net._ par défaut
• SPARK-53061 Prise en charge copyFileToDirectory dans SparkFileUtils
• SPARK-52683 Prise en charge de ExternalCatalog alterTableSchema
• SPARK-52871 Fusionner o.a.s.sql.catalyst.util.SparkStringUtils vers o.a.s.util.SparkStringUtils
• SPARK-52817 Corriger les Like performances des expressions
• SPARK-52545 Normaliser l’échappement de guillemets doubles pour suivre la spécification SQL
• SPARK-52711 Correction de l’élargissement du type float32 sous mul/rmul ANSI
• SPARK-52615 Remplacer File.mkdirs par Utils.createDirectory
• SPARK-52381 JsonProtocol : Accepter uniquement les sous-classes de SparkListenerEvent
• SPARK-52613 Restaurer l’impression complète stacktrace lorsque HBase/Hive DelegationTokenProvider a atteint l’exception
• SPARK-52651 Gérer le type défini par l’utilisateur dans ColumnVector imbriqué
• SPARK-52611 Correction de la version SQLConf pour excludeSubqueryRefsFromRemoveRedundantAliases...
• SPARK-52552 Ignorer l’application de contrainte CHECK pour les suppressions de vecteurs de suppression
• Paramètre de prise en charge -i-I spark-shell 2.13
• SPARK-52492 Rendre InMemoryRelation.convertToColumnarIfPossible personnalisable
• SPARK-52451 Rendre WriteOperation libre dans SparkConnectPlanner effet secondaire
• SPARK-53272 Refactoriser la logique pushdown SPJ hors de BatchScanExec
• SPARK-53071 Prise en charge copyFile dans SparkFileUtils
• SPARK-51415 Prendre en charge le type de temps par make_timestamp()
• SPARK-51554 Ajouter la fonction time_trunc()
• SPARK-52426 Prise en charge de la redirection stdout/stderr vers le système de journalisation
• SPARK-51834 Prise en charge de la gestion des contraintes de table de bout en bout
• SPARK-53063 Implémenter et appeler de nouvelles API dans FileCommitProtocol au lieu du déprécié
• Spark-52546 vérifiez sparkContext si elle s’est arrêtée lors de l’exécution du bloc de code catch dans execute(), sinon, elle retourne un état incorrect.
• SPARK-53023 Supprimer la commons-io dépendance du sql/api module
• SPARK-52396 Le répertoire racine d’artefact doit utiliser tmpdir
• SPARK-53131 Améliorer SparkShell l’importation java.nio.file._ par défaut
• SPARK-42322 Attribuer un nom to_LEGACY_ERROR_TEMP_2235
• SPARK-51834 Prise en charge de la gestion des contraintes de table de bout en bout
• SPARK-52484 Ignorer l’assertion child.supportsColumnar côté pilote dans ColumnarToRowExec
• SPARK-52384 Corriger la connexion à bogue ne doit pas tenir compte des options JDBC
• SPARK-52034 Ajouter des méthodes courantes dans SparkOperation trait pour les opérations thriftserver
• SPARK-53031 Prise en charge getFile dans SparkFileUtils
• SPARK-52976 Correction de la fonction UDF Python qui n’accepte pas la chaîne compilée comme type d’entrée param/retour (17.x)
• SPARK-52943 Activer arrow_cast pour tous les types d’évaluation UDF pandas
• SPARK-53263 Prise en charge de TimeType dans df.toArrow
• SPARK-53141 Ajouter des API pour obtenir la taille de mémoire de surcharge et la taille de mémoire offheap à partir du profil de ressource
• SPARK-53259 Corrigez le message pour INVALID_UDF_EVAL_TYPE
• SPARK-53167 Le lanceur Spark isRemote respecte également le fichier de propriétés
• SPARK-53165 Ajouter SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Répétition UTF8String d’amélioration
• SPARK-53170 Améliorer SparkUserAppException pour avoir cause un paramètre
• SPARK-52989 Ajouter des itérateurs close() explicites au magasin d’états
• SPARK-53074 Éviter un clustering partiel dans SPJ pour répondre à la distribution requise d’un enfant
• SPARK-52252 Les encodeurs ScalaUDF dans la sous-requête doivent être résolus
• SPARK-53244 Ne stockez pas les confs activés à double exécution et en mode provisoire activé lors de la création de l’affichage
• SPARK-53192 Toujours mettre en cache une source de données dans le cache du plan Spark Connect
• SPARK-51813 Ajouter un DefaultCachedBatchKryoSerializer nonullable pour éviter la propagation null dans DefaultCachedBatch serde
• SPARK-52904 Réapply "[SC-202233][python] Enable convertToArrowArrayS...
• SPARK-53253 Correction de l’inscription de la fonction UDF de type SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Répertorier les types d’évaluation pris en charge dans les nœuds de direction
• SPARK-53130 Corriger le toJson comportement des types de chaînes compilés
• SPARK-53003 Prise en charge strip dans SparkStringUtils
• SPARK-51902 Synchroniser OSS : Appliquer la contrainte de vérification lors de l’insertion de table
• SPARK-52047 Déclencher PySparkValueError pour les types de tracés non pris en charge
• SPARK-53004 Prise en charge abbreviate dans SparkStringUtils
• SPARK-53066 Améliorer la sortie pour le EXPLAIN pushdown de jointure DSv2
• SPARK-30848 Supprimer productHash de TreeNode
• SPARK-53046 Utiliser Java readAllBytes au lieu de IOUtils.toByteArray
• SPARK-53206 Utiliser SparkFileUtils.move au lieu de com.google.common.io.Files.move
• SPARK-53066 Améliorer la sortie pour le EXPLAIN pushdown de jointure DSv2
• SPARK-53069 Corriger les métriques de magasin d’état incorrectes avec les familles de colonnes virtuelles
• SPARK-52904 Activer convertToArrowArraySafely par défaut [17.x]
• Spark-52821 ajouter int-DecimalType> pyspark udf type de contrainte de type de retour
• SPARK-51562 Ajouter une time fonction
• SPARK-52971 Limiter la taille de file d’attente de travail Python inactive
• SPARK-53057 Prise en charge et prise en sizeOf charge SparkFileUtilsJavaUtils
• SPARK-53040 Interdire les références auto à l’intérieur des CTEs les plus hauts dans les CTEs récursives
• SPARK-53104 Introduire ansi_mode_context pour éviter plusieurs vérifications de configuration par appel d’API
• SPARK-47547 Ajouter BloomFilter V2 et l’utiliser comme valeur par défaut
• SPARK-53098DeduplicateRelations ne doit pas remapiser les expressions si l’ancienne ExprId existe toujours dans la sortie
• SPARK-53049 Prise en charge toString dans SparkStreamUtils
• SPARK-53062 Prise en charge et prise en deleteQuietly charge SparkFileUtilsJavaUtils
• SPARK-53070 Prise en charge is(Not)?Empty dans SparkCollectionUtils
• SPARK-53020 Les arguments JPMS doivent également s’appliquer au processus non-SparkSubmit
• SPARK-52968 Émettre des métriques de magasin d’état supplémentaires
• SPARK-52975 Simplifier les noms de champs dans la jointure pushdown sql
• SPARK-52926 Ajout de SQLMetric pour la durée de récupération de schéma à distance.
• SPARK-53059 Flèche UDF pas besoin de dépendre des pandas
• SPARK-52646 Éviter CAST_INVALID_INPUT en __eq__ mode ANSI
• SPARK-52622 Éviter CAST_INVALID_INPUT en DataFrame.melt mode ANSI
• SPARK-52985 Déclencher TypeError pour l’opérande numpy pandas dans les opérateurs de comparaison
• SPARK-52580 Éviter CAST_INVALID_INPUT en replace mode ANSI
• SPARK-52549 Désactiver les références auto-références CTE récursives à partir des fonctions de fenêtre et à l’intérieur des tris
• SPARK-52895 N’ajoutez pas d’éléments en double dans resolveExprsWithAggregate
• SPARK-50748 Résolution d’un problème de condition de concurrence qui se produit lorsque les opérations sont interrompues
• SPARK-52737 Prédicat pushdown et nombre d’applications sur FsHistoryProvider lors de la liste des applications
• SPARK-53018 ArrowStreamArrowUDFSerializer doit respecter l’argument arrow_cast
• SPARK-53013 Correction de l’UDTF Python optimisé pour les flèches retournant aucune ligne sur la jointure latérale
• SPARK-51834 Synchroniser OSS : prise en charge de la contrainte de table de bout en bout alter add/drop
• SPARK-52921 Spécifier outputPartitioning pour UnionExec pour le même partitoning de sortie que les opérateurs enfants
• SPARK-52908 Empêcher que le nom de la variable itérateur soit en conflit avec les noms d’étiquettes dans le chemin d’accès à la racine d’AST
• SPARK-52954 La fonction UDF de direction prend en charge le forçage du type de retour
• SPARK-52925 Renvoyer un message d’erreur correct pour les références d’auto-ancrage dans les RCTEs
• SPARK-52889 Implémenter la fonction current_time dans PySpark
• SPARK-52675 Interrompre les gestionnaires ML suspendus dans les tests
• SPARK-52959 Prise en charge de l’UDT dans Python UDTF optimisé par flèche
• SPARK-52962 BroadcastExchangeExec ne doit pas réinitialiser les métriques
• SPARK-52956 Conserver les métadonnées d’alias lors de la réduction des projets
• SPARK-52890 Implémenter les fonctions to_time et try_to_time dans PySpark
• SPARK-52888 Implémenter la fonction make_time dans PySpark
• SPARK-52892 Prendre en charge time dans les fonctions heure, minute et seconde dans PySpark
• SPARK-52837 Prise en charge de TimeType dans pyspark
• SPARK-52023 Corriger l’altération des données/segfault retournant Option[Produit] à partir d’udaf
• SPARK-52955 Modifier les types de retour de WindowResolution.resolveOrder et WindowResolution.resolveFrame en WindowExpression
• SPARK-52166 Ajouter la prise en charge de PipelineEvents
• SPARK-51834 Correctif : supprimer valide de toDDL
• SPARK-52735 Corriger les conditions d’erreur manquantes pour les fonctions définies par l’utilisateur SQL
• SPARK-51834 Synchroniser la table de création/remplacement de bout en bout du support OSS par contrainte
• SPARK-51834 Synchroniser les appels nonapply de la mise à jour d’OSS ResolvedIdentifier
• SPARK-52929 Prise en charge du connecteur MySQL et SQLServer pour le pushdown de jointure DSv2
• SPARK-52448 Ajouter une expression.littérale struct simplifiée
• SPARK-52882 Implémenter la fonction current_time dans Scala
• SPARK-52905 Flèche UDF pour la fenêtre
• SPARK-52876 Correction d’une faute de frappe buffer dans bodyChunkFetchSuccess.toString
• SPARK-52883 Implémenter les fonctions to_time et try_to_time dans Scala
• SPARK-52751 Ne validez pas avec impatience le nom de colonne dans dataframe['col_name']
• SPARK-52791 Corriger l’erreur lors de l’inférence d’un UDT avec un premier élément Null
• SPARK-52686Union ne doit être résolu que s’il n’y a pas de doublons
• SPARK-52881 Implémenter la fonction make_time dans Scala
• SPARK-52919 Correction du pushdown de jointure DSv2 pour utiliser la colonne précédemment aliasée
• SPARK-52866 Ajouter une prise en charge pour try_to_date
• SPARK-52846 Ajoutez une métrique dans JDBCRDD pendant combien de temps il faut pour extraire le jeu de résultats
• SPARK-52859 Ajouter la caractéristique SparkSystemUtils
• SPARK-52823 Prise en charge du pushdown de jointure DSv2 pour le connecteur Oracle
• SPARK-52165 Configurer la génération de modèles de génération pour le projet pipelines
• SPARK-52869 Ajouter la validation FrameLessOffsetWindowFunction à validateResolvedWindowExpression pour la réutilisation dans l’analyseur à passe unique
• SPARK-52885 Implémenter les fonctions d’heure, de minute et de seconde dans Scala pour le type TIME
• SPARK-52903 Découper les alias de niveau supérieur avant la résolution LCA
• SPARK-52832 Correction du guillemet d’identificateur de dialecte JDBC
• SPARK-52870 Guillemets corrects noms de variables dans l’instruction FOR
• SPARK-52859 Ajouter une SparkSystemUtils caractéristique
• SPARK-52900 Utiliser SparkStringUtils.stringToSeq dans FsHistoryProvider
• SPARK-52809 Ne pas contenir de références de lecteur et d’itérateur pour toutes les partitions des écouteurs d’achèvement des tâches pour la mise à jour des métriques
• SPARK-52815 Améliorer SparkClassUtils la prise en charge getAllInterfaces
• SPARK-52795 Inclure runId dans les journaux du magasin d’états
• SPARK-52779 Prise en charge du littéral TimeType dans Connect
• SPARK-52899 Correction du test QueryExecutionErrorsSuite pour inscrire H2Dialect
• SPARK-52862 Correction de la vérification de la nullabilité de Decimal('NaN')
• SPARK-52214 Flèche UDF pour l’agrégation
• SPARK-52787 Réorganiser l’exécution de streaming dir autour des zones d’exécution et de point de contrôle
• SPARK-51564 Analyse TIME au format horloge de 12 heures
• SPARK-52859 Ajouter une SparkSystemUtils caractéristique
• SPARK-51562 Ajouter une time fonction
• SPARK-52850 Ignorer les conversions d’appels si la fonction d’identité
• SPARK-52863 Nettoyer les chemins de code pour les anciennes versions de pandas
• SPARK-52516 Ne conservez pas la référence d’itérateur précédente après l’avancement vers le fichier suivant dans ParquetPartitionReaderFactory
• SPARK-52848 Évitez d’effectuer un Double cast dans la conversion de TIME/TIMESTAMP en DECIMAL
• SPARK-52770 Type de prise en charge TIME dans le proto de connexion
• SPARK-52842 Nouvelles fonctionnalités et correctifs de bogues pour l’analyseur à passe unique
• SPARK-52620 Prise en charge du cast de TIME sur DECIMAL
• SPARK-52783 Refactoriser la logique de validation windowFunction à partir de checkAnalysis pour la réutilisation dans l’analyseur à passe unique
• SPARK-51695 Synchroniser la table de création/remplacement/modification du système d’exploitation pour une contrainte unique via DSv2
• SPARK-51695 Synchroniser la contrainte de suppression OSS via DSv2
• SPARK-52824 Classification des erreurs CheckpointFileManager
• SPARK-52829 Correction de LocalDataToArrowConversion.convert pour gérer correctement les lignes vides
• SPARK-52811 Optimiser ArrowTableToRowsConversion.convert pour améliorer ses performances
• SPARK-52796 Optimiser LocalDataToArrowConversion.convert pour améliorer ses performances
• SPARK-51695 Synchroniser les modifications apportées à l’analyseur de contraintes ALTER Table OSS
• SPARK-52619 Cast TimeType en IntegralType
• SPARK-52187 Présentation du pushdown de jointure pour DSv2
• SPARK-52782 Retourner NULL à partir de +/- à datetime avec NULL
• SPARK-51695 Introduire les modifications de l’analyseur pour les contraintes de table (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications doit être positif
• SPARK-52776 Ne fractionnez pas le champ comm dans ProcfsMetricsGetter
• SPARK-52793 Support isUnix à l’adresse o.a.s.util.Utils
• SPARK-52792 Supprimer la commons-lang3 dépendance de network-common
• SPARK-52797 Utiliser Utils.isWindows au lieu de réévaluer dans PythonWorkerFactory
• SPARK-52784 Ajouter un cast TimeZoneAware dans WindowFrameTypeCoercion.createBoundaryCast
• SPARK-52725 Retarder l’initialisation du gestionnaire de profils de ressources jusqu’à ce que le plug-in soit chargé
• SPARK-52565 Appliquer la résolution ordinale avant d’autres expressions d’ordre de tri
• SPARK-52740 Correction de NPE dans HDFSBackedStateStoreProvider accédant à StateStoreConf.sqlConf lorsque la version du format de point de contrôle est >=2
• SPARK-52673 Ajouter la gestion grpc RetryInfo aux stratégies de nouvelle tentative Spark Connect
• SPARK-52724 Améliorer la gestion des erreurs de jointure de diffusion OOM avec SHUFFLE_MERGE prise en charge des indicateurs
• SPARK-52781 Correction de la faute de frappe dtyeps dans internal.py
• SPARK-52730 Stocker le pilote sous-jacent et la version de base de données dans JDBCRDD
• SPARK-52727 Refactoriser la résolution de fenêtre afin de la réutiliser dans l’analyseur à passe unique
• SPARK-52695 Prise en charge de l’écriture de type défini par l’utilisateur pour le format de fichier xml
• SPARK-52722 Déprécier la classe JdbcRDD
• SPARK-51695 Introduire les modifications de l’analyseur pour les contraintes de table (CHECK, PK, FK)
• SPARK-52763 Prise en charge de la soustraction TIME
• SPARK-52768 Correction de la faute de frappe « déplacement » dans pandas/series.py
• SPARK-52730 Stocker le pilote sous-jacent et la version de base de données dans JDBCRDD
• SPARK-52694 Ajouter une o.a.s.sql.Encoders#udtAPI
• SPARK-52720 Correction de l’élargissement du type float32 sous add/radd ANSI
• SPARK-52723 Validation du nom de colonne côté serveur
• SPARK-52760 Correction de l’élargissement du type float32 sous sub/rsub ANSI
• SPARK-52738 Prise en charge de l’agrégation du type TIME avec un UDAF lorsque la mémoire tampon sous-jacente est une UnsafeRow
• SPARK-52704 Simplifier les interopérations entre les options SQLConf et de format de fichier dans TextBasedFileFormats
• SPARK-52706 Corriger les incohérences et les types primitifs refactorisables dans l’analyseur
• SPARK-52718 Correction de l’élargissement du type float32 sous rmod/mod ANSI
• SPARK-52736 Correction des fautes de frappe « déplacement » dans pyspark/pandas/generic.py

Prise en charge du pilote ODBC/JDBC d'Azure Databricks

Azure Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Environnement du système

• Système d’exploitation : Ubuntu 24.04.3 LTS
• Java : Zulu17.58+21-CA
• Scala : 2.13.16
• Python : 3.12.3
• R : 4.4.2
• Delta Lake : 4.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l'instantané CRAN du gestionnaire de packages en date du 20-03-2025.

Bibliothèques Java et Scala installées (version du cluster Scala 2.13)