Databricks Runtime 15.3 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.3, basé sur Apache Spark 3.5.0.

Databricks a publié cette version en juin 2024.

Nouvelles fonctionnalités et améliorations

PySpark DataSources prend désormais en charge la lecture et l’écriture de flux

PySpark DataSources, qui permettent la lecture à partir de sources de données personnalisées et l’écriture dans des récepteurs de données personnalisés, prennent désormais en charge la lecture et l’écriture de flux. Consultez Sources de données personnalisées de PySpark.

Désactiver le mappage de colonnes avec la fonctionnalité d’annulation

Vous pouvez désormais utiliser DROP FEATURE pour désactiver le mappage de colonnes sur les tables Delta et rétrograder le protocole de table. Consultez Désactiver le mappage de colonnes.

Syntaxe et fonctions de type variant dans l'aperçu public

La prise en charge native d’Apache Spark pour l’utilisation de données semi-structurées en tant que type VARIANT est désormais disponible dans les DataFrames Spark et SQL. Consulte Données de variante de requête.

Prise en charge des types de variantes pour Delta Lake en préversion publique

Vous pouvez maintenant utiliser VARIANT pour stocker des données semi-structurées dans des tables soutenues par Delta Lake. Consultez Prise en charge des variantes dans Delta Lake.

Prise en charge des différents modes d’évolution du schéma dans les vues

CREATE VIEW et ALTER VIEW vous permet désormais de définir un mode de liaison de schéma, ce qui améliore la façon dont les vues gèrent les modifications de schéma dans les objets sous-jacents. Cette fonctionnalité permet aux vues de tolérer ou d’adapter les modifications de schéma dans les objets sous-jacents. Il traite les modifications apportées au schéma de requête résultant des modifications apportées aux définitions d’objets.

Prise en charge des méthodes observe() ajoutées au client Scala Spark Connect

Le client Spark Connect Scala prend désormais en charge les méthodes Dataset.observe(). La prise en charge de ces méthodes vous permet de définir des métriques à observer sur un objet Dataset à l’aide des méthodes ds.observe("name", metrics...) ou ds.observe(observationObject, metrics...).

Latence de redémarrage de flux améliorée pour le chargeur automatique

Cette version inclut une modification qui améliore la latence de redémarrage du flux pour le chargeur automatique. Cette amélioration est implémentée en rendant asynchrone le chargement de l’état par le stockage d’état RocksDB. Avec cette modification, vous devriez constater une amélioration des temps de démarrage pour les flux avec des états importants, par exemple, des flux avec un grand nombre de fichiers déjà ingérés.

Retourner un DataFrame en tant que pyarrow.Table

Pour prendre en charge l’écriture d’un DataFrame directement dans un objet Apache Arrow pyarrow.Table, cette version inclut la fonction DataFrame.toArrow(). Pour en savoir plus sur l’utilisation de Arrow dans PySpark, consultez Apache Arrow dans PySpark.

Amélioration des performances pour certaines fonctions de fenêtre

Cette version inclut une modification qui améliore les performances de certaines fonctions de fenêtre Spark, en particulier les fonctions qui n’incluent pas une clause ORDER BY ou un paramètre window_frame. Dans ces cas, le système peut réécrire la requête pour l’exécuter à l’aide d’une fonction d’agrégation. Cette modification permet à la requête de s’exécuter plus rapidement à l’aide de l’agrégation partielle et d’éviter la surcharge liée à l’exécution des fonctions de fenêtre. Le paramètre de configuration Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled contrôle cette optimisation et est défini sur true par défaut. Pour désactiver cette optimisation, définissez spark.databricks.optimizer.replaceWindowsWithAggregates.enabled sur false.

Ajout de la prise en charge de la fonction try_mod

Cette version ajoute la prise en charge de la fonction PySpark try_mod(). Cette fonction prend en charge le calcul compatible ANSI SQL du reste entier à partir de la division de deux valeurs numériques. Si l’argument diviseur est 0, la fonction try_mod() retourne null au lieu de lever une exception. Vous pouvez utiliser la fonction try_mod() au lieu de mod ou de %, qui lève une exception si l’argument de division est 0 et QUE SQL ANSI est activé.

Prise en charge d’un paramètre facultatif d’étendue dans le list_secrets()

Cette version vous permet de limiter les résultats de la fonction list_secrets() table à une étendue spécifique.

Résolution des bogues

Les métriques WriteIntoDeltaCommand s’affichent maintenant correctement dans l’interface utilisateur Spark.

Cette version inclut un correctif des métriques affichées sous l’onglet SQL de l’interface utilisateur Spark pour le nœud Execute WriteIntoDeltaCommand. Auparavant, les métriques indiquées pour ce nœud étaient toutes nulles.

La fonction groupby() dans l’API Pandas a ignoré l’argument as_index=False

Cette version inclut un correctif pour un problème lié à la fonction groupby() dans l’API Pandas sur Spark. Avant ce correctif, un groupby() avec ré-étiquetage des colonnes d’agrégation et l’argument as_index=False n’incluait pas de clés de groupe dans le DataFrame obtenu.

Erreur d’analyse avec plusieurs fonctions de fenêtre qui font référence à la sortie des autres fonctions

Cette version résout un problème qui peut se produire lorsqu’une requête Spark a plusieurs fonctions de fenêtre consécutives, où les fonctions de fenêtre font référence à la sortie des autres fonctions de fenêtre. Dans de rares cas, le système peut supprimer l’une des références, ce qui entraîne des erreurs lors de l’évaluation de la requête. Ce correctif projette ces références pour garantir l’évaluation des requêtes. Cette modification est contrôlée par le paramètre de configuration Spark spark.databricks.optimizer.collapseWindows.projectReferences, qui est défini sur true par défaut. Pour désactiver cette modification, définissez spark.databricks.optimizer.collapseWindows.projectReferences sur false.

Mises à niveau de bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de 3.13.1 vers 3.13.4
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • org.rocksdb.rocksdbjni de 8.3.2 vers 8.11.4

Apache Spark

Databricks Runtime 15.3 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark présents dans Databricks Runtime 15.2 (EoS), ainsi que les correctifs supplémentaires suivants et les améliorations apportées à Spark :

• [SPARK-48211] [DBRRM-1041][15.x][15.3] Rétablir "[SC-165552][sql] DB2 : Lire SMALLINT comme Sho..."
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] Annuler SPARK-47904 : Préserver la casse dans le schéma Avro lorsqu'on utilise enableStableIdentifiersForUnionType
• [SPARK-48288] [SC-166141] Ajouter un type de données source pour une expression connector cast
• [SPARK-48175] [SC-166341][sql][PYTHON] Stocker les informations de classement dans les métadonnées et non dans le type pour SER/DE
• [SPARK-48172] [SC-166078][sql] Correction des problèmes d’échappement dans JDBCDialects
• [SPARK-48186] [SC-165544][sql] Ajouter la prise en charge de AbstractMapType
• [SPARK-48031] [SC-166523] Exclure des vues héritées de SCHEMA BINDING
• [SPARK-48369] [SC-166566][sql][PYTHON][connect] Ajouter la fonction timestamp_add
• [SPARK-48330] [SC-166458][ss][PYTHON] Correction du problème de délai d’expiration de la source de données de streaming Python pour un intervalle de déclenchement important
• [SPARK-48369] Rétablir " [SC-166494][sql][PYTHON][connect] Add function timestamp_add»
• [SPARK-48336] [SC-166495][ps][CONNECT] Implémenter ps.sql dans Spark Connect
• [SPARK-48369] [SC-166494][sql][PYTHON][connect] Ajouter fonction timestamp_add
• [SPARK-47354] [SC-165546][sql] Ajouter la prise en charge du classement pour les expressions variant
• [SPARK-48161] [SC-165325][sql] Correction de la demande de tirage restaurée - Ajout du support du classement pour les expressions JSON
• [SPARK-48031] [SC-166391] Décomposer la configuration viewSchemaMode, ajouter la prise en charge de SHOW CREATE TABLE
• [SPARK-48268] [SC-166217][core] Ajouter une configuration pour SparkContext.setCheckpointDir
• [SPARK-48312] [ES-1076198][sql] Améliorer les performances de Alias.removeNonInheritableMetadata
• [SPARK-48294] [SC-166205][sql] Gérer les minuscules dans nestedTypeMissingElementTypeError
• [SPARK-47254] [SC-158847][sql] Affecter des noms aux classes d’erreur _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749][sql] Affecter des noms aux classes d’erreur _LEGACY_ERROR_TEMP_323[6-7] et _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [SC-166239][python][CONNECT] Les propriétés mises en cache doivent retourner des copies
• [SPARK-48308] [SC-166152][core] Unifier l'obtention du schéma de données sans colonnes de partition dans FileSourceStrategy
• [SPARK-48301] [SC-166143][sql] Renommer CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE en CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [SC-166139][ps][CONNECT] Appliquer la méthode intégrée timestamp_diff
• [SPARK-47607] [SC-166129] Ajouter une documentation pour l’infrastructure de journalisation structurée
• [SPARK-48297] [SC-166136][sql] Correction d’une clause TRANSFORM de régression avec char/varchar
• [SPARK-47045] [SC-156808][sql] Remplacer IllegalArgumentException par SparkIllegalArgumentException in sql/api
• [SPARK-46991] [SC-156399][sql] Remplacer IllegalArgumentException par SparkIllegalArgumentException in catalyst
• [SPARK-48031] [SC-165805][sql] Prise en charge de l’évolution du schéma de la vue
• [SPARK-48276] [SC-166116][python][CONNECT] Ajouter la méthode manquante __repr__ pour SQLExpression
• [SPARK-48278] [SC-166071][python][CONNECT] Affiner la représentation sous forme de chaîne de Cast
• [SPARK-48272] [SC-166069][sql][PYTHON][connect] Ajouter la fonction timestamp_diff
• [SPARK-47798] [SC-162492][sql] Enrichir le message d’erreur pour les échecs de lecture des valeurs décimales
• [SPARK-47158] [SC-158078][sql] Attribuer un nom approprié et sqlState à _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient peut provoquer une NPE, causant FetchFailedException
• [SPARK-48277] [SC-166066] Améliorer le message d’erreur pour ErrorClassesJsonReader.getErrorMessage
• [SPARK-47545] [SC-165444][connect] Prise en charge du jeu de données observe pour le client Scala
• [SPARK-48954] [SC-171672][sql] Ajouter fonction try_mod
• [SPARK-43258] [SC-158151][sql] Assigner des noms à l'erreur _LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903][ss] Test de régression e2e avec SPARK-47305
• [SPARK-48263] [SC-165925] Prendre en charge la fonction collate pour les chaînes non UTF8_BINARY
• [SPARK-48260] [SC-165883][sql] Désactiver la coordination du commiteur de sortie dans un test de ParquetIOSuite
• [SPARK-47834] [SC-165645][sql][CONNECT] Marquer les fonctions déconseillées dans @deprecatedSQLImplicits
• [SPARK-48011] [SC-164061][core] Stocker le nom de LogKey en tant que valeur pour éviter de générer de nouvelles instances de chaînes
• [SPARK-48074] [SC-164647][core] Améliorer la lisibilité des logs JSON
• [SPARK-44953] [SC-165866][core] Journaliser un avertissement lorsque le suivi aléatoire est activé le long d’un autre mécanisme pris en charge par DA
• [SPARK-48266] [SC-165897][connect] Déplacer l’objet org.apache.spark.sql.connect.dsl de package vers le répertoire de test
• [SPARK-47847] [SC-165651][core] Déprécier spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][core] Nettoyer l’utilisation des constructeurs déconseillés de o.rocksdb.Logger
• [SPARK-48235] [SC-165669][sql] Passez directement la jointure au lieu de tous les arguments pour getBroadcastBuildSide et getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648][sql] Interdire les clés de mappage d’être de type variant
• [SPARK-48248] [SC-165791][python] Correction du tableau imbriqué pour respecter la conf héritée d’inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568][sql] Ajouter la prise en charge du classement pour le type stringTrim de fonctions/expressions (pour UTF8_BINARY &LCASE)
• [SPARK-48143] [ES-1095638][sql] Utiliser des exceptions légères pour le flux de contrôle entre UnivocityParser et FailureSafeParser
• [SPARK-48146] [SC-165668][sql] Correction de la fonction d’agrégation dans With expression child assertion
• [SPARK-48161] Rétablir « [SC-165325][sql] Ajouter la prise en charge du classement pour les expressions JSON »
• [SPARK-47963] [CORE] Rendre l’écosystème Spark externe capable d’utiliser des mécanismes de journalisation structurés
• [SPARK-48180] [SC-165632][sql] Améliorer le message d'erreur lorsqu'un appel UDTF avec un argument TABLE oublie les parenthèses autour de plusieurs expressions PARTITION/ORDER BY
• [SPARK-48002] [SC-164132][python][SS] Ajouter un test pour les métriques observées dans PySpark StreamingQueryListener
• [SPARK-47421] [SC-165548][sql] Ajouter la prise en charge du classement pour les expressions d’URL
• [SPARK-48161] [SC-165325][sql] Ajouter la prise en charge du classement pour les expressions JSON
• [SPARK-47359] [SC-164328][sql] Prise en charge de la fonction TRANSLATE pour travailler avec des chaînes triées
• [SPARK-47365] [SC-165643][python] Add toArrow() DataFrame à PySpark
• [SPARK-48228] [SC-165649][python][CONNECT] Implémenter la validation de fonction manquante dans ApplyInXXX
• [SPARK-47986] [SC-165549][connect][PYTHON] Impossible de créer une session lorsque la session par défaut est fermée par le serveur
• [SPARK-47963] Rétablir « [CORE] Rendre l’écosystème Spark externe capable d’utiliser des mécanismes de journalisation structurés »
• [SPARK-47963] [CORE] Rendre l’écosystème Spark externe capable d’utiliser des mécanismes de journalisation structurés
• [SPARK-48208] [SC-165547][ss] Ignorer la fourniture de métriques d’utilisation de la mémoire à partir de RocksDB si l’utilisation de la mémoire limitée est activée
• [SPARK-47566] [SC-164314][sql] Prise en charge de la fonction SubstringIndex pour utiliser des chaînes collationnées
• [SPARK-47589] [SC-162127][sql]Hive-Thriftserver : Migrer logError avec des variables vers une infrastructure de journalisation structurée
• [SPARK-48205] [SC-165501][python] Supprimer le modificateur privé[sql] pour les sources de données Python
• [SPARK-48173] [SC-165181][sql] CheckAnalysis doit voir l’intégralité du plan de requête
• [SPARK-48197] [SC-165520][sql] Éviter l’erreur d’assertion pour la fonction lambda non valide
• [SPARK-47318] [SC-162573][core] Ajoute l'étape HKDF à la dérivation de clé AuthEngine pour suivre les pratiques standard de Key Exchange (KEX).
• [SPARK-48184] [SC-165335][python][CONNECT] Toujours définir la graine côté clientDataframe.sample
• [SPARK-48128] [SC-165004][sql] Pour l'expression BitwiseCount / bit_count, correction de l’erreur de syntaxe générée par le code pour les entrées de type booléen
• [SPARK-48147] [SC-165144][ss][CONNECT] Supprimer les écouteurs côté client lorsque la session Spark locale est supprimée
• [SPARK-48045] [SC-165299][python] API Pandas groupby avec multi-aggrégations et renommage ignore as_index=False
• [SPARK-48191] [SC-165323][sql] Prise en charge de UTF-32 pour l’encodage et le décodage de chaînes
• [SPARK-45352] [SC-137627][sql] Éliminer les partitions de fenêtre pliables
• [SPARK-47297] [SC-165179][sql] Ajouter la prise en charge du classement pour les expressions de format
• [SPARK-47267] [SC-165170][sql] Ajouter la prise en charge du classement pour les expressions de hachage
• [SPARK-47965] [SC-163822][core] Éviter orNull dans TypedConfigBuilder et OptionalConfigEntry
• [SPARK-48166] [SQL] Éviter d’utiliser BadRecordException comme erreur orientée utilisateur dans VariantExpressionEvalUtils
• [SPARK-48105] [SC-165132][ss] Correction de la condition de course de concurrence entre le déchargement et la capture instantanée du stockage d'état
• [SPARK-47922] [SC-163997][sql] Implémenter l’expression try_parse_json
• [SPARK-47719] [SC-161909][sql] Change spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136][sql] Correction de try_add/try_multiply étant sémantiquement équivalent à add/multiply
• [SPARK-48107] [SC-164878][python] Exclure les tests de la distribution Python
• [SPARK-46894] [SC-164447][python] Déplacer les conditions d’erreur PySpark dans un fichier JSON autonome
• [SPARK-47583] [SC-163825][core] SQL Core : Migrer logError avec des variables vers une infrastructure de journalisation structurée
• [SPARK-48064] Revenir à « [SC-164697][sql] Mettre à jour les messages d’erreur pour les classes d’erreurs liées aux routines »
• [SPARK-48048] [SC-164846][connect][SS] Ajout de la prise en charge de l’écouteur côté client pour Scala
• [SPARK-48064] [SC-164697][sql] Mettre à jour les messages d’erreur pour les classes d’erreur liées à la routine
• [SPARK-48056] [SC-164715][connect][PYTHON] Réexécutez le plan si une erreur SESSION_NOT_FOUND est déclenchée et qu’aucune réponse partielle n’a été reçue
• [SPARK-48124] [SC-165009][core] Désactiver la journalisation structurée pour Connect-Repl par défaut
• [SPARK-47922] Rétablir « [SC-163997][sql] Implémenter l’expression try_parse_json »
• [SPARK-48065] [SC-164817][sql] SPJ : allowJoinKeysSubsetOfPartitionKeys est trop strict
• [SPARK-48114] [SC-164956][core] Précompiler l'expression régulière de modèle pour éviter tout travail inutile
• [SPARK-48067] [SC-164773][sql] Corriger les colonnes par défaut de variantes
• [SPARK-47922] [SC-163997][sql] Implémenter l’expression try_parse_json
• [SPARK-48075] [SC-164709] [SS] Ajouter la vérification de type pour les fonctions PySpark avro
• [SPARK-47793] [SC-164324][ss][PYTHON] Implémenter SimpleDataSourceStreamReader pour la source de données de streaming Python
• [SPARK-48081] [SC-164719] Fix ClassCastException in NTile.checkInputDataTypes() lorsque l’argument n’est pas pliable ou de type incorrect
• [SPARK-48102] [SC-164853][ss] Suivi de la durée pour l’acquisition de métriques source/puits lors du rapportage de la progression de la requête de streaming
• [SPARK-47671] [SC-164854][core] Activer la journalisation structurée dans log4j2.properties.template et mettre à jour les documents
• [SPARK-47904] [SC-163409][sql] Conserver le cas dans le schéma Avro lors de l’utilisation d’enableStableIdentifiersForUnionType
• [SPARK-48058] [SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType analyse la chaîne DDL
• [SPARK-46922] [SC-156102][core][SQL] Ne pas encapsuler les erreurs utilisateur en temps d'exécution
• [SPARK-48047] [SC-164576][sql] Réduire la pression mémoire des balises TreeNode vides
• [SPARK-47934] [SC-164648][CORE] Vérifier les barres obliques de fin dans les redirections d’URL HistoryServer
• [SPARK-47921] [SC-163826][connect] Correction de la création d’ExecuteJobTag dans ExecuteHolder
• [SPARK-48014] [SC-164150][sql] Modifier l’erreur makeFromJava dans EvaluatePython en une erreur orientée utilisateur
• [SPARK-47903] [SC-163424][python] Ajouter la prise en charge des types scalaires restants dans la bibliothèque Variant PySpark
• [SPARK-48068] [SC-164579][python] mypy doit avoir --python-executable un paramètre
• [SPARK-47846] [SC-163074][sql] Ajouter la prise en charge du type Variant dans from_json expression
• [SPARK-48050] [SC-164322][ss] Enregistrer le plan logique au début de la requête
• [SPARK-47810] [SC-163076][sql] Remplacer l’expression équivalente à <=> dans la condition de jointure
• [SPARK-47741] [SC-164290] Ajout de la gestion du dépassement de capacité de pile dans l’analyseur
• [SPARK-48053] [SC-164309][python][CONNECT] SparkSession.createDataFrame doit avertir les options non prises en charge
• [SPARK-47939] [SC-164171][sql] Implémenter une nouvelle règle Analyzer pour déplacer ParameterizedQuery dans ExplainCommand et DescribeQueryCommand
• [SPARK-48063] [SC-164432][core] Activer spark.stage.ignoreDecommissionFetchFailure par défaut
• [SPARK-48016] [SC-164280][sql] Correction d’un bogue dans try_divide fonction lorsqu’il s’agit de décimales
• [SPARK-48033] [SC-164291][sql] Correction RuntimeReplaceable des expressions utilisées dans les colonnes par défaut
• [SPARK-48010] [SC-164051][sql][ES-1109148] Éviter les appels répétés à conf.resolver dans resolveExpression
• [SPARK-48003] [SC-164323][sql] Ajouter la prise en charge du classement pour l’agrégation de croquis hll
• [SPARK-47994] [SC-164175][sql] Correction d’un bogue avec le filtre de colonne CASE WHEN push down dans SQLServer
• [SPARK-47984] [SC-163837][ml][SQL] Changer MetricsAggregate/V2Aggregator#serialize/deserialize pour appeler SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202][sql] Utiliser un formateur timestamp avec un fuseau horaire au niveau de la classe au lieu d’effectuer des copies au niveau de la méthode
• [SPARK-47596] [SPARK-47600][spark-47604][SPARK-47804] Migrations de journaux structurés
• [SPARK-47594] [SPARK-47590][spark-47588][SPARK-47584] Migrations de journaux structurés
• [SPARK-47567] [SC-164172][sql] Prise en charge de la fonction LOCATE pour travailler avec des chaînes triées.
• [SPARK-47764] [SC-163820][core][SQL] Nettoyage des dépendances shuffle en fonction de ShuffleCleanupMode
• [SPARK-48039] [SC-164174][python][CONNECT] Mettre à jour la classe d’erreur pour group.apply
• [SPARK-47414] [SC-163831][sql] Prise en charge du classement minuscule pour les expressions regexp
• [SPARK-47418] [SC-163818][sql] Ajouter des implémentations conçues manuellement pour les fonctionnalités unicode minuscules contient, startsWith et endsWith et optimiser UTF8_BINARY_LCASE
• [SPARK-47580] [SC-163834][sql] SQL Catalyst : éliminer les variables non nommées dans les journaux d’erreurs
• [SPARK-47351] [SC-164008][sql] Ajouter la prise en charge du classement pour les expressions de chaîne StringToMap &Mask
• [SPARK-47292] [SC-164151][ss] safeMapToJValue doit prendre en compte les valeurs typées Null
• [SPARK-47476] [SC-164014][sql] Prise en charge de la fonction REPLACE pour travailler avec des chaînes triées
• [SPARK-47408] [SC-164104][sql] Correction des mathExpressions qui utilisent StringType
• [SPARK-47350] [SC-164006][sql] Ajouter la prise en charge de la collation pour l’expression de chaîne SplitPart
• [SPARK-47692] [SC-163819][sql] Correction de la signification StringType par défaut dans le cast implicite
• [SPARK-47094] [SC-161957][sql] SPJ : rééquilibrer dynamiquement le nombre de compartiments lorsqu’ils ne sont pas égaux
• [SPARK-48001] [SC-164000][core] Supprimer non utilisé private implicit def arrayToArrayWritable de SparkContext
• [SPARK-47986] [SC-163999][connect][PYTHON] Impossible de créer une session lorsque la session par défaut est fermée par le serveur
• [SPARK-48019] [SC-164121] Corriger un comportement incorrect dans ColumnVector/ColumnarArray avec dictionnaire et null
• [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Migrations de journal structuré
• [SPARK-47999] [SC-163998][ss] Améliorer la journalisation concernant la création d’instantanés et l’ajout et suppression d’entrées dans le mappage de cache d’état dans le fournisseur de magasin d’états pris en charge par HDFS
• [SPARK-47417] [SC-162872][sql] Support de la collation : Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• [SPARK-47712] [SC-161871][connect] Autoriser les plug-ins de connexion à créer et traiter des jeux de données
• [SPARK-47411] [SC-163351][sql] Prise en charge des fonctions StringInstr & FindInSet pour utiliser des chaînes triées
• [SPARK-47360] [SC-163014][sql] Support de collation : Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323][sql] - ajouter la prise en charge de substr/left/right pour les collations
• [SPARK-47983] [SC-163835][sql] Déclasser spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled en interne
• [SPARK-47964] [SC-163816][python][CONNECT] Masquer SQLContext et HiveContext dans pyspark-connect
• [SPARK-47985] [SC-163841][python] Simplifier les fonctions avec lit
• [SPARK-47633] [SC-163453][sql] Inclure la sortie du plan de droite dans LateralJoin#allAttributes pour une canonicalisation plus cohérente.
• [SPARK-47909] Rétablir « [PYTHON][connect] Classe DataFrame parent pour…
• [SPARK-47767] [SC-163096][sql] Afficher la valeur de décalage dans TakeOrderedAndProjectExec
• [SPARK-47822] [SC-162968][sql] Interdire les expressions de hachage du type de données Variant
• [SPARK-47490] [SC-160494][ss] Corriger l'utilisation du constructeur de RocksDB Logger pour éviter l'avertissement de dépréciation
• [SPARK-47417] Revenir sur « [SC-162872][sql] Collation support: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences »
• [SPARK-47352] [SC-163460][sql] Correction de la sensibilité au classement pour Upper, Lower et InitCap
• [SPARK-47909] [PYTHON][connect] Classe DataFrame parent pour Spark Connect et Spark Classic
• [SPARK-47417] [SC-162872][sql] Support de la collation : Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Consultez Mises à jour de maintenance de Databricks Runtime 15.3.

Environnement système

• système d’exploitation: Ubuntu 22.04.4 LTS
• Java : Zulu 8.78.0.19-CA-linux64
• Scala : 2.12.18
• Python : 3.11.0
• R : 4.3.2
• Delta Lake : 3.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)