Databricks Runtime 14.1 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.1, propulsées par Apache Spark 3.5.0.

Databricks a publié cette version en octobre 2023.

Nouvelles fonctionnalités et améliorations

• array_insert() est basé sur 1 pour les index négatifs
• Les points de contrôle Delta v2 sont activés par défaut avec un clustering liquide
• Supprimer la fonctionnalité de table Delta en préversion publique
• Partage Delta : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec des vecteurs de suppression (Aperçu Public)
• Delta Sharing: les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec le mappage de colonnes (aperçu public)
• Diffuser en continu à partir des affichages du Catalogue Unity en préversion publique
• Connecteur Apache Pulsar en préversion publique
• Pilote Snowflake mis à niveau
• Variables de session SQL
• Invocation de paramètre nommé pour les UDF SQL et Python.
• Les arguments de table pour les fonctions prennent en charge le partitionnement et l’ordre.
• Fonctions SQL intégrées nouvelles et améliorées
• Gestion améliorée des sous-requêtes corrélées

array_insert() est basé sur 1 pour les index négatifs

La array_insert fonction est basée sur 1 pour les index positifs et négatifs. Il insère maintenant un nouvel élément à la fin des tableaux d’entrée pour l’index -1. Pour restaurer le comportement précédent, définissez spark.sql.legacy.negativeIndexInArrayInsert sur true.

Les points de contrôle Delta v2 sont activés par défaut avec un clustering liquide

Les tables Delta nouvellement créées avec clustering liquide utilisent des points de contrôle v2 par défaut. Consultez Compatibilité pour les tables avec un groupement liquide.

Supprimer la fonctionnalité de table Delta en préversion publique

Vous pouvez maintenant supprimer certaines fonctionnalités de table pour les tables Delta. La prise en charge actuelle inclut l’annulation de deletionVectors et de v2Checkpoint. Consultez Supprimer une fonctionnalité de table Delta Lake et passer à une version antérieure du protocole de table.

Partage Delta : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec des vecteurs de suppression (aperçu public)

Les destinataires de partage delta peuvent désormais effectuer des requêtes par lots sur des tables partagées qui utilisent des vecteurs de suppression. Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.

Partage Delta : les destinataires peuvent effectuer des requêtes par lots sur des tables partagées avec le mappage de colonnes (version préliminaire publique)

Les destinataires du partage Delta peuvent désormais effectuer des requêtes par lots sur des tables partagées qui utilisent le mappage de colonnes. Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.

Diffusion en continu à partir des affichages du Catalogue Unity en préversion publique

Vous pouvez désormais utiliser Structured Streaming pour effectuer des lectures de streaming à partir de vues inscrites auprès du catalogue Unity. Azure Databricks prend uniquement en charge les lectures en continu de vues définies sur des tables Delta.

Connecteur Apache Pulsar en préversion publique

Vous pouvez désormais utiliser Structured Streaming pour diffuser en continu des données à partir d’Apache Pulsar sur Azure Databricks. Consultez Diffuser en continu à partir d’Apache Pulsar.

Pilote Snowflake mis à niveau

Le pilote JDBC Snowflake utilise désormais la version 3.13.33.

Variables de session SQL

Cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies, puis référencées à partir de requêtes. Consultez les variables .

Invocation de paramètre nommé pour SQL et Python UDF.

Vous pouvez maintenant utiliser l’appel de paramètres nommés sur les fonctions UDF SQL et Python.

Les arguments de table pour les fonctions prennent en charge le partitionnement et l’ordre.

Vous pouvez désormais utiliser PARTITION BY et ORDER BY clauses pour contrôler la façon dont les arguments de table sont passés à une fonction pendant l’appel de fonction.

Fonctions SQL intégrées nouvelles et améliorées

Les fonctions intégrées suivantes ont été ajoutées :

• from_xml : analyse un code XML STRING dans un STRUCT.
• schema_of_xml : dérive un schéma à partir d’un code XML STRING.
• session_user : retourne l’utilisateur connecté.
• try_reflect : retourne NULL au lieu de l’exception si une méthode Java échoue.

Les fonctions intégrées suivantes ont été améliorées :

• mode : prise en charge d’un paramètre facultatif forçant un résultat déterministe.
• to_char : Nouvelle prise en charge pour DATE, TIMESTAMPet BINARY.
• to_varchar : Nouvelle prise en charge pour DATE, TIMESTAMPet BINARY.

Gestion améliorée des sous-requêtes corrélées

La possibilité de traiter la corrélation dans les sous-requêtes a été étendue :

• Gérez la limite et l’ordre de tri dans des sous-requêtes scalaires (latérales) corrélées.
• Prise en charge des fonctions de fenêtre dans les sous-requêtes scalaires corrélées.
• Prendre en charge des références corrélées dans les prédicats de jointure pour les sous-requêtes scalaires et latérales

Changement de comportement

Vérification de type stricte dans le lecteur Photon Parquet

Photon échoue lorsqu'il tente de lire une valeur décimale à partir d'une colonne Parquet qui n'est pas de type décimal. Photon échoue également lors de la lecture d’un tableau d’octets de longueur fixe sous forme de chaîne issu de Parquet.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de la version 3.12.2 vers la version 3.12.3
  • s3transfer de la version 0.6.1 vers la version 0.6.2
• Bibliothèques Java mises à niveau :
  • com.uber.h3 de 3.7.0 à 3.7.3
  • io.airlift.aircompressor de la version 0.24 vers la version 0.25
  • io.delta.delta-sharing-spark_2.12 de 0.7.1 à 0.7.5
  • io.netty.netty-all de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-buffer de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec-http de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec-http2 de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-codec-socks de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-common de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-handler de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-handler-proxy de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-resolver de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport-classes-epoll de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue de la version 4.1.93.Final vers la version 4.1.96.Final
  • io.netty.netty-transport-native-epoll de la version 4.1.93.Final-linux-x86_64 vers la version 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de la version 4.1.93.Final-osx-x86_64 vers la version 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de la version 4.1.93.Final vers la version 4.1.96.Final
  • net.snowflake.snowflake-jdbc de la version 3.13.29 vers la version 3.13.33
  • org.apache.orc.orc-core de la version 1.9.0-shaded-protobuf vers la version 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de la version 1.9.0-shaded-protobuf vers la version 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims de la version 1.9.0 vers la version 1.9.1

Apache Spark

Databricks Runtime 14.1 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs spark et les améliorations inclus dans Databricks Runtime 14.0 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

• [SPARK-45088] [DBRRM-557] Rétablir « [SC-142785][python][CONNECT] Faire fonctionner getitem avec les colonnes dupliquées »
• [SPARK-43453] [DBRRM-557] Annuler « [SC-143135][ps] Ignorer les names de MultiIndex quand axis=1 pour concat »
• [SPARK-45225] [SC-143207][sql] XML : prise en charge de l’URL du fichier XSD
• [SPARK-45156] [SC-142782][sql] Envelopper inputName avec des accents graves dans la classe d’erreur NON_FOLDABLE_INPUT
• [SPARK-44910] [SC-143082][sql] Encoders.bean ne prend pas en charge les superclasses avec des arguments de type générique
• [SPARK-43453] [SC-143135][ps] Ignorer le names de MultiIndex lors de axis=1 pour concat
• [SPARK-44463] [SS][CONNECT] Améliorer la gestion des erreurs pour Connect qui diffuse en continu un Worker Python
• [SPARK-44960] [SC-141023][ui] Résumé des erreurs unescape et consist dans les pages de l’IU
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] Ajouter from_xml et schema_of_xml à pyspark, spark connect et sql function
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] Ajouter des packages manquants dans setup.py
• [SPARK-45151] [SC-142861][core][UI] Prise en charge de la sauvegarde de thread au niveau des tâches
• [SPARK-45056] [SC-142779][python][SS][connect] Tests d’arrêt pour streamingQueryListener et foreachBatch
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress doit utiliser un numéro de partition aléatoire effectif précis
• [SPARK-44872] [SC-142405][connect] Infrastructure de test du serveur et ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] Faire en sorte que StandaloneRestServer ajoute JavaModuleOptions aux pilotes
• [SPARK-44404] [SC-139601][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] Prise en charge de SPJ où les clés de jointure sont inférieures aux clés de cluster
• [SPARK-45088] [SC-142785][python][CONNECT] Rendre getitem compatible avec les colonnes dupliquées
• [SPARK-45128] [SC-142851][sql] Prendre en charge CalendarIntervalType dans Arrow
• [SPARK-45130] [SC-142976][connect][ML][python] Éviter le modèle ML Spark Connect pour modifier le dataframe Pandas d’entrée
• [SPARK-45034] [SC-142959][sql] Supporter la fonction en mode déterministe
• [SPARK-45173] [SC-142931][ui] Supprimer certains fichiers sourceMapping inutiles dans l’interface utilisateur
• [SPARK-45162] [SC-142781][sql] Prendre en charge les mappages et paramètres de tableau construits via call_function
• [SPARK-45143] [SC-142840][python][CONNECT] Rendre PySpark compatible avec PyArrow 13.0.0
• [SPARK-45174] [SC-142837][core] Prendre en charge spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] Le client Python doit appeler release_all
• [SPARK-36191] [SC-142777][sql] Gérer la limite et l’ordre dans les sous-requêtes scalaires corrélées (latérales)
• [SPARK-45159] [SC-142829][python] Gérer les arguments nommés uniquement si nécessaire
• [SPARK-45133] [SC-142512][connect] Rendre les requêtes Spark Connect terminées lorsque la dernière tâche de résultat est terminée
• [SPARK-44801] [SC-140802][sql][UI] Capturer l’analyse des requêtes ayant échoué dans l’écouteur et l’interface utilisateur
• [SPARK-45139] [SC-142527][sql] Ajouter DatabricksDialect pour gérer la conversion de type SQL
• [SPARK-45157] [SC-142546][sql] Éviter les vérifications répétées if dans [On|Off|HeapColumnVector
• [SPARK-45077] Rétablir « [SC-142069][ui] Mettre à niveau dagre-d3.js de 04.3 à 0.6.4 »
• [SPARK-45145] [SC-142521][exemple] Ajouter un exemple JavaSparkSQLCli
• [SPARK-43295] Annuler « [SC-142254][ps] Prendre en charge les colonnes de type chaîne pour DataFrameGroupBy.sum »
• [SPARK-44915] [SC-142383][core] Valider la somme de vérification des données de shuffle du PVC remonté avant la récupération
• [SPARK-45147] [SC-142524][core] Supprimer l’utilisation de System.setSecurityManager
• [SPARK-45104] [SC-142206][ui] Upgrade graphlib-dot.min.js to 1.0.2
• [SPARK-44238] [SC-141606][core][SQL] Introduction d’une nouvelle readFrom méthode avec une entrée de tableau d’octets pour BloomFilter
• [SPARK-45060] [SC-141742][sql] Correction d'une erreur interne dans le format to_char()NULL
• [SPARK-43252] [SC-142381][sql] Remplacer la classe _LEGACY_ERROR_TEMP_2016 d’erreur par une erreur interne
• [SPARK-45069] [SC-142279][sql] La variable SQL doit toujours être résolue après référence externe
• [SPARK-44911] [SC-142388][sql] Créer une table hive avec une colonne non valide doit retourner la classe d’erreur
• [SPARK-42754] [SC-125567][sql][UI] Résoudre le problème de compatibilité descendante dans l’exécution imbriquée de SQL
• [SPARK-45121] [SC-142375][connect][PS] Prendre en charge Series.empty pour Spark Connect.
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. doit fonctionner dans un vecteur de colonne qui a un dictionnaire
• [SPARK-45027] [SC-142248][python] Masquer les fonctions/variables internes dans pyspark.sql.functions à partir de la saisie semi-automatique
• [SPARK-45073] [SC-141791][ps][CONNECT] Remplacer LastNotNull par Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] Rétroportage manuel : Ajouter une API dans la méthode « analyser » UDTF en Python pour retourner des expressions de partitionnement et de tri.
• [SPARK-45076] [SC-141795][ps] Basculer vers la fonction intégrée repeat
• [SPARK-44162] [SC-141605][core] Prendre en charge G1GC dans les indicateurs de performance Spark
• [SPARK-45053] [SC-141733][python][MINOR] Amélioration de la journalisation en cas d'incompatibilité de version Python
• [SPARK-44866] [SC-142221][sql] Ajouter SnowflakeDialect pour gérer correctement le type BOOLEAN
• [SPARK-45064] [SC-141775][python][CONNECT] Ajouter le paramètre manquant scale dans ceil/ceiling
• [SPARK-45059] [SC-141757][connect][PYTHON] Ajouter des try_reflect fonctions à Scala et Python
• [SPARK-43251] [SC-142280][sql] Remplacer la classe _LEGACY_ERROR_TEMP_2015 d’erreur par une erreur interne
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] Faire en sorte que le nom des colonnes en sortie des alias de fonction soit cohérent avec SQL
• [SPARK-44239] [SC-141502][sql] Mémoire libre allouée par de grands vecteurs lorsque les vecteurs sont réinitialisés
• [SPARK-43295] [SC-142254][ps] Prendre en charge les colonnes de type chaîne pour DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] Appeler explicitement la prise en charge des colonnes dans les sources de données de diffusion en continu DSv2
• [SPARK-45036] [SC-141768][sql] SPJ : Simplifier la logique pour gérer la distribution partiellement en cluster
• [SPARK-45077] [SC-142069][ui] Mettre à niveau dagre-d3.js de 0.4.3 à 0.6.4
• [SPARK-45091] [SC-142020][python][CONNECT][sql] Fonction floor/round/bround accepte le type de colonne scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} doit prendre en charge les numéros de colonne
• [SPARK-44743] [SC-141625][sql] Ajouter la fonction try_reflect
• [SPARK-45086] [SC-142052][ui] Afficher en hexadécimal le code de hachage de verrou de thread
• [SPARK-44952] [SC-141644][sql][PYTHON] Prendre en charge les arguments nommés dans les UDF agrégées de Pandas
• [SPARK-44987] [SC-141552][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] Correction des avertissements de compilation liés à Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Ajouter des tests supplémentaires pour le client Python et l’exécution attachable
• [SPARK-45072] [SC-141807][connect] Corriger les étendues externes pour les classes d’ammonite
• [SPARK-45033] [SC-141759][sql] Prendre en charge les cartes par sql() paramétrisé
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] Adapter la fonction repeat pour accepter le type de colonne n
• [SPARK-44860] [SC-141103][sql] Ajouter SESSION_USER fonction
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} doit prendre en charge les numéros de colonne
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy doit prendre en charge les nombres ordinaux
• [SPARK-44863] [SC-140798][ui] Ajouter un bouton pour télécharger le dump de thread en tant que fichier texte dans l'interface de Spark
• [SPARK-45026] [SC-141604][connect] spark.sql doit prendre en charge les types de données non compatibles avec la flèche
• [SPARK-44999] [SC-141145][core] Refactoriser ExternalSorter pour réduire les vérifications shouldPartition lors de l’appel getPartition
• [SPARK-42304] [SC-141501][sql] Renommer _LEGACY_ERROR_TEMP_2189 en GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] Fix IllegalStateException lors du regroupement de deux jeux de données dérivés de la même source
• [SPARK-45018] [SC-141516][python][CONNECT] Ajouter CalendarIntervalType au client Python
• [SPARK-45024] [SC-141513][python][CONNECT] Filtrer certaines configurations dans la création de session
• [SPARK-45017] [SC-141508][python] Ajouter CalendarIntervalType à PySpark
• [SPARK-44720] [SC-139375][connect] Faire en sorte que Dataset utilise Encoder au lieu de AgnosticEncoder
• [SPARK-44982] [SC-141027][connect] Marquer les configurations du serveur Spark Connect comme statiques
• [SPARK-44839] [SC-140900][ss][CONNECT] Meilleure journalisation des erreurs lorsque l’utilisateur tente de sérialiser une session Spark
• [SPARK-44865] [SC-140905][ss] Faire en sorte que StreamingRelationV2 prenne en charge la colonne de métadonnées
• [SPARK-45001] [SC-141141][python][CONNECT] Mise en œuvre de DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][webui] Afficher l’ID de partition de tâche dans la table de tâches
• [SPARK-45006] [SC-141143][ui] Utilisez le même format de date que d’autres éléments de date d’interface utilisateur pour l’axe x des chronologies
• [SPARK-45000] [SC-141135][python][CONNECT] Implémenter DataFrame.foreach
• [SPARK-44967] [SC-141137][sql][CONNECT] L’unité doit être considérée en premier avant d’utiliser booléen pour TreeNodeTag
• [SPARK-44993] [SC-141088][core] Ajouter ShuffleChecksumUtils.compareChecksums en réutilisant ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][connect] Ajouter Dataset.metadataColumn à Scala Client
• [SPARK-44965] [SC-141098][python] Masquer les fonctions/variables internes de pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] Convertir le fichier binaire en chaîne to_char pour les formats : hex, base64, utf-8
• [SPARK-44980] [DBRRM-462] [sc-141024] [PYTHON] [connect] Corriger les namedtuples hérités afin qu’ils fonctionnent dans createDataFrame
• [SPARK-44985] [SC-141033][core] Utilisez toString au lieu de stacktrace pour le faucheur de tâches threadDump.
• [SPARK-44984] [SC-141028][python][CONNECT] Remove _get_alias from DataFrame
• [SPARK-44975] [SC-141013][sql] Résolution de la suppression du remplacement inutile de BinaryArithmetic
• [SPARK-44969] [SC-140957][sql] Réutilisation ArrayInsert dans ArrayAppend
• [SPARK-44549] [SC-140714][sql] Prise en charge des fonctions de fenêtre dans les sous-requêtes scalaires corrélées
• [SPARK-44938] [SC-140811][sql] Modifier la valeur par défaut de spark.sql.maxSinglePartitionBytes 128m
• [SPARK-44918] [SC-140816][sql][PYTHON] Prendre en charge les arguments nommés dans les UDF Python/Pandas scalaires
• [SPARK-44966] [SC-140907][core][CONNECT] Remplacer var (jamais remplacé) par val
• [SPARK-41471] [SC-140804][sql] Réduire le shuffle Spark lorsque seulement un côté d'une jointure utilise un partitionnement par regroupement de clés
• [SPARK-44214] [SC-140528][core] Prendre en charge l’IU des journaux en direct de Spark Driver
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] Ajoutez ProducedRowCount à SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] doit valider le nom de colonne
• [SPARK-40178] [SC-140433][sql][CONNECT] Prendre facilement en charge les indicateurs de fusion pour PySpark et R
• [SPARK-44840] [SC-140593][sql] Rendre array_insert() 1 pour les index négatifs
• [SPARK-44939] [SC-140778][r] Prise en charge de Java 21 dans SparkR SystemRequirements
• [SPARK-44936] [SC-140770][core] Simplifiez le journal lorsque Spark HybridStore atteint la limite de mémoire
• [SPARK-44908] [SC-140712][ml][CONNECT] Corriger la fonctionnalité du paramètre foldCol entre validateurs
• [SPARK-44816] [SC-140717][connect] Améliorer le message d’erreur lorsque la classe UDF est introuvable
• [SPARK-44909] [SC-140710][ml] Ignorer le démarrage du serveur de streaming de journaux du distributeur torch lorsqu’il n’est pas disponible
• [SPARK-44920] [SC-140707][core] Utiliser await() au lieu d’awaitUninterruptibly() dans TransportClientFactory.createClient()
• [SPARK-44905] [SC-140703][sql] Stateful lastRegex entraîne NullPointerException lors de l'évaluation de regexp_replace
• [SPARK-43987] [SC-139594][shuffle] Séparer le traitement de finalizeShuffleMerge en pools de threads dédiés
• [SPARK-42768] [SC-140549][sql] Activer le plan mis en cache appliquer AQE par défaut
• [SPARK-44741] [SC-139447][core] Prendre en charge MetricFilter basé sur regex dans StatsdSink
• [SPARK-44751] [ SC-140532][sql] Implémentation de l’interface FileFormat XML
• [SPARK-44868] [SC-140438][sql] Convertir datetime en chaîne par to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] Exécution de requête pour la PARTITION clause BY dans les arguments UDTF TABLE
• [SPARK-44873] [SC-140427] Prendre en charge la modification de la vue avec des colonnes imbriquées dans le client Hive
• [SPARK-44876] [SC-140431][python] Correction de la fonction UDF Python optimisée par flèche sur Spark Connect
• [SPARK-44520] [SC-137845][sql] Remplacer le terme UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY par UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY et l’AE racine de divulgation
• [SPARK-42664] [SC-139769][connect] Prendre en charge la fonction bloomFilter pour DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] Prendre en charge use_na_sentinel pour factorize
• [SPARK-44859] [SC-140254][ss] Correction d’un nom de propriété incorrect dans la documentation de streaming structuré
• [SPARK-44822] [SC-140182][python][SQL] Rendre les UDTFs Python par défaut non déterministes
• [SPARK-44731] [SC-139524][python][CONNECT] Rendre TimestampNTZ fonctionne avec des littéraux dans Python Spark Connect
• [SPARK-44836] [SC-140180][python] Refactorisation de Arrow Python UDTF
• [SPARK-44714] [SC-139238] Assouplir les restrictions de la résolution d’ECV concernant les requêtes avec having
• [SPARK-44749] [SC-139664][sql][PYTHON] Prendre en charge les arguments nommés dans les UDTF Python
• [SPARK-44737] [SC-139512][sql][UI] Ne pas afficher les erreurs de format JSON sur la page SQL pour les non-SparkThrowables sous l’onglet SQL
• [SPARK-44665] [SC-139307][python] Ajouter la prise en charge de Pandas DataFrame assertDataFrameEqual
• [SPARK-44736] [SC-139622][connect] Ajouter Dataset.explode au client Scala Spark Connect
• [SPARK-44732] [SC-139422][sql] Prise en charge de la source de données XML intégrée
• [SPARK-44694] [SC-139213][python][CONNECT] Refactoriser les sessions actives et les exposer en tant qu’API
• [SPARK-44652] [SC-138881] Déclencher une erreur quand un seul df est à l’état None
• [SPARK-44562] [SC-138824][sql] Ajouter OptimizeOneRowRelationSubquery dans le lot de la sous-requête
• [SPARK-44717] [SC-139319][python][PS] Respecter TimestampNTZ lors du resampling
• [SPARK-42849] [SC-139365] [SQL] Variables de session
• [SPARK-44236] [SC-139239][sql] Désactiver WholeStageCodegen lorsqu’il est défini spark.sql.codegen.factoryMode sur NO_CODEGEN
• [SPARK-44695] [SC-139316][python] Améliorer le message d’erreur pour DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] Améliorer l’erreur pour les paramètres dans DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec prend en charge le filtrage de données push avec la sous-requête scalaire
• [SPARK-44641] [SC-139216][sql] Résultat incorrect dans certains scénarios lorsque SPJ n’est pas déclenché
• [SPARK-44689] [SC-139219][connect] Rendre la gestion des exceptions de la fonction SparkConnectPlanner#unpackScalarScalaUDF plus universelle
• [SPARK-41636] [SC-139061][sql] Assurez-vous que selectFilters les prédicats sont retournés dans l’ordre déterministe
• [SPARK-44132] [SC-139197][sql] Matérialiser le Stream des noms de colonnes de jointure pour éviter l’échec de codegen
• [SPARK-42330] [SC-138838][sql] Affecter le nom RULE_ID_NOT_FOUND à la classe d’erreur _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] Le niveau de journalisation n’est pas correctement transmis au fournisseur de store d'état RocksDB.
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus doit retourner None au lieu de Some(null)
• [SPARK-44603] [SC-138353] Ajouter pyspark.testing à setup.py
• [SPARK-44252] [SC-137505][ss] Définir une nouvelle classe d’erreur et appliquer pour le cas où l’état de chargement à partir de DFS échoue
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] Lever une erreur lorsque l’UDF n’est pas désérialisable.
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] Retry ExecutePlan dans le cas où la requête initiale n’a pas atteint le serveur
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Supprimer la dépendance de Connect Client Catalyst
• [SPARK-44059] [SC-138833][sql] Ajouter de meilleurs messages d’erreur pour les arguments nommés SQL
• [SPARK-44620] [SC-138831][sql][PS][connect] Faire en sorte que ResolvePivot conserve Plan_ID_TAG
• [SPARK-43838] [SC-137413][sql] Correction de la sous-requête sur une table unique avec une clause HAVING qui ne peut pas être optimisée.
• [SPARK-44555] [SC-138820][sql] Utiliser checkError() pour vérifier l'Exception dans la Suite de commandes & attribuer certains noms de classes d'erreur.
• [SPARK-44280] [SC-138821][sql] Ajouter convertJavaTimestampToTimestamp dans l’API JDBCDialect
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] Faire en sorte que WidenSetOperationTypes conserve le Plan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Annuler « [SC-137413][sql] Corriger la sous-requête sur une table unique…
• [SPARK-44538] [SC-138178][connect][SQL] Rétablir Row.jsonValue et amis
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Exécution retachable dans Spark Connect
• [SPARK-43838] [SC-137413][sql] Correction de la sous-requête sur une table unique avec une clause HAVING qui ne peut pas être optimisée.
• [SPARK-44587] [SC-138315][sql][CONNECT] Augmenter la limite de récursivité du marshaller protobuf
• [SPARK-44605] [SC-138338][core] Affiner l’API ShuffleWriteProcessor interne
• [SPARK-44394] [SC-138291][connect][WEBUI] Ajouter une page d’interface utilisateur Spark pour Spark Connect
• [SPARK-44585] [SC-138286][mllib] Correction de la condition d’avertissement dans MLLib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137][core] Supporter la propagation du niveau de log aux exécuteurs
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType doit prendre en charge une action de secours
• [SPARK-44425] [SC-138135][connect] Valider que l’ID de session fourni par l’utilisateur est un UUID
• [SPARK-43611] [SC-138051][sql][PS][connect] Faire en sorte que ExtractWindowExpressions conserve PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Améliorer les tests et la documentation pour Arrow Python UDF
• [SPARK-44482] [SC-138067][connect] Le serveur de connexion doit pouvoir spécifier l’adresse de liaison
• [SPARK-44528] [SC-138047][connect] Prise en charge de l’utilisation appropriée de hasattr() pour le dataframe Connect
• [SPARK-44525] [SC-138043][sql] Améliorer le message d’erreur lorsque la méthode Invoke est introuvable
• [SPARK-44355] [SC-137878][sql] Déplacer WithCTE dans les requêtes de commande

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance Databricks Runtime 14.1.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.3 LTS
• Java : Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 3.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)