Databricks Runtime 14.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 14.2 avec Apache Spark 3.5.0.

Databricks a publié cette version en novembre 2023.

Améliorations et nouvelles fonctionnalités

• CACHE SELECT snot désormais ignorés
• Comportement de mise en cache amélioré
• Correction de la gestion des fichiers corrompus dans les commandes DML
• Prise en charge du registre de schémas pour les fonctions liées à protobuf et Avro dans les clusters partagés
• Prise en charge de foreachBatch et de StreamingListener
• La concurrence au niveau des lignes est en disponibilité générale et activée par défaut
• Delta Sharing : les destinataires peuvent effectuer des requêtes par lots, CDF et de streaming sur des tables partagées avec des vecteurs de suppression (préversion publique)
• Clone superficiel pour des tables externes Unity Catalog (préversion publique)
• Nouvel algorithme d’affectation de mise en cache du disque
• Ajout de la prise en charge de l’évolution de schéma à from_avro avec connecteur de registre de schéma
• Collecte de statistiques multithread plus rapide
• Filtres pushdown de la source Delta sur les fichiers Delta
• Prise en charge des fonctions scalaires définies par l’utilisateur Scala sur des clusters partagés (préversion publique)

CACHE SELECT est désormais ignoré

La commande SQL CACHE SELECT est désormais ignorée en faveur d’un algorithme de mise en cache amélioré. Consultez Optimisation des performances avec la mise en cache sur Azure Databricks.

Comportement de mise en cache amélioré

Le placement DiskCache par le planificateur Spark dispose désormais d’une attribution de partition plus rapide, d’un meilleur équilibrage pendant la mise à l’échelle automatique du cluster et d’une exécution des requêtes plus cohérente.

Correction de la gestion des fichiers corrompus dans les commandes DML

Les commandes DML DELETE, UPDATEet MERGE INTO ne respectent plus les options de lecture ignoreCorruptFiles et ignoreMissingFiles. Lorsqu’elles rencontrent un fichier non lisible dans un tableau, ces commandes échouent désormais même si ces options sont spécifiées.

Prise en charge du registre de schémas pour les fonctions liées à protobuf et Avro dans les clusters partagés

Vous pouvez maintenant utiliser les fonctions Python from_avro, to_avro, from_protobufet to_protobuf avec le Registre de schémas dans des clusters partagés.

Prise en charge de foreachBatch et de StreamingListener

Vous pouvez désormais utiliser les API foreachBatch() et StreamingListener dans les clusters partagés. Consultez Utiliser foreachBatch pour écrire dans des récepteurs de données arbitraires et Surveillance des requêtes de Structured Streaming sur Azure Databricks.

La concurrence au niveau des lignes est en disponibilité générale et activée par défaut

L’accès concurrentiel au niveau des lignes réduit les conflits entre les opérations d’écriture simultanées en détectant les modifications au niveau des lignes. La concurrence au niveau des lignes est prise en charge uniquement sur les tables sans partitionnement dont font partie les tables avec clustering liquide. La concurrence au niveau des lignes est activée par défaut sur les tables Delta avec les vecteurs de suppression activés. Consultez Conflits d’écriture avec concurrence au niveau des lignes.

Delta Sharing : les destinataires peuvent effectuer des requêtes par lots, CDF et de streaming sur des tables partagées avec des vecteurs de suppression (préversion publique)

Les destinataires Delta Sharing peuvent désormais effectuer des requêtes par lots, CDF et de streaming sur des tables partagées qui utilisent des vecteurs de suppression. Sur Databricks Runtime 14.1, ils peuvent effectuer seulement des requêtes par lots. Consultez les articles Ajouter des tables avec des vecteurs de suppression ou un mappage de colonnes à un partage, Lire des tables avec un mappage de colonnes ou des vecteurs de suppression activés et Lire des tables avec un mappage de colonnes ou des vecteurs de suppression activés.

Clone superficiel pour des tables externes Unity Catalog (préversion publique)

Vous pouvez désormais utiliser un clone superficiel avec des tables externes Unity Catalog. Consultez Clone superficiel pour les tables Unity Catalog.

Nouvel algorithme d’affectation de mise en cache du disque

Le planificateur Spark utilise désormais un nouvel algorithme de mise en cache du disque. L’algorithme améliore l’utilisation du disque et de l’affectation de partitions entre les nœuds, avec une affectation plus rapide au début et après les événements de mise à l’échelle du cluster. Du fait d’une affectation de cache plus stable, la cohérence entre les exécutions est améliorée et la quantité de données déplacées réduite durant les opérations de rééquilibrage.

Ajout de la prise en charge de l’évolution de schéma à from_avro avec connecteur de registre de schéma

Vous pouvez désormais permettre le redémarrage de vos pipelines lorsque des enregistrements ayant évolué sont détectés. Auparavant, si une évolution de schéma se produisait avec le connecteur from_avro, les nouvelles colonnes retournaient null. Consultez Lire et écrire des données Avro en streaming.

Collecte de statistiques multithread plus rapide

La collecte des statistiques est jusqu’à 10 fois plus rapide sur les petits clusters lors de l’exécution CONVERT TO DELTA ou du clonage à partir de tables Apache Iceberg et Parquet. Consultez Convertir en Delta Lake et Cloner des tables Parquet et Iceberg.

Filtres pushdown de la source Delta sur les fichiers Delta

Pour une meilleure utilisation, les filtres de partition sur les requêtes de streaming de tables Delta font désormais l’objet d’un pushdown vers Delta avant la limitation de débit.

Prise en charge des fonctions scalaires définies par l’utilisateur Scala sur des clusters partagés (préversion publique)

Vous pouvez désormais utiliser des fonctions Scala définies par l’utilisateur sur des clusters Unity Catalog configurés avec le mode d’accès partagé. Consultez Fonctions scalaires définies par l’utilisateur – Scala.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • fastjsonschema, versions 2.18.0 à 2.19.0
  • filelock de la version 3.12.3 à la version 3.12.4
  • googleapis-common-protos de la version 1.60.0 à la version 1.61.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :

Apache Spark

Databricks Runtime 14.2 comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 14.1 (EoS), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-45592] [DBRRM-624] Rétablir « [SC-146977][sql] Problème de précision dans AQE avec InMemoryTableScanExec »
• [SPARK-45524] [DBRRM-625] Rétablir " [SC-146319][python][SQL] Prise en charge initiale f...
• [SPARK-45433] [DBRRM-621] Rétablir “[SC-145163][sql] Corriger l’inférence de schéma CSV/JSON...
• [SPARK-45592] [SC-146977][sql] Problème de correction dans AQE avec InMemoryTableScanExec
• [SPARK-45354] Rétablir « [SC-143991][sql] Résoudre les fonctions de bas en haut »
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Correction des tests
• [SPARK-45680] [CONNECT] Libération de session
• [SPARK-43380] [SC-146726][es-897115][SQL] Correction du ralentissement lors de la lecture Avro
• [SPARK-45649] [SC-146742][sql] Unifier le cadre de préparation pour OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Création de StructType à partir de Json
• [SPARK-45620] [SC-146225][python] Corriger les API orientées utilisateur liées à Python UDTF pour utiliser camelCase
• [SPARK-45727] [SC-146978][ss] Supprimer la carte inutilisée dans la simulation de propagation de filigrane
• [SPARK-45723] [ SC-146890][python][CONNECT] Les méthodes du catalogue évitent la conversion de pandas
• [SPARK-45574] [SC-146106][sql] Ajouter la syntaxe :: comme un raccourci pour la conversion
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit ne prend pas en charge --total-executor-cores lors du déploiement sur K8s
• [SPARK-45661] [SC-146594][sql][PYTHON] Ajouter toNullable dans StructType, MapType et ArrayType
• [SPARK-45524] [SC-146319][python][SQL] Prise en charge initiale de l’API de lecture de source de données Python
• [SPARK-45542] [SC-145892][core] Remplacer setSafeMode(HdfsConstants.SafeModeAction, boolean) par setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ : Gérer les partitions d’entrée vides après le filtrage dynamique
• [SPARK-45454] [SC-144846][sql] Définir le propriétaire par défaut de la table sur current_user
• [SPARK-45554] [SC-146875][python] Introduire un paramètre flexible dans assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] Utiliser l’ID dataFrame pour valider sémantiquement CollectMetrics
• [SPARK-45674] [SC-146862][connect][PYTHON] Améliorer le message d’erreur pour les attributs dépendants de JVM sur Spark Connect.
• [SPARK-45646] [SC-146276][sql] Supprimer les variables de temps de codage dur avant Hive 2.0
• [SPARK-43380] [SC-146726][es-897115][SQL] Correction du ralentissement lors de la lecture Avro
• [SPARK-45545] [SC-146484][core] Passer les SSLOptions partout où nous créons un SparkTransportConf
• [SPARK-45641] [SC-146260][ui] Afficher l’heure de début de l’application sur AllJobsPage
• [SPARK-40154] [SC-146491][python][Docs] Niveau de stockage correct dans dataframe.cache docstring
• [SPARK-45626] [SC-146259][sql] Convertir _LEGACY_ERROR_TEMP_1055 en REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][sql] Correctif d’exactitude pour les sous-requêtes scalaires corrélées imbriquées avec les agrégats COUNT
• [SPARK-45619] [SC-146226][connect][PYTHON] Appliquer les métriques observées à l’objet Observation
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Amélioration scaladoc pour StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][core] Éviter ParVector, qui ne propage pas ThreadLocals ou SparkSession
• [SPARK-45604] [SC-146105][sql] Ajouter une vérification de LogicalType sur la conversion INT64 -> DateTime dans le lecteur vectorisé Parquet
• [SPARK-44649] [SC-145891][sql] Runtime Filter prend en charge la transmission d’expressions latérales de création équivalentes
• [SPARK-41674] [SC-128408][sql] Le filtre runtime doit prendre en charge le côté de jointure aléatoire à plusieurs niveaux comme côté création de filtre
• [SPARK-45547] [SC-146228][ml] Valider des vecteurs avec une fonction intégrée
• [SPARK-45558] [SC-145890][ss] Introduction d’un fichier de métadonnées pour l’opérateur avec état de streaming
• [SPARK-45618] [SC-146252][core] Supprimer BaseErrorHandler
• [SPARK-45638] [SC-146251][sql][Avro] Améliorer la couverture des tests de conversion décimale
• [SPARK-44837] [SC-146020][sql] Modifier le message d’erreur de ALTER TABLE colonne ALTER PARTITION
• [SPARK-45561] [SC-146264][sql] Ajouter des conversions appropriées pour TINYINT dans MySQLDialect
• [SPARK-45632] [SC-146255][sql] Le cache de table doit éviter les colonnes columnarToRow inutiles lors de l’activation d’AQE
• [SPARK-45569] [SC-145932][sql] Attribuer le nom à l’erreur _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] Rendre les tests SBT hermétiques.
• [SPARK-45452] [SC-144836][sql] Améliorer InMemoryFileIndex pour utiliser FileSystem.listFiles l'API
• [SPARK-44735] [SC-146186][sql] Ajouter un msg d’avertissement lors de l’insertion de colonnes portant le même nom par ligne qui ne correspondent pas
• [SPARK-45351] [SC-144791][core] Modifier la spark.shuffle.service.db.backend valeur par défaut en ROCKSDB
• [SPARK-45553] [SC-145906][ps] Déprécier assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] Exposer DeterministicLevel comme API pour développeurs
• [SPARK-45549] [SC-145895][core] Supprimer non utilisé numExistingExecutors dans CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] Inclure SqlState dans le message proto SparkThrowable
• [SPARK-45595] [SC-146037] Exposition de sqlstate dans le message d’erreur
• [SPARK-45628] [SC-146123][ml] Améliorer vector_to_array pour .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] Désactiver la décorrélation dans les conditions de jointure pour le test InSubquery AQE
• [SPARK-45576] [SC-145883][core] Supprimer les journaux de débogage inutiles dans ReloadingX509TrustManagerSuite
• [SPARK-45485] [ SC-145719][connect] Améliorations apportées à l’agent utilisateur : Utiliser SPARK_CONNECT_USER_AGENT variable env et inclure des attributs spécifiques à l’environnement
• [SPARK-45508] [SC-145513][core] Ajouter « –add-opens=java.base/jdk.internal.ref=ALL-UNNAMED » afin que Platform puisse accéder à Cleaner sur Java 9+
• [SPARK-45595] Rétablir « [SC-146037] Exposition de SQLSTATE dans le message d’erreur »
• [SPARK-45595] [SC-146037] Exposition de SQLSTATE dans le message d’erreur
• [SPARK-45112] Rétablir “[SC-143259][sql] Utiliser la fonction non résolue…”
• [SPARK-45257] [SC-143411][core] Activer spark.eventLog.compress par défaut
• [SPARK-45586] [SC-145899][sql] Réduire la latence du compilateur pour les plans avec des arborescences d’expressions volumineuses
• [SPARK-45517] [SC-145691][connect][14.x] Développer d’autres constructeurs d’exceptions pour prendre en charge les paramètres d’infrastructure d’erreur
• [SPARK-45581] [SC-145896] SQLSTATE rendu obligatoire.
• [SPARK-45427] [SC-145590][core] Ajouter des paramètres SSL RPC à SSLOptions et SparkTransportConf
• [SPARK-45261] [SC-143357][core] Correctif EventLogFileWriters pour gérer none en tant que codec
• [SPARK-45582] [SC-145897][ss] Assurez-vous que l’instance de magasin n’est pas utilisée après avoir appelé la validation dans l’agrégation en flux en mode sortie
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML : Définir l’option « rowTag » comme option requise
• [SPARK-45392] [SC-144362][core][SQL][ss] Remplacer Class.newInstance() par Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Correction de l’inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au format d'horodatage spécifié
• [SPARK-45458] [SC-145011][sql] Convertir IllegalArgumentException en SparkIllegalArgumentException dans bitwiseExpressions
• [SPARK-45564] [SC-145735][sql] Simplifiez « DataFrameStatFunctions.bloomFilter » avec l’expression « BloomFilterAggregate »
• [SPARK-45566] [SC-145777][ps] Prise en charge des utilitaires de test similaires à Pandas pour l’API Pandas sur Spark
• [SPARK-45498] [SC-145509][core] Suivi : Ignorer l’achèvement des tâches de l’ancienne étape a...
• [SPARK-45483] [SC-145152][connect] Corriger les groupes de fonctions dans connect.functions
• [SPARK-45577] [SC-145781][python] Correction de UserDefinedPythonTableFunctionAnalyzeRunner pour passer des valeurs pliées à partir d’arguments nommés
• [SPARK-45009] [SC-138223][suivi] Désactiver la décorrélation dans les conditions de jointure pour AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Autorisation de la désactivation sélective de « fallocate »dans le magasin d’états RocksDB
• [SPARK-45500] [SC-145134][core][WEBUI] Afficher le nombre de processus terminés de manière anormale dans la MasterPage
• [SPARK-44120] [SC-144349][python] Prise en charge de Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] Réduire l’utilisation de la mémoire de LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][ui] Boucle JSON.stringify et JSON.parse inutiles pour la liste des tâches sur les détails de l’étape
• [SPARK-45567] [SC-145718][connect] Supprimer l'instruction si redondante dans org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][sql] Utiliser une résolution basée sur 'UnresolvedFunction' dans les fonctions du jeu de données SQL
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Rendre la requête add_artifact idempotente
• [SPARK-44913] [SC-144326][sql] DS V2 prend en charge l'intégration d'une UDF V2 qui possède une méthode magique
• [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions bogue
• [SPARK-45491] [SC-145622] Ajout de SQLSTATES manquant 2/2
• [SPARK-45009] [SC-145620][sc-138223][SQL] Décorréler les sous-requêtes de prédicat dans la condition de jointure
• [SPARK-45377] [SC-144377][core] Gérer InputStream dans NettyLogger
• [SPARK-45248] [SC-143759][core]Définir le délai d’expiration du serveur d’interface utilisateur Spark
• [SPARK-44594] [SC-145611][ss] Supprimer le paramètre de méthode redondante dans le connecteur kafka
• [SPARK-45539] [SC-145621][ss] Ajouter une assertion et un enregistrement pour indiquer que la définition du watermark est requise pour les requêtes d'agrégation de streaming en mode append
• [SPARK-44262] [SC-145639][sql] Ajouter dropTable et getInsertStatement à JdbcDialect
• [SPARK-45516] [SC-145480][connect] Inclure QueryContext dans le message proto de SparkThrowable
• [SPARK-45310] [SC-145127][core] L’état du bloc aléatoire de rapport doit respecter le service aléatoire lors de la désactivation de la migration
• [SPARK-45521] [SC-145487][ml] Éviter le re-calcul de nnz dans VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] Modifier l’alias de colonne current_database() en current_schema()
• [SPARK-45116] [SC-145142][sql] Ajouter un commentaire pour le paramètre de JdbcDialect createTable
• [SPARK-45495][SC-145529][core] Prise en charge du profil de ressource de tâche de niveau phase pour le cluster k8s lorsque l’allocation dynamique est désactivée
• [SPARK-45487] [SC-145559] Correction des SQLSTATE et des erreurs temporaires
• [SPARK-45505] [SC-145550][python] Refactor analyzeInPython pour le rendre réutilisable
• [SPARK-45132] [SC-145425][sql] Correction IDENTIFIER pour l’appel de fonction
• [SPARK-45213] [SC-145020][sql] Attribuer le nom à l’erreur _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][connect] Vérification de la cohérence des résultats de Arrow
• [SPARK-45163] [SC-143386][sql] Fusionner UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION & résoudre certains problèmes.
• [SPARK-45421] [SC-144814][sql] Catch AnalysisException pour InlineCTE
• [SPARK-43664] [SC-145404][connect][PS] Déclencher une exception pour ps.sql l’objet Pandas-on-Spark sur Spark Connect.
• [SPARK-45402] [SC-145371][sql][PYTHON] Ajouter l’API UDTF pour les méthodes « eval » et « terminate » pour consommer le résultat précédent « analyser »
• [SPARK-36112] [SC-67885] [SQL] Prise en charge des sous-requêtes EXISTS et IN corrélées avec l’infrastructure DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][sql] Correction du message d’erreur pour les déplacements dans le temps avec une table non existante
• [SPARK-43254] [SC-143318][sql] Attribuer un nom à l’erreur _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Ajouter un ExecuteHolder facultatif à SparkConnectPlanner
• [SPARK-45451] [SC-145144][sql] Rendre le niveau de stockage par défaut du cache de jeu de données configurable
• [SPARK-45192] [SC-143194][ui] Corriger le paramètre lineInterpolate en retard pour l'arête de graphviz
• [SPARK-45467] [SC-145146][core] Remplacer Proxy.getProxyClass() par Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Ajouter un transformateur de fonctionnalités pour l'assemblage de tableaux
• [SPARK-44855] [SC-145226][connect] Petits ajustements pour attacher ExecuteGrpcResponseSender à ExecuteResponseObserver
• [SPARK-45398] [SC-144796][sql] Ajouter ESCAPE dans sql() de l'expression Like
• [SPARK-45494] [SC-145129][core][PYTHON] Introduire des fonctions utilitaires pour lire/écrire un tableau d’octets dans PythonWorkerUtils.
• [SPARK-45464] [SC-145125][core] Correction de la build de distribution network-yarn
• [SPARK-45461] [SC-144851][core][SQL][mllib] Introduire un mappeur pour StorageLevel
• [SPARK-45450] [SC-145009][python] Correction des imports selon PEP8 : pyspark.pandas et pyspark (core)
• [SPARK-45475] [SC-145018][sql] Utilise DataFrame.foreachPartition au lieu de RDD.foreachPartition dans JdbcUtils
• [SPARK-45271] [SC-143778][sql] Fusionner _LEGACY_ERROR_TEMP_1113 dans TABLE_OPERATION & supprimer une méthode inutilisée dans QueryCompilationErrors
• [SPARK-45449] [SC-145013][sql] Problème d’invalidation du cache avec la table JDBC
• [SPARK-45473] [SC-145017][sql] Correction d’un message d’erreur incorrect pour RoundBase
• [SPARK-43299] [SC-145022][ss][CONNECT] Convertir StreamingQueryException dans le client Scala
• [SPARK-45474] [SC-145014][core][WEBUI] Prise en charge du filtrage de niveau supérieur dans l’API JSON MasterPage
• [SPARK-45205] [SC-145012][sql] CommandResultExec pour remplacer les méthodes d’itérateur pour éviter de déclencher plusieurs travaux.
• [SPARK-45472] [SC-145004][ss] RocksDB State Store n’a pas besoin de vérifier l’existence du chemin de point de contrôle
• [SPARK-45470] [SC-145010][sql] Éviter de coller la valeur de chaîne du type de compression hive orc
• [SPARK-45448] [SC-144829][python] Correction des importations en fonction de PEP8 : pyspark.testing, pyspark.mllib, pyspark.resource et pyspark.streaming
• [SPARK-45446] [SC-144828][python] Correction des importations en fonction de PEP8 : pyspark.errors et pyspark.ml
• [SPARK-45239] [SC-144832][connect] Réduire la taille par défaut de spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][python][CONNECT] Les méthodes dataFrame vérifient la même session
• [SPARK-45413] [SC-144847][core] Ajouter un avertissement pour préparer la suppression de la prise en charge de LevelDB
• [SPARK-45462] [SC-144848][core][WEBUI] Afficher Duration dans ApplicationPage
• [SPARK-44527] [SC-144855][sql] Remplacer ScalarSubquery par null si son maxRows est 0
• [SPARK-45401] [SC-144854][python] Ajouter une nouvelle méthode cleanup dans l’interface UDTF
• [SPARK-43704] [SC-144849][connect][PS] Support MultiIndex pour to_series()
• [SPARK-45424] [SC-144888][sql] Fix TimestampFormatter retourne les résultats facultatifs de l’analyse lorsque seul le préfixe correspond
• [SPARK-45441] [SC-144833][python] Introduction de fonctions utilitaires supplémentaires pour PythonWorkerUtils
• [SPARK-45412] [SC-144803][python][CONNECT] Valider le plan et la session dans DataFrame.__init__
• [SPARK-45408] [SC-144810][core] Ajouter des paramètres SSL RPC à TransportConf
• [SPARK-45432] [SC-144818][core] Supprimer le constructeur Hadoop-2 LocatedFileStatus déconseillé
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression vérifie les étiquettes d’entraînement
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] Ajouter DataType.fromDDL à PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] Supprimer schema du constructeur DataFrame
• [SPARK-45404] [SC-144799][core] Prise en charge AWS_ENDPOINT_URL de la variable env
• [SPARK-43620] [SC-144792][connect][PS] Correction des API Pandas dépend des fonctionnalités non prises en charge
• [SPARK-45354] [SC-143991][sql] Résoudre les fonctions de bas en haut
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Ajouter des nouvelles tentatives pour l’API d’artefact. Amélioration de la gestion des erreurs (suivi de [SPARK-45093]).
• [SPARK-45120] [SC-142780][spark-45150][UI] Mettre à niveau d3 de la version 3 à la version 7 (v7.8.5) et appliquer les modifications de l'API dans l'interface utilisateur.
• [SPARK-44838] [SC-143983][sql] amélioration de la fonction raise_error
• [SPARK-45312] [SC-143754][sql][UI] Activer/désactiver l'affichage du plan svg sur la page d'exécution
• [SPARK-45378] [SC-144448][core] Ajouter convertToNettyForSsl à ManagedBuffer
• [SPARK-44762] [SC-144338][connect][CORE] Documentation pour SparkConnect.addJobTag et Connect SparkSession.addTag
• [SPARK-45383] Gestion appropriée des opérations RelationTimeTravel non résolues
• [SPARK-45347] [SC-144512][sql][CONNECT] Inclure SparkThrowable dans FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][sql] CheckAnalysis devrait projeter un plan intégré dans une AnalysisException
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} doit déclencher des exceptions lorsque le plan n’est pas valide
• [SPARK-45227] [SC-144233][core] Correction d’un problème subtil de sécurité des threads avec CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][python] Refactoriser la règle d’analyseur ResolveFunctions pour retarder l’utilisation de la jointure latérale lorsque des arguments de table sont utilisés
• [SPARK-45266] Rétablir « [SC-144171][python] Refactoriser la règle d’analyseur ResolveFunctions pour retarder la réalisation d'une jointure latérale lorsque les arguments de table sont utilisés »
• [SPARK-45371] [SC-144389][connect] Résoudre les problèmes d’ombrage dans le client Scala Spark Connect
• [SPARK-45057] [SC-144214][core] Évitez d’acquérir un verrou de lecture lorsque keepReadLock a la valeur false
• [SPARK-45385] [SC-144357][sql] Déprécier spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Supprimer la configuration SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Refactoriser la règle d’analyseur ResolveFunctions pour retarder l’utilisation de la jointure latérale lorsque des arguments de table sont utilisés
• [SPARK-45362] [SC-144198][python] Projeter les expressions PARTITION BY avant que la méthode 'eval' du UDTF Python ne les consomme.
• [SPARK-45346] [SC-143925][sql] L’inférence de schéma pour Parquet doit respecter le paramètre de sensibilité à la casse lors de la fusion du schéma.
• [SPARK-45341] [SC-143933][core] Corrigez le niveau de titre dans les commentaires de KVStore.java pour exécuter sbt doc correctement avec Java 17
• [SPARK-45334] [SC-143914][sql] Supprimer le commentaire trompeur dans parquetSchemaConverter
• Refactorer [SPARK-45337] [SC-143932][core] pour supprimer la vérification de Scala 2.12
• [SPARK-45329] [SC-143918][python][CONNECT] Les méthodes DataFrame ignorent la conversion vers pandas
• [SPARK-43662] [SC-143923][ps][CONNECT] Soutenir "merge_asof" dans Spark Connect
• [SPARK-44126] [SC-143751][core] Le nombre d’échecs de migration Shuffle ne doit pas augmenter lorsque l’exécuteur cible est décommissionné
• [SPARK-44550] [SC-119768][sql] Activer les correctifs d’exactitude pour null IN (empty list) sous ANSI
• [SPARK-45316] [SC-143783][core][SQL] Ajouter de nouveaux paramètres ignoreCorruptFiles/ignoreMissingFiles à et HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Rapport d’erreurs pour la requête addArtifacts
• [SPARK-44756] [SC-143787][core] Exécuteur se bloque lorsque RetryingBlockTransferor ne parvient pas à lancer une nouvelle tentative
• [SPARK-45333] [SC-143768][core] Correction d’une erreur d’unité liée à spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][sql][CONNECT] Gérer le nom de fichier null dans la trace de la pile des exceptions
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId ajoute des informations columnar
• [SPARK-45235] [SC-143314][connect][PYTHON] Prise en charge des arguments de type carte et de type tableau par sql()
• [SPARK-45138] [SC-143309][ss] Définir une nouvelle classe d’erreur et l’appliquer lors de l’échec du point de contrôle à DFS
• [SPARK-45297] [SC-143644][sql] Supprimer la solution de contournement pour dateformatter ajoutée dans SPARK-31827
• [SPARK-44345] [SC-143593][core] Abaisser le niveau de journalisation à WARN si la migration du mélange est activée
• [SPARK-44463] [SC-143251][ss][CONNECT] Améliorer la gestion des erreurs pour le worker Python de streaming Connect
• [SPARK-45207] [SC-143603][sql][CONNECT] Implémenter l’amélioration des erreurs pour le client Scala
• [SPARK-45240] [SC-143602][sql][CONNECT] Implémenter l’enrichissement d’erreurs pour le client Python
• [SPARK-45216] [SC-143288][sql] Correction des API de jeu de données amorçage non déterministes
• [SPARK-45251] [SC-143419][connect] Ajouter client_type champ pour FetchErrorDetails
• [SPARK-45137] [SC-143001][connect] Prise en charge des paramètres de type map/array dans les paramètres paramétrés sql()
• [SPARK-45224] [SC-143257][python] Ajouter des exemples avec des listes et des tableaux en tant que paramètres de sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Implémenter FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Recours à l’exécution d’un lot unique pour Trigger.AvailableNow avec des sources non prises en charge au lieu d’utiliser un wrapper
• [SPARK-44823] [14.x][sc-142979][PYTHON] Mettre à jour Black vers 23.9.1 et corriger les vérifications erronées
• [SPARK-45078] [SC-142954][sql] Correction du problème avec ImplicitCastInputTypes qui ne fonctionne pas
• [SPARK-44579] [SC-138428][sql] Support de l'interruption en cas d'annulation dans SQLExecution
• [SPARK-45252] [SC-143371][core] Échapper les symboles supérieur/inférieur dans les commentaires pour garantir l'exécution sbt doc réussie
• [SPARK-45189] [SC-142973][sql] La création de UnresolvedRelation à partir de IdentificateurDeTable doit inclure le champ de catalogue.
• [SPARK-45229] [SC-143254][core][UI] Afficher le nombre de pilotes en attente dans l’état SOUMIS dans MasterPage
• [SPARK-43453] Rétablir « [SC-143135][ps] Ignorer names de MultiIndex lorsque axis=1 pour concat »

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance databricks Runtime 14.2.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.3 LTS
• Java : Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.3.1
• Delta Lake : 3.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 10-02-2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)