Databricks Runtime 16.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.2, optimisées par Apache Spark 3.5.2.

Databricks a publié cette version en février 2025.

Changements comportementaux

ANALYZE ignore désormais les colums avec des types non pris en charge

ANALYZE TABLE n’entraîne plus de message d’erreur lors de l’exécution sur une table avec des types non pris en charge, tels que ARRAY ou MAP. Les colonnes non prises en charge sont désormais ignorées automatiquement. Les utilisateurs qui ont implémenté une logique qui s’attend à ce que ces erreurs mettent à jour leur code.

Dans le partage Delta, l’historique des tables est activé par défaut

Les partages créés à l’aide de la commande SQL ALTER SHARE <share> ADD TABLE <table> ont désormais le partage d’historique (WITH HISTORY) activé par défaut. Voir ALTER SHARE.

Les instructions SQL d’informations d’identification retournent une erreur lorsqu’il existe une incompatibilité de type d’informations d’identification

Avec cette version, si le type d’informations d’identification spécifié dans une instruction SQL de gestion des informations d’identification ne correspond pas au type de l’argument d’informations d’identification, une erreur est retournée et l’instruction n’est pas exécutée. Par exemple, pour l’instruction DROP STORAGE CREDENTIAL 'credential-name', si credential-name n’est pas une information d’identification de stockage, l’instruction échoue avec une erreur.

Cette modification est apportée pour empêcher les erreurs utilisateur. Auparavant, ces instructions s’exécutaient correctement, même si des informations d’identification ne correspondant pas au type spécifié étaient transmises. Par exemple, l’instruction suivante supprime correctement storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Cette modification impacte les déclarations suivantes :

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT…SUR...INFORMATIONS D’IDENTIFICATION
• REVOKE…SUR...INFORMATIONS D’IDENTIFICATION
• SHOW GRANTS SUR...INFORMATIONS D’IDENTIFICATION

Améliorations et nouvelles fonctionnalités

• Créer des applications avec état personnalisées avec transformWithState
• S’authentifier auprès du stockage d’objets cloud avec les informations d’identification du service
• L'accès gouverné par Unity Catalog aux services cloud externes utilisant des identifiants de service est maintenant en disponibilité générale
• Les notebooks sont pris en charge en tant que fichiers d’espace de travail
• Utiliser les timestampdiff expressions de timestampadd colonne générées
• Prise en charge de la syntaxe de pipeline SQL
• Effectuer une requête HTTP à l’aide de la http_request fonction
• Mettre à jour pour retourner des DESCRIBE TABLE métadonnées sous forme de JSON structuré
• Classements non sensibles à la fin
• Convertir des tables Apache Iceberg avec partitionnement de compartiments en tables Delta nonpartionées
• Le calcul du mode d’accès standard (anciennement mode d’accès partagé) prend désormais en charge les méthodes foreachSpark Scala, foreachBatchet flatMapGroupsWithState

Créer des applications avec état personnalisées avec transformWithState

Vous pouvez désormais utiliser transformWithState et les API associées pour implémenter des applications avec état personnalisés dans le cadre de requêtes Structured Streaming. Consultez Générer une application avec état personnalisé.

S’authentifier auprès du stockage d’objets cloud avec les informations d’identification du service

Vous pouvez maintenant utiliser les informations d’identification du service Databricks pour vous authentifier auprès du stockage d’objets cloud avec le chargeur automatique. Consultez Configurer des flux de chargeur automatique en mode de notification de fichier.

L’accès géré par le catalogue Unity aux services cloud externes à l’aide des informations d’identification du service est désormais en disponibilité générale

Les informations d’identification du service permettent une authentification simple et sécurisée avec les services de votre locataire cloud à partir d’Azure Databricks. Avec Databricks Runtime 16.2, les informations d’identification du service sont généralement disponibles et prennent désormais en charge les kits SDK Scala, en plus du SDK Python pris en charge dans la préversion publique. Consultez Créer des informations d’identification de service.

Les notebooks sont pris en charge en tant que fichiers d’espace de travail

Dans Databricks Runtime 16.2 et versions ultérieures, les notebooks sont pris en charge en tant que fichiers d’espace de travail. Vous pouvez désormais interagir par programmation avec des notebooks à partir de n’importe où le système de fichiers d’espace de travail est disponible, notamment l’écriture, la lecture et la suppression de blocs-notes comme n’importe quel autre fichier. Pour plus d’informations, consultez Créer, mettre à jour et supprimer des fichiers et des répertoires par programmation.

Utiliser le timestampdiff & timestampadd dans les expressions de colonne générées

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez utiliser les fonctions timestampdiff et timestampadd dans les expressions de colonne générées par Delta Lake. Consultez Colonnes générées par Delta Lake.

Prise en charge de la syntaxe des pipelines SQL

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez composer des pipelines SQL. Un pipeline SQL structure une requête standard, telle que SELECT c2 FROM T WHERE c1 = 5, dans une séquence pas à pas, comme illustré dans l’exemple suivant :

FROM T
|> SELECT c2
|> WHERE c1 = 5

Pour en savoir plus sur la syntaxe prise en charge pour les pipelines SQL, consultez Syntaxe des pipelines SQL.

Pour plus d'informations sur cette extension inter-industries, consultez SQL a des problèmes. Nous pouvons les corriger : syntaxe en pipe dans SQL (par Google Research).

Effectuer une requête HTTP à l’aide de la http_request fonction

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez créer des connexions HTTP et effectuer des requêtes HTTP à l’aide de la fonction http_request .

La mise à jour vers DESCRIBE TABLE retourne des métadonnées en tant que JSON structuré

Dans Databricks Runtime 16.2 et versions ultérieures, vous pouvez utiliser la commande pour retourner les DESCRIBE TABLE AS JSON métadonnées de table en tant que document JSON. La sortie JSON est plus structurée que le rapport lisible par l’homme par défaut et peut être utilisée pour interpréter le schéma d’une table par programmation. Pour plus d’informations, consultez DESCRIBE TABLE AS JSON.

Classements non sensibles à la présence d’espaces de fin

Databricks Runtime 16.2 ajoute la prise en charge des classements non sensibles à la fin, en ajoutant à la prise en charge du classement ajoutée dans Databricks Runtime 16.1. Par exemple, ces collations traitent 'Hello' et 'Hello ' comme identiques. Pour plus d’informations, consultez Classement RTRIM.

Convertir des tables Apache Iceberg avec partitionnement de compartiments en tables Delta nonpartionées

Les CONVERT TO DELTA instructions prennent CREATE TABLE CLONE désormais en charge la conversion d’une table Apache Iceberg avec partitionnement de compartiments en table Delta nonpartitionnée.

Le calcul du mode d’accès standard (anciennement mode d’accès partagé) prend désormais en charge les méthodes foreachSpark Scala, foreachBatchet flatMapGroupsWithState

Dans Databricks Runtime 16.2 et versions ultérieures, le calcul en mode d’accès standard prend désormais en charge les méthodes DataStreamWriter.foreachBatch Scala et KeyValueGroupedDataset.flatMapGroupsWithState. Dans Databricks Runtime 16.1 et versions ultérieures, le calcul en mode d’accès standard prend désormais en charge la méthode DataStreamWriter.foreachScala.

Corrections de bugs

Amélioration du traitement du clone incrémentiel

Cette version inclut un correctif pour un cas limite où un CLONE incrémentiel pourrait recopier des fichiers déjà transférés d'une table source vers une table cible. Consultez Cloner une table sur Azure Databricks.

Mises à niveau de bibliothèque

• Bibliothèques Python mises à niveau :
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • org.json4s.json4s-ast_2.12 de 3.7.0-M11 à 4.0.7
  • org.json4s.json4s-core_2.12 de 3.7.0-M11 à 4.0.7
  • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 à 4.0.7
  • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 à 4.0.7

Apache Spark

Databricks Runtime 16.2 inclut Apache Spark 3.5.2. Cette version inclut tous les correctifs spark et toutes les améliorations inclus dans Databricks Runtime 16.1 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

• [SPARK-49966] Rétablir " [SC-179501][sql] Utiliser Invoke pour implémenter JsonToStructs(from_json) »
• [SPARK-50904] [SC-186976][sql] Correction de l’exécution de la requête walker d’expression de classement
• [SPARK-49666] [SQL] Activer les tests de découpage pour l’expression InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Modifier la signature de l’expression TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Stocker l'horodatage en tant que type long dans describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Ajouter le fuseau horaire lors de la conversion en horodatage dans V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Failure in ExecuteResponseObserver aboutit à des demandes de détachement infinies
• [SPARK-50522] [SC-186500][sql] Prise en charge du classement indéterminé
• [SPARK-50525] [SC-186058][sql] Définir la règle Optimizer InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Les expressions communes dupliquées dans différentes with ne doivent être projetées qu’une seule fois
• [SPARK-50847] [SC-186916] [SQL] Deny ApplyCharTypePadding from apply on specific In expressions
• [SPARK-50714] [SC-186786][sql][SS] Activer l’évolution du schéma pour TransformWithState lorsque l’encodage Avro est utilisé
• [SPARK-50795] [SC-186390][sql] Afficher toutes les dates DESCRIBE AS JSON au format ISO-8601 et types en tant que dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick : Améliorer la contrainte de type et la vérification des limites pour la fonction UNIFORM SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog prend en charge builtin la valeur magique
• [SPARK-50831] [SC-186736][sql] Activer le classement de découpage par défaut
• [SPARK-50263] [SC-186793][connect] Remplacer System.currentTimeMillis par System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implémenter CreateSQLFunctionCommand pour les fonctions scalaires et de table SQL
• [SPARK-50830] [SC-186718] [SQL] Retour du résultat d’une seule passe en tant que résultat d’analyse de double exécution
• [SPARK-50707] [SC-186098][sql] Activer la conversion vers/à partir de char/varchar
• [SPARK-49490] [SC-182137][sql] Ajouter des benchmarks pour initCap
• [SPARK-50529] [SC-184535][sql] Modifier le comportement char/varchar sous la spark.sql.preserveCharVarcharTypeInfo configuration
• [SPARK-49632] [SC-184179][sql] Supprimer la suggestion de configuration ANSI dans CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Correction du bogue où le passage de variantes null dans createDataFrame provoque l’échec et l’ajout de la prise en charge de Variant dans createDataFrame dans Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Dépréciation pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Spécifier comme analysé en cas d'échec de l'analyse
• [SPARK-50824] [SC-186472][python] Éviter d’importer des packages Python facultatifs pour la vérification
• [SPARK-50755] [SC-185521][sql] Affichage de plan joli pour InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Les entrées pour les agrégations typées doivent être analysées
• [SPARK-50791] [SC-185867][sc-186338][SQL] Correction de NPE dans la gestion des erreurs du Magasin d’états
• [SPARK-50801] [SC-186365] [SQL] Améliorer PlanLogger.logPlanResolution afin qu’il affiche des plans non résolus et résolus
• [SPARK-50749] [SC-185925][sql] Correction du bogue de classement dans la méthode CommutativeExpression.collectCommutative
• [SPARK-50783] [SC-186347] Canonicalize JVM profiler profileur name and layout on DFS
• [SPARK-50790] [SC-186354][python] Implémenter l’analyse json dans pyspark
• [SPARK-50738] [SC-184856][python] Mettre à niveau le noir vers 23.12.1
• [SPARK-50764] [SC-185930][python] Affiner la documentation des méthodes associées à xpath
• [SPARK-50798] [SC-186277][sql] Améliorer NormalizePlan
• [SPARK-49883] [SC-183787][ss] Intégration de la Structure de Checkpoint de l'État V2 avec RocksDB et RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Ajout d’un indicateur de fonctionnalité pour les classements au niveau de l’objet
• [SPARK-50778] [SC-186183][python] Ajouter metadataColumn au DataFrame de PySpark
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick : Améliorer les alias d’expression générés automatiquement avec des opérateurs SQL de canal
• [SPARK-50541] [16.x][sc-184937] Décrire la table en tant que JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick : Conserver les alias de table après SET, EXTEND, opérateurs DROP
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Synchroniser la différence de code Delta avec DBR
• [SPARK-50752] [SC-185547][python][SQL] Introduire des configurations pour l’optimisation de la fonction UDF Python sans flèche
• [SPARK-50705] [SC-185944][sql] Rendre QueryPlan le verrou libre
• [SPARK-50690] [16.x][sc-184640][SQL] Corriger l’écart dans DESCRIBE TABLE les colonnes de sortie de requête d’affichage entre guillemets
• [SPARK-50746] [SC-184932][sql] Remplacez l’une ou l’autre par VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder définit les configurations dans le lot
• [SPARK-50480] [SC-183359][sql] Étendre CharType et VarcharType à partir de StringType
• [SPARK-50675] [SC-184539][sql] Prise en charge des classements de table et de niveau d’affichage
• [SPARK-50409] [SC-184516][sql] Correction de l’instruction set à ignorer ; à la fin de SET;, SET -v; et SET key;
• [SPARK-50743] [SC-185528][sql] Normalize CTERelationDef et CTERelationRef IDs
• [SPARK-50693] [SC-184684][connect] Les entrées de TypedScalaUdf doivent être analysées
• [SPARK-50744] [SC-184929][sql] Ajouter un cas de test pour la priorité de résolution de noms view/CTE
• [SPARK-50710] [SC-184767][connect] Ajouter la prise en charge de la reconnexion facultative du client aux sessions après la publication
• [SPARK-50703] [SC-184843][python] Affiner la documentation de regexp_replace, de regexp_substr et de regexp_instr
• [SPARK-50716] [SC-184823][core] Correction de la logique de nettoyage des liens symboliques dans JavaUtils.deleteRecursivelyUsingJavaIO la méthode
• [SPARK-50630] [SC-184443][sql] Correction GROUP BY de la prise en charge ordinale pour les opérateurs SQL AGGREGATE de canal
• [SPARK-50614] [SC-184729][sql] Ajout de la prise en charge du déchiquetage de variantes pour Parquet
• [SPARK-50661] [SASP-4936] Ajouter une compatibilité descendante pour l’ancien client FEB.
• [SPARK-50676] [SC-184641][sql] Supprimer non utilisé private lazy val mapValueContainsNull de ElementAt
• [SPARK-50515] [SC-183813][core] Ajouter une interface en lecture seule à SparkConf
• [SPARK-50697] [SC-184702][sql] Activer la fin-récursion dans la mesure du possible
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corriger le schéma d’état pour FlatMapGroupsWithState dans spark connect lorsqu’il n’existe aucun état initial
• [SPARK-50701] [SC-184704][python] Rendre le traçage requis pour la version minimale du tracé
• [SPARK-50702] [SC-184727][python] Affiner la documentation de regexp_count, de regexp_extract et de regexp_extract_all
• [SPARK-50499] [SC-184177][python] Exposer les métriques de BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Ajouter la prise en charge du pushdown RPAD
• [SPARK-50682] [SC-184579][sql] L’alias interne doit être canonique
• [SPARK-50699] [SC-184695][python] Analyser et générer une chaîne DDL avec une session spécifiée
• [SPARK-50573] [SC-184568][ss] Ajout de l’ID de schéma d’état aux lignes d’état à l’évolution du schéma
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Corriger l'implémentation foreachBatch de Spark Connect Scala. pour prendre en charge le jeu de données[T].
• [SPARK-50689] [SC-184591][sql] Appliquer l’ordre déterministe dans les listes de projets LCA
• [SPARK-50696] [SC-184667][python] Optimiser l’appel Py4J pour la méthode d’analyse DDL
• [SPARK-49670] [SC-182902][sql] Activer le classement de découpage pour toutes les expressions pas à pas
• [SPARK-50673] [SC-184565][ml] Éviter de parcourir les coefficients de modèle deux fois dans le Word2VecModel constructeur
• [SPARK-50687] [SC-184588][python] Optimiser la logique pour obtenir des traces de pile pour DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Cachez le schéma analysé pour MapInXXX et ApplyInXXX
• [SPARK-50674] [SC-184589][python] Correction de l’existence de la méthode « terminate » dans l’évaluation UDTF
• [SPARK-50684] [SC-184582][python] Améliorer les performances py4J dans DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Ajouter la prise en charge des nouvelles versions des métadonnées d’état pour TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Correction de la transpose pour afficher un message d’erreur approprié lorsque des colonnes d’index non valides sont spécifiées
• [SPARK-50650] [SC-184532][sql] Améliorer la journalisation dans l’analyseur à passe unique
• [SPARK-50665] [SC-184533][sql] Remplacer LocalRelation par ComparableLocalRelation dans NormalizePlan
• [SPARK-50644] [SC-184486][sql] Lire le struct variant dans le lecteur Parquet.
• [SPARK-49636] [SC-184089][sql] Supprimer la suggestion de configuration ANSI dans INVALID_ARRAY_INDEX et INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Calcul de sortie Union refactorisé pour le réutiliser dans l’analyseur à passe unique
• [SPARK-50659] [SC-184512][sql] Déplacer des erreurs liées à l’union vers QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Correction du calcul de contexte de type de chaîne implicite incorrect
• [SPARK-50546] [SC-183807][sql] Ajouter la prise en charge du cast de sous-requête à la contrainte de type de classement
• [SPARK-50405] [SC-182889][sql] Gérer correctement le type de classement des types de données complexes
• [SPARK-50637] [SC-184434][sql] Correction du style de code pour l’analyseur à passe unique
• [SPARK-50638] [SC-184435][sql] Refactoriser la résolution de vue dans le fichier distinct pour la réutiliser dans l’analyseur à passe unique
• [SPARK-50615] [SC-184298][sql] Intégrer la variante dans le balayage.
• [SPARK-50619] [SC-184210][sql] Refactoriser VariantGet.cast pour empaqueter les arguments de cast
• [SPARK-50599] [SC-184058][sql] Créer la caractéristique DataEncoder qui permet l’encodage Avro et UnsafeRow
• [SPARK-50076] [SC-183809] Correction des touches de journalisation
• [SPARK-50597] [SC-183972][sql] Refactoriser la construction de lots dans Optimizer.scala et SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Activer le journal des modifications pour stocker les informations de traçabilité
• [SPARK-50526] [SC-183811][ss] Ajouter un format d’encodage de magasin conf dans le journal offset et bloquer les opérateurs avec état non pris en charge à l’aide d’avro
• [SPARK-50540] [SC-183810][python][SS] Correction du schéma de chaîne pour StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Utilisation de SQLConf fournie par SparkSession en premier.
• [SPARK-48898] [SC-183793][sql] Définir la valeur Nullabilité correctement dans le schéma Variant
• [SPARK-50559] [SC-183814][sql] Store Except, Intersect and Union’s outputs as lazy vals
• [SPARK-48416] [SC-183643][sql] Prise en charge imbriquée corrélée avec l’expression
• [SPARK-50428] [SC-183566][ss][PYTHON] Prise en charge de TransformWithStateInPandas dans les requêtes par lots
• [SPARK-50063] [SC-183350][sql][CONNECT] Ajouter la prise en charge de Variant dans le client Scala Spark Connect
• [SPARK-50544] [SC-183569][python][CONNECT] Implémenter StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Correction des erreurs de build Maven introduites par le cache Guava dans RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Correction du bogue où les blocs BEGIN END vides lèvent une erreur
• [SPARK-50536] [SC-183443][core] Tailles des fichiers d’archive téléchargés dans SparkContext et Executor
• [SPARK-45891] [SC-183439][sql] Reconstruire le binaire variant à partir des données fragmentées.
• [SPARK-49565] [SC-183465][sql] Ajouter une syntaxe de canal SQL pour l’opérateur FROM
• [SPARK-50497] [SC-183338][sql] Échec des requêtes avec un message approprié si MultiAlias contient une fonction non générateur
• [SPARK-50460] [SC-183375][python][CONNECT] Généraliser et simplifier la gestion des exceptions Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Correction de l’option de compression remplacée dans df.write.parquet
• [SPARK-50329] [SC-183358][sql] corriger InSet$toString
• [SPARK-50524] [SC-183364][sql] Message d’avertissement inférieur RowBasedKeyValueBatch.spill au niveau de débogage
• [SPARK-50528] [SC-183385][connect] Déplacer InvalidCommandInput vers un module commun
• [SPARK-50017] [SC-182438][ss] Prise en charge de l’encodage Avro pour l’opérateur TransformWithState
• [SPARK-50463] [SC-182833][sql] Correction ConstantColumnVector avec la conversion columnar en ligne
• [SPARK-50235] [SC-180786][sql] Nettoyer la ressource ColumnVector après avoir traité toutes les lignes dans ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Correction du test lié à l’état init pour utiliser StreamManualClock
• [SPARK-50478] [SC-183188][sql] Correction de la correspondance StringType
• [SPARK-50492] [SC-183177][ss] Fix java.util.NoSuchElementException when event time column is dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Ajouter une syntaxe de canal SQL pour l’opérateur SET
• [SPARK-50449] [SC-183178][sql] Correction de la grammaire de script SQL autorisant les corps vides pour les boucles, IF et CASE
• [SPARK-50251] [SC-180970][python] Ajouter getSystemProperty à PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Correction de la configuration de mémoire associée à l’exécuteur incorrecte lorsque plusieurs profils de ressources ont fonctionné
• [SPARK-49461] [SC-179572][ss] ID de point de contrôle persistant pour valider les journaux et le lire
• [SPARK-50343] [SC-183119][spark-50344][SQL] Ajouter une syntaxe de canal SQL pour les opérateurs DROP et AS
• [SPARK-50481] [SC-182880][core] Amélioration SortShuffleManager.unregisterShuffle pour ignorer la logique du fichier de somme de contrôle si la somme de contrôle est désactivée
• [SPARK-50498] [SC-183090][python] Éviter les appels py4j inutiles dans listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Correction de la jointure automatique après applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez les mises à jour de maintenance databricks Runtime 16.2.

Environnement du système

• Système d’exploitation : Ubuntu 24.04.1 LTS
  • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
• Java : Zulu17.54+21-CA
• Scala : 2.12.15
• Python : 3.12.3
• R : 4.4.0
• Delta Lake : 3.3.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit sur 2024-08-04 : https://packagemanager.posit.co/cran/2024-08-04/.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)