Databricks Runtime 13.3 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 13.3 LTS avec Apache Spark 3.4.1.

Databricks a publié cette version en août 2023.

Améliorations et nouvelles fonctionnalités

• Prise en charge de Scala pour les clusters partagés
• La liste de permissions pour les scripts init, les JAR et les coordonnées Maven sur les clusters standard du catalogue Unity (anciennement clusters partagés) est en version préliminaire publique
• La prise en charge des volumes pour les scripts init et les fichiers JAR est en préversion publique
• Casts sécurisés activés par défaut pour les opérations Delta Lake
• Présentation des étiquettes avec Unity Catalog
• Databricks Runtime renvoie une erreur si un fichier est modifié entre la planification et l’appel de la requête
• Remplacement de schéma de bloc en cas d’utilisation de remplacements de partition dynamique
• Intégrer l’API copyFile dans dbutils.fs.cp
• Prise en charge du pilote ODBC/JDBC Databricks
• Prise en charge des marqueurs de paramètre (positionnel) sans nom
• Activer l’étiquetage des colonnes de série chronologique
• Nouvelles fonctions SQL bitmap
• Fonctions de chiffrement améliorées
• Prise en charge de Unity Catalog pour REFRESH FOREIGN
• INSERT PAR NOM
• Partager des vues matérialisées avec Delta Sharing

Prise en charge de Scala pour des clusters partagés

Les clusters partagés avec Unity Catalog prennent désormais en charge Scala en cas d’utilisation de Databricks Runtime 13.3 et versions ultérieures.

La liste blanche pour les scripts init, les JAR et les coordonnées Maven sur les clusters standards de Unity Catalog (anciennement clusters partagés) est en aperçu public.

Vous pouvez maintenant utiliser le Unity Catalog allowlist pour contrôler l'installation des scripts init, des JARs et des coordonnées Maven sur les instances de calcul en mode d'accès standard exécutant Databricks Runtime 13.3 et supérieur. Consultez Bibliothèques de listes d’autorisation et scripts init sur le calcul en mode d’accès standard (anciennement mode d’accès partagé).

La prise en charge des volumes pour les scripts init et les fichiers JAR est en préversion publique

Vous pouvez désormais utiliser des volumes de catalogue Unity pour stocker des scripts init et des jars dans un environnement de calcul utilisant des modes d’accès dédiés ou standard exécutant Databricks Runtime 13.3 et versions ultérieures. Consultez Où peuvent être installés les scripts d’initialisation ? et Bibliothèques à l’échelle du calcul.

Casts sécurisés activés par défaut pour les opérations Delta Lake

Les opérations Delta UPDATE et MERGE entraînent désormais une erreur lorsque les valeurs ne peuvent pas être castées en toute sécurité vers le type dans le schéma de la table cible. Toutes les casts implicites dans Delta suivent désormais spark.sql.storeAssignmentPolicy au lieu de spark.sql.ansi.enabled. Consultez Conformité ANSI dans Databricks Runtime.

Présentation des étiquettes avec Unity Catalog

Avec Databricks Runtime 13.3 LTS et versions ultérieures, vous pouvez appliquer des étiquettes à vos objets sécurisables. Les étiquettes vous aident à organiser les objets sécurisables, et simplifient la recherche et la découverte de vos ressources de données. Consultez Appliquer des étiquettes aux objets sécurisables Unity Catalog.

Databricks Runtime renvoie une erreur si un fichier est modifié entre la planification et l’appel de la requête

Les requêtes Databricks Runtime renvoient désormais une erreur si un fichier est mis à jour entre la planification et l’appel de la requête. Avant ce changement, Databricks Runtime lisait un fichier entre ces phases, ce qui aboutissait parfois à des résultats imprévisibles.

Remplacement de schéma de bloc en cas d’utilisation de remplacements de partition dynamique

Vous ne pouvez pas définir overwriteSchema sur true en association avec les remplacements de partition dynamique dans Delta Lake. Cela empêche toute altération éventuelle de la table liée à une incompatibilité de schéma. Consultez Remplacements de partition dynamique.

Intégrer l’API copyFile dans dbutils.fs.cp

La commande de copie dbutils, dbutils.fs.cp, est désormais optimisée pour accélérer la copie. Grâce à cette amélioration, les opérations de copie peuvent être jusqu’à 100 fois plus rapides, selon la taille du fichier. La fonctionnalité est disponible sur tous les systèmes de fichiers accessibles dans Azure Databricks, notamment pour les volumes de catalogue Unity et les montages de système de fichiers Databricks.

Prise en charge du pilote ODBC/JDBC Databricks

Azure Databricks prend en charge les pilotes ODBC et JDBC publiés au cours des 2 dernières années. Téléchargez le dernier pilote sur Télécharger le pilote ODBC et Télécharger le pilote JDBC.

Prise en charge des marqueurs de paramètre (positionnel) sans nom

L’API SparkSession.sql() prend désormais en charge les requêtes paramétrisées utilisant la syntaxe ? en plus des requêtes paramétrisées utilisant la syntaxe :parm. Consultez les marqueurs de paramètre.

Activer l’étiquetage des colonnes de série chronologique

Vous pouvez désormais étiqueter des colonnes de série chronologique quand vous créez des contraintes de clé primaire.

Nouvelles fonctions SQL bitmap

Azure Databricks fournit désormais un ensemble de fonctions pouvant être utilisées pour mapper des valeurs numériques intégrales à un bitmap et les agréger. Cela peut servir à précalculer le nombre de valeurs distinctes.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Fonctions de chiffrement améliorées

Les fonctions aes_encrypt, aes_decrypt et try_aes_decrypt ont été améliorées avec la prise en charge des vecteurs d’initialisation (IV) et des données supplémentaires authentifiées (AAD).

Prise en charge de Unity Catalog pour REFRESH FOREIGN

Vous pouvez maintenant mettre à jour des catalogues, des schémas et des tables étrangers dans Unity Catalog en utilisant REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA et REFRESH FOREIGN TABLE. Voir REFRESH FOREIGN (CATALOG, SCHEMAet TABLE).

INSERT PAR NOM

Lorsque vous insérez des lignes dans une table, vous pouvez désormais laisser Azure Databricks mapper automatiquement les colonnes et les champs de la requête source aux colonnes de la table par leur nom. Voir INSERT INTO.

Partager des vues matérialisées avec Delta Sharing

L’instruction ALTER SHARE prend désormais en charge les vues matérialisées.

Dernières modifications

Modifications apportées à la conversion implicite lors du stockage de lignes dans une table avec MERGE INTO et UPDATE

Azure Databricks suit désormais la configuration spark.sql.storeAssignmentPolicy pour le transtypage implicite lors du stockage des lignes dans une table. La valeur par défaut ANSI génère une erreur lors du stockage de valeurs qui dépassent. Précédemment, les valeurs auraient été stockées comme NULL par défaut.

Comme dans l’exemple suivant, vous pouvez traiter les dépassements en réécrivant la table pour utiliser un type plus large pour la colonne à l’origine de l’erreur.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Modifications de l’inférence de schéma Parquet

Lors de l’inférence de schémas à partir de fichiers Parquet non écrits par Spark, les colonnes d’horodatage int64 annotées avec isAdjustedToUTC=false sont désormais par défaut du type TIMESTAMP_NTZ. Auparavant, celles-ci étaient inférées avec le type TIMESTAMP. Cette mise à jour améliore la précision du mappage des types Parquet aux types SQL Spark.

Par conséquent, la lecture de données à partir de fichiers Parquet externes dans une table Delta peut entraîner une erreur si la fonctionnalité de timestampNtz n’est pas activée. L’erreur se présente comme suit :

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Pour maintenir le comportement précédent et empêcher cette erreur, vous pouvez définir le paramètre de configuration Spark spark.sql.parquet.inferTimestampNTZ.enabled sur false.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • debugpy, versions 1.5.1 à 1.6.0
  • distlib, versions 0.3.6 à 0.3.7
  • fastjsonschema, versions 2.16.3 à 2.18.0
  • filelock de la version 3.12.0 à la version 3.12.2
• Bibliothèques R mises à niveau :
  • SparkR, versions 3.4.0 à 3.4.1
• Bibliothèques Java mises à niveau :
  • org.apache.orc.orc-core, versions 1.8.3-shaded-protobuf à 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce, versions 1.8.3-shaded-protobuf à 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims, versions 1.8.3 à 1.8.4
  • org.eclipse.jetty.jetty-client, versions 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 à 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet, versions 9.4.50.v20221201 à 9.4.51.v20230217
  • org.xerial.snappy.snappy-java, versions 1.1.8.4 à 1.1.10.1

Apache Spark

Databricks Runtime 13.3 comprend Apache Spark 3.4.1. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 13.2 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• Vous pouvez maintenant définir la variable d’environnement de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 pour utiliser le connecteur Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] Rétablir "[SC-133100][sql] Corriger le type de données Avro conversion...
• [SPARK-44504] [Backport][13.2][13.x][13.3] Déchargement du fournisseur, pour forcer la fermeture de l’instance de base de données et libérer les ressources en cas d’erreur de la tâche de maintenance
• [SPARK-44059] [SC-137023] Ajout de la prise en charge des arguments nommés par l’analyseur pour les fonctions intégrées
• [SPARK-44485] [SC-137653][sql] Optimize TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch en Python
• [SPARK-44446] [SC-136994][python] Ajouter des vérifications pour les cas spéciaux de type de liste attendu
• [SPARK-44439] [SC-136973][connect][SS]Correction de listListeners pour ne retourner que les identifiants au client
• [SPARK-44216] [SC-136941] [PYTHON] Rendre l’API assertSchemaEqual publique
• [SPARK-44201] [SC-136778][connect][SS]Ajouter la prise en charge de l’écouteur de streaming dans Scala pour Spark Connect
• [SPARK-43915] [SC-134766][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Annuler « [SC-133990][sql][PYTHON] Prendre en charge les fonctions de table définies par l’utilisateur Python »
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-44476] [SC-137169][core][CONNECT] Correction de la population d’artefacts pour un JobArtifactState sans artefacts associés
• [SPARK-44269] [SC-135817][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][sql] Mettre à jour les arguments TVF pour exiger des parenthèses autour de l’identificateur après TABLE le mot clé
• [SPARK-43915] [SC-134766][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Ajouter la prise en charge de UDFRegistration au client Scala Connect
• [SPARK-44109] [SC-134755][core] Supprimer les emplacements préférés en double de chaque partition RDD
• [SPARK-44169] [SC-135497][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-44153] [SC-134977][core][UI] Prendre en charge la colonne Heap Histogram dans l’onglet Executors
• [SPARK-44044] [SC-135695][ss] Améliorer le message d’erreur pour les fonctions Window avec streaming
• [SPARK-43914] [SC-135414][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][python] Autoriser la précision personnalisée pour l’égalité approximative fp
• [SPARK-44370] [SC-136575][connect] Migrer la génération distante de Buf alpha vers des plugins distants
• [SPARK-44410] [SC-136930][python][CONNECT] Définir une session active dans create, pas seulement getOrCreate
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Reenable test_artifact avec les modifications pertinentes
• [SPARK-44145] [SC-136698][sql] Rappel lors de l’exécution
• [SPARK-44264] [SC-136870][python][ML] Classe FunctionPickler
• [SPARK-43986] [SC-135623][sql] Créer des classes d’erreur pour les échecs d’appel de fonction HyperLogLog
• [SPARK-44139] [SC-134967][sql] Rejeter complètement les filtres appliqués dans les opérations de fusion basées sur des groupes
• [SPARK-44338] [SC-136718][sql] Correction du message d’erreur d’incompatibilité du schéma de vue
• [SPARK-44208] [SC-135505][core][SQL] Affecter des noms de classes d’erreur clairs pour une logique qui utilise directement des exceptions
• [SPARK-44364] [SC-136773] [PYTHON] Ajout de la prise en charge du type de données List[Row] pour les données attendues
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils doit appliquer ResolveTimeZone
• [SPARK-43389] [SC-136772][sql] Ajout d’une vérification null pour l’option lineSep
• [SPARK-44388] [SC-136695][connect] Correction du problème de cast protobuf lorsque l’instance UDF est mise à jour
• [SPARK-44352] [SC-136373][connect] Remettre sameType et ses associés dans DataType.
• [SPARK-43975] [SC-134265][sql] DataSource V2 : Gérer les UPDATE commandes pour les sources basées sur un groupe
• [SPARK-44360] [SC-136461][sql] Prise en charge de l'élagage du schéma dans les opérations MERGE basées sur delta
• [SPARK-44138] [SC-134907][sql] Interdire les expressions non déterministes, les sous-requêtes et les agrégats dans les conditions MERGE
• [SPARK-43321] [SC-136678][connect][Suivi] Meilleurs noms pour les API utilisés dans le client Scala joinWith
• [SPARK-44263] [SC-136447][connect] Prise en charge des intercepteurs personnalisés
• [SPARK-39851] [SC-123383][sql] Améliorer l’estimation des statistiques de jointure si l'un des côtés peut maintenir l’unicité
• [SPARK-44390] [SC-136677][core][SQL] Renommer SparkSerDerseUtils en SparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] Attribuer un nom et améliorer le message d'erreur pour les erreurs anciennes fréquentes.
• [SPARK-44322] [SC-136204][connect] Faire en sorte que le parser utilise SqlApiConf plutôt que SQLConf.
• [SPARK-44271] [SC-136347][sql] Déplacer les fonctions de valeurs par défaut de StructType vers ResolveDefaultColumns
• [SPARK-44332] [SC-136413][core][WEBUI] Correction de l’erreur de tri de la colonne d’ID d’exécuteur sur la page de l’interface utilisateur des exécuteurs
• [SPARK-44282] [SC-135948][connect] Préparer l’analyse DataType à utiliser dans le client Scala Spark Connect
• [SPARK-44349] [SC-136581][r] Ajouter des fonctions mathématiques à SparkR
• [SPARK-44397] [SC-136647][python] Expose assertDataFrameEqual dans pyspark.testing.utils
• [SPARK-42981] [SC-136620][connect] Ajouter une sérialisation de flèche directe
• [SPARK-44373] [SC-136577][sql] Encapsuler avec withActive pour l'API Dataset avec logique d'analyse afin de faire fonctionner la configuration liée à l'analyse
• [SPARK-44340] [SC-136574][sql] Définir la logique informatique via l’API PartitionEvaluator et l’utiliser dans WindowGroupLimitExec
• Activer PandasSQLStringFormatter.vformat pour fonctionner avec Spark Connect
• [SPARK-44325] [SC-136572][sql] Utiliser l’API PartitionEvaluator dans SortMergeJoinExec
• [SPARK-44315] [SC-136171][sql][CONNECT] Déplacer DefinedByConstructorParams vers sql/api
• [SPARK-44275] [SC-136184][connect] Ajouter un mécanisme de nouvelle tentative configurable à Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] Déplacer les utils utilisés du client Scala vers les modules communs
• [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][connect] Préparer ScalaReflection pour le passage à SQL/API
• [SPARK-44313] [SC-136081][sql] Correction de la validation de l’expression de colonne générée lorsqu’il existe une colonne char/varchar dans le schéma
• [SPARK-43963] [SC-134145][sql] DataSource V2 : Gérer les commandes MERGE pour les sources basées sur un groupe
• [SPARK-44363] [SC-136433] [PYTHON] Affichage du pourcentage de lignes différentes dans la comparaison de DataFrames
• [SPARK-44251] [SC-136432][sql] Définir la valeur nullable correctement sur la clé de jointure fusionnée dans le cadre d'une jointure USING complète externe
• [SPARK-43948] [SC-133366][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Ajouter hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt à Scala et Python
• [SPARK-44351] [SC-136353][sql] Rendre une simplification syntaxique
• [SPARK-44281] [SC-135963][sql] Déplacer l'erreur de compilation de requête utilisée par DataType vers sql/api en tant que DataTypeErrors
• [SPARK-44283] [SC-136109][connect] Déplacer l’origine vers SQL/API
• [SPARK-43926] [SC-135590][connect][PYTHON] Ajouter array_agg, array_size, cardinalité, count_min_sketch, mask, named_struct, json à Scala et Python
• [SPARK-44327] [SC-136187][sql][CONNECT] Ajouter des fonctions any et len à Scala
• [SPARK-44290] [SC-136300][connect] Fichiers et archives basés sur des sessions dans Spark Connect
• [SPARK-44061] [SC-136299][python] Ajout de la fonction utilitaire assertDataFrameEqual
• [SPARK-44331] [SC-136324][connect][PYTHON] Ajouter des fonctions bitmap à Scala et Python
• [SPARK-44342] [SC-136334][sql] Remplacer SQLContext par SparkSession pour GenTPCDSData
• [SPARK-42583] [SC-124190][sql] Supprimer la jointure externe s’il s’agit de toutes les fonctions d’agrégation distinctes
• [SPARK-44333] [SC-136206][connect][SQL] Move EnhancedLogicalPlan out of ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Ajouter des fonctions try_* à Scala et Python
• [SPARK-44193] [SC-135886][connect] Implémenter l’interception des exceptions GRPC pour la conversion
• [SPARK-44284] [SC-136107][connect] Créer un système conf simple pour sql/api
• [SPARK-43913] [SC-133368][sql] Affecter des noms à la classe d’erreur LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Rétablir « [SC-135924][spark-43416][CONNECT] Corriger le schéma incorrect pour la requête de plage »
• [SPARK-44312] [SC-136185][connect][PYTHON] Autoriser à définir un agent utilisateur avec une variable d’environnement
• [SPARK-44154] [SC-136060] Implémenter des fonctions bitmap
• [SPARK-43885] [SC-133996][sql] DataSource V2 : Gérer les commandes MERGE pour les sources delta
• [SPARK-43924] [SC-135161][connect][PYTHON] Ajouter des fonctions diverses à Scala et Python
• [SPARK-43969] [SC-134556][sql] Refactoriser et affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] Correction de la qualification de chemin incohérente entre les opérations de catalogue et de données
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Ajouter des fonctions d’heure de date à Scala, Python et Connect - partie 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Ajouter des fonctions de chaîne à Scala et Python - partie 1
• [SPARK-44266] [SC-135813][sql] Déplacer Util.truncatedString vers le sql/api
• [SPARK-44195] [SC-135722][r] Ajouter des API JobTag à SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] Prise en charge TABLE de la règle d’analyseur d’arguments pour TableValuedFunction
• [SPARK-44254] [SC-135709][sql] Déplacer les Erreurs d'exécution de requête utilisées par DataType vers sql/api comme Erreurs de type de données
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] Correction d’un schéma incorrect pour la requête de plage
• [SPARK-43922] [SC-135612][sql] Ajouter la prise en charge des paramètres nommés dans l’analyseur pour les appels de fonction
• [SPARK-44300] [SC-135882][connect] Correction du nettoyage des artefacts pour limiter l’étendue de suppression aux artefacts spécifiques à la session
• [SPARK-44293] [SC-135849][connect] Correction de l’URI non valide pour les JAR personnalisés dans Spark Connect
• [SPARK-44215] [SC-135850][shuffle] Si les blocs num sont 0, le serveur doit lever une exception RuntimeException
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests doivent être à des fins d'illustration uniquement.
• [SPARK-44274] [SC-135814][connect] Déplacer les fonctions utilitaires d’ArtifactManager vers common/utils
• [SPARK-44194] [SC-135815][python][CORE] Ajouter des API JobTag à PySpark SparkContext
• [SPARK-42828] [SC-135733][python][SQL] Annotations de type Python plus explicites pour GroupedData
• [SPARK-44079] [SC-135486][sql] Correction ArrayIndexOutOfBoundsException lors de l’analyse du tableau en tant que struct à l’aide du mode PERMISSIVE avec enregistrement endommagé
• [SPARK-44255] [SC-135809][sql] Déplacer StorageLevel vers common/utils
• [SPARK-42169] [SC-135795] [SQL] Implémentation de la génération de code pour la fonction to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refactoriser PythonUDTFRunner pour envoyer son type de retour séparément
• [SPARK-43353] [SC-132734][python] Migrer les erreurs de session restantes dans la classe d’erreur
• [SPARK-44211] [SC-135718][python][CONNECT] Implémenter la méthode SparkSession.is_stopped
• [SPARK-42784] [SC-135691] doit toujours créer un subDir quand le nombre de subDir dans le répertoire de fusion est inférieur à celui configuré
• [SPARK-41599] [SC-135616] Fuite de mémoire dans FileSystem.CACHE pendant l’envoi d’applications à un cluster sécurisé en utilisant InProcessLauncher
• [SPARK-44241] [SC-135613][core] Définir par erreur io.connectionTimeout/connectionCreationTimeout sur zéro ou un nombre négatif entraînera des créations et destructions incessantes d'exécuteurs.
• [SPARK-44133] [SC-134795][13.x][PYTHON] Mettre à niveau MyPy de 0.920 à 0.982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde au format JSON
• [SPARK-44188] [SC-135173][core] Supprimer une méthode inutile resetAllPartitions dans ActiveJob
• [SPARK-43757] [SC-135418][connect] Modifier la compatibilité du client de la liste d'autorisation à la liste de refus
• [SPARK-43474] [SC-135521] [SS] [CONNECT] Ajout d’un accès spark connect aux Dataframes d’exécution par ID.
• [SPARK-44183] [SC-135209][python] Augmenter la version minimale à 4.0.0
• [SPARK-44248] [SC-1355554][ss][SQL][kafka] Ajouter un emplacement préféré dans la source kafka v2
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Ajouter des fonctions d’heure de date à Scala, Python et l’API Connect - partie 1
• [SPARK-44161] [SC-135326][connect] Gérer l’entrée de ligne pour les fonctions définies par l’utilisateur
• [SPARK-44227] [SC-135520][sql] Extraire SchemaUtils de StructField
• [SPARK-44064] [SC-135116][core][SQL] Ajouter une nouvelle apply fonction à NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] Assigner des noms à la classe d'erreurs LEGACY_ERROR_TEMP[2279-2282] & supprimer certaines classes d'erreurs inutilisées
• [SPARK-44056] [SC-134758][sql] Inclure le nom de la UDF dans le message d’erreur en cas d’échec lors de l’exécution, lorsqu’il est disponible.
• [SPARK-44205] [SC-135422][sql] Extraire le code Catalyst de DecimalType
• [SPARK-44220] [SC-135484][sql] Déplacer StringConcat vers sql/api
• [SPARK-44146] [SC-135230][connect] Isoler les fichiers jars et les fichiers de classes de la session Spark Connect
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][sql] Correction des requêtes interprétées dans les cas de test qui peuvent exécuter la génération de code
• [SPARK-44204] [SC-135253][sql][HIVE] Ajouter l'appel manquant recordHiveCall pour getPartitionNames
• [SPARK-44237] [SC-135485][core] Simplifie la logique de recherche du constructeur DirectByteBuffer
• [SPARK-44189] [SC-135170][connect][PYTHON] Prise en charge des paramètres positionnels par sql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Prise en charge des paramètres positionnels dans Python sql()
• [SPARK-44164] [SC-135158][sql] Extraire la méthode toAttribute de StructField vers la classe Util
• [SPARK-44178] [SC-135113][connect] Prise en charge de paramètres positionnels dans sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader doit fermer la classe d’barrière InputStream après avoir lu
• [SPARK-43063] [SC-128382][sql] df.show handle Null doit imprimer NULL au lieu de null
• [SPARK-42539] [SC-124464][sql][HIVE] Éliminer le chargeur de classes distinct lors de l’utilisation de la version Hive intégrée pour le client de métadonnées
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listFunctions
• [SPARK-44066] [SC-134878][sql] Prise en charge des paramètres positionnels dans Scala/Java sql()
• [SPARK-44078] [SC-134869][connect][CORE] Ajouter le support du classloader/de l’isolation des ressources
• [SPARK-43470] [SC-135187][core] Ajouter des informations sur le système d’exploitation, Java et Python dans le journal des applications
• [SPARK-43136] [SC-135238][connect][Followup] Ajout de tests pour KeyAs
• [SPARK-39740] [SC-135093][ui] : Mise à niveau de la chronologie vis vers la version 7.7.2 pour corriger CVE-2020-28487
• [SPARK-42298] [SC-133952][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listTables
• [SPARK-44026] [SC-135181] Autoriser la fourniture de la valeur initiale pour SQLMetrics
• [SPARK-44202] [SC-135244][core] Ajouter des API JobTag à JavaSparkContext
• [SPARK-44030] [SC-135237][sql] Implémenter DataTypeExpression pour offrir Unapply pour l'expression
• [SPARK-43876] Annuler « [SC-134603][sql] Activer le hachage rapide pour les requêtes distinctes »
• [SPARK-40082] [SC-126437] Planification de mergeFinalize pendant une nouvelle tentative de fusion par poussée shuffleMapStage sans exécution de tâche
• [SPARK-43888] [SC-132893][core] Déplacer la journalisation vers common/utils
• [SPARK-43474] [SC-134400] [SS] [CONNECT] Ajout de SessionHolder à SparkConnectPlanner
• [SPARK-43944] [SC-134490][connect][PYTHON] Ajouter des fonctions de chaîne à Scala et Python - partie 2
• [SPARK-44134] [SC-134954][core] Correction des ressources de paramètre (GPU/FPGA) sur 0 lorsqu’elles sont définies dans spark-defaults.conf
• [SPARK-44142] [SC-134947][python] Remplacer le type par tpe dans l’utilitaire pour convertir les types Python en types Spark
• [SPARK-43952] [SC-134695][core][CONNECT][sql] Ajouter des API SparkContext pour l’annulation de requête par balise
• [SPARK-44000] [SC-133634][sql] Ajouter un indicateur pour désactiver la diffusion et la réplication d’un côté de jonction
• [SPARK-43937] [SC-134362][connect][PYTHON] Ajouter ifnull,isnotnull,equal_null,nullif,nvl,nvl2 à Scala et Python
• [SPARK-43624] [13.x][sc-134557][PS][connect] Ajouter EWM à SparkConnectPlanner.
• [SPARK-44040] [SC-134366][sql] Correction des statistiques de calcul lorsque le nœud AggregateExec est situé au-dessus de QueryStageExec
• [SPARK-43485] [SC-131264][sql] Correction du message d’erreur pour l’argument unit des fonctions add/diff datetime
• [SPARK-43794] [SC-132561][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][connect][SS]Mise en œuvre des API MapGroupsWithState et FlatMapGroupsWithState pour Spark Connect
• [SPARK-43529] [SQL] Prise en charge des expressions CREATE/REPLACE TABLE OPTIONS + nettoyage du code
• [SPARK-44106] [SC-134750][python][CONNECT] Ajouter __repr__ pour GroupedData
• [SPARK-42299] [SC-133190] Attribution d’un nom à _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][sql] Ajoute la prise en charge de aes_encrypt IVs et AAD
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Ajouter des current fonctions similaires à Scala et Python
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Ajouter des fonctions regexp_* à Scala et Python
• [SPARK-44107] [SC-134746][connect][PYTHON] Masquer les méthodes column non prises en charge de la saisie semi-automatique
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde au format JSON
• [SPARK-43773] [SC-132659][connect][PYTHON] Implémenter les fonctions « levenshtein(str1, str2[, seuil]) » dans le client Python
• [SPARK-44125] [SC-134745][r] Prise en charge de Java 21 dans SparkR
• [SPARK-43919] [SC-133374][sql] Extraire la fonctionnalité JSON du Row
• [SPARK-43769] [SC-132520][connect] Implémenter les fonctions « levenshtein(str1, str2[, seuil]) »
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer pour imprimer un état de lecture
• [SPARK-43876] [SC-134603][sql] Activer le hachage rapide pour les requêtes distinctes
• [SPARK-44024] [SC-134497][sql] Modifier pour utiliser map lorsque unzip est utilisé uniquement pour extraire un seul élément
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Ajouter des opérations de bits à Scala, Python et Connect API
• [SPARK-44092] [SC-134506][core] Ajouter Utils.isJavaVersionAtLeast21 et créer core une passe de module avec Java 21
• [SPARK-44018] [SC-134512][sql] Améliorer le code de hachage et la méthode toString pour certaines expressions de la DS V2.
• [SPARK-44105] [SC-134582][sql] LastNonNull doit être résolu de façon paresseuse
• [SPARK-44081] [SC-134434] Simplifier un peu l’API PartitionedFileUtil
• [SPARK-43791] [SC-132531][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Définir et utiliser non résolu[Feuille|Unary]Node traits.
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] Refactoriser la résolution des valeurs de colonne par défaut
• [SPARK-43493] [SC-132063][sql] Ajouter un argument de distance maximale à la fonction levenshtein()
• [SPARK-44075] [SC-134382][connect] Rendre transformStatCorr paresseux
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Ajouter certaines fonctions, bool_or, bool_and, every à Scala, Python et Connect
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Ajouter des fonctions make_* à Scala et Python
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] Améliorer les messages d’erreur : CANNOT_DECODE_URL, , CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER. CANNOT_RECOGNIZE_HIVE_TYPE
• [SPARK-43938] [SC-133887][connect][PYTHON] Ajouter des fonctions to_* à Scala et Python
• [SPARK-44055] [SC-134321][core] Supprimer les fonctions redondantes override de CheckpointRDD
• [SPARK-43802] [SC-132597][sql] Correction du codegen pour unhex et unbase64 avec failOnError=true
• [SPARK-43798] [SC-133990][sql][PYTHON] Prise en charge des fonctions de table définies par l’utilisateur Python
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Ajouter any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduce à l'API Scala, Python et Connect.
• [SPARK-43380] [SC-133100][sql] Correction des problèmes de conversion de type de données Avro pour éviter de produire des résultats incorrects
• [SPARK-43803] [SC-133729] [SS] [CONNECT] Amélioration d’awaitTermination() pour gérer les déconnexions du client
• [SPARK-43179] [SC-129070][shuffle] Autoriser les applications à contrôler si leurs métadonnées sont enregistrées dans la base de données par le service de shuffle externe

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance databricks Runtime 13.3.

Environnement du système

• Système d’exploitation : Ubuntu 22.04.2 LTS
  • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs DBR s’exécutent sur les machines virtuelles du fournisseur de cloud, qui peuvent utiliser une autre version Ubuntu ou une distribution Linux.
• Java : Zulu 8.70.0.23-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.2.2
• Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit sur 2023-02-10 : https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)