Databricks Runtime 10.4 LTS (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.4 et Databricks Runtime 10.4 Photon, optimisées par Apache Spark 3.2.1. Photon est en préversion publique. Databricks a publié cette version en mars 2022.

Nouvelles fonctionnalités et améliorations

• Convertisseur de table Apache Iceberg vers Delta (préversion publique)
• Les restaurations de compactage automatique sont désormais activées par défaut
• Fusion faible en mélange aléatoire est désormais activée par défaut
• Les balises d’ordre d’insertion sont désormais conservées pour les opérations UPDATE et DELETE
• HikariCP est désormais le pool de connexions metastore Hive par défaut
• Le connecteur Azure Synapse permet désormais de définir le nombre maximal de lignes de rejet autorisées.
• Le point de contrôle d’état asynchrone est désormais en disponibilité générale
• Les valeurs par défaut des paramètres peuvent désormais être spécifiés pour les fonctions définies par l’utilisateur SQL
• Nouvelles fonctions Spark SQL
• Nouveau répertoire de travail pour les clusters à forte concurrence
• La prise en charge des colonnes d’identité dans les tables Delta est désormais en disponibilité générale

Convertisseur de table Apache Iceberg vers Delta (préversion publique)

La fonctionnalité Convert to Delta prend désormais en charge la conversion d'une table Apache Iceberg en une table Delta sur place. Pour cela, elle utilise des métadonnées et des manifestes de fichier natifs Iceberg. Consultez Convertir en Delta Lake.

Les restaurations de compactage automatique sont désormais activées par défaut

Cette version améliore le comportement des écritures Delta Lake qui sont validées lorsqu’il y a des transactions de compactage automatique simultanées. Avant cette version, ces écritures se ferment souvent, en raison de modifications simultanées apportées à une table. Les écritures vont maintenant être correctement exécutées même s’il existe des transactions de compactage automatique simultanées.

Fusion faible en mélange aléatoire est désormais activée par défaut

La commande MERGE INTO utilise désormais toujours la nouvelle implémentation de faible lecture aléatoire. Ce comportement améliore considérablement les performances de la commande MERGE INTO pour la plupart des charges de travail. Le paramètre de configuration précédemment utilisé pour activer cette fonctionnalité a été supprimé. Consultez Fusion faible et aléatoire sur Azure Databricks.

Les balises d’ordre d’insertion sont désormais conservées pour les opérations UPDATE et DELETE

Les commandes UPDATE et DELETE préservent à présent les informations de clustering existantes (y compris l’ordre de plan) des fichiers mis à jour ou supprimés. Ce comportement est une approche optimale qui ne s’applique pas aux cas où les fichiers sont si petits qu’ils sont combinés pendant la mise à jour ou la suppression.

HikariCP est désormais le pool de connexions metastore Hive par défaut

HikariCP apporte de nombreuses améliorations à la stabilité de l’accès au metastore Hive tout en maintenant moins de connexions par rapport à l’implémentation précédente du pool de connexions BoneCP. HikariCP est activé par défaut sur tout cluster Databricks Runtime qui utilise le metastore Hive Databricks (par exemple, lorsque spark.sql.hive.metastore.jars n’est pas défini). Vous pouvez également basculer explicitement vers d’autres implémentations de pool de connexions, par exemple BoneCP, en définissant spark.databricks.hive.metastore.client.pool.type.

Le connecteur Azure Synapse permet désormais de définir le nombre maximal de lignes de rejet autorisées.

Le connecteur Azure Synapse prend désormais en charge une option DataFrame maxErrors. Cette mise à jour vous permet de configurer le nombre maximal de lignes rejetées autorisées pendant les lectures et les écritures avant l’annulation de l’opération de chargement. Toutes les lignes rejetées sont ignorées. Par exemple, si deux enregistrements sur dix comportent des erreurs, seuls huit enregistrements sont traités.

Cette option est mappée directement à l’option REJECT_VALUE de l’instruction CREATE EXTERNAL TABLE dans PolyBase et à l’option MAXERRORS de la commande du COPY connecteur Azure Synapse.

Par défaut, la valeur maxErrors est définie sur 0 : tous les enregistrements sont censés être valides.

Le point de contrôle d’état asynchrone est désormais en disponibilité générale

Vous pouvez activer la création de point de contrôle d’état asynchrone dans les requêtes de streaming avec état à l’aide de mises à jour d’état conséquentes. Cela peut réduire la latence de micro-lot de bout en bout. Cette fonctionnalité est désormais en disponibilité générale. Consultez Point de contrôle d’état asynchrone pour les requêtes avec état.

Les valeurs par défaut des paramètres peuvent désormais être spécifiés pour les fonctions définies par l’utilisateur SQL

Lorsque vous créez une fonction SQL définie par l’utilisateur (UDF SQL), vous pouvez désormais spécifier des expressions par défaut pour les paramètres de la fonction UDF SQL. Vous pouvez ensuite appeler la SQL UDF sans fournir d’arguments pour ces paramètres, et Databricks renseigne les valeurs par défaut de ces paramètres. Consultez CREATE FUNCTION (SQL et Python).

Nouvelles fonctions Spark SQL

Les fonctions Spark SQL suivantes sont désormais disponibles avec cette version :

• try_multiply : Retourne multiplier multiplié par multiplicand, ou NULL en cas de dépassement.
• try_subtract : Retourne la soustraction de expr2 à expr1, ou NULL en cas de dépassement.

Nouveau répertoire de travail pour les clusters à forte concurrence

Sur les clusters à haute concurrence avec le contrôle d’accès à la table ou la transmission directe des informations d'identification activée, le répertoire de travail actuel des notebooks est désormais le dossier personnel de l’utilisateur. Auparavant, le répertoire de travail était /databricks/driver.

La prise en charge des colonnes d’identité dans les tables Delta est désormais en disponibilité générale

Delta Lake prend désormais en charge les colonnes d’identité. Lorsque vous écrivez dans une table Delta qui définit une colonne d’identité et que vous ne fournissez pas de valeurs pour cette colonne, Delta affecte désormais automatiquement une valeur unique et statistiquement croissante ou décroissante. Consultez CREATE TABLE [USING].

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de 3.4.2 à 3.6.0
• Bibliothèques R mises à niveau :
  • brew de 1.0-6 à 1.0-7
  • broom de 0.7.11 à 0.7.12
  • cli de 3.1.0 vers 3.2.0
  • clipr de 0.7.1 vers 0.8.0
  • colorspace de 2.0-2 à 2.0-3
  • crayon de 1.4.2 à 1.5.0
  • dplyr de 1.0.7 à 1.0.8
  • dtplyr de 1.2.0 à 1.2.1
  • evaluate de 0.14 à 0.15
  • foreach de 1.5.1 à 1.5.2
  • future de 1.23.0 à 1.24.0
  • generics de 0.1.1 à 0.1.2
  • glue de 1.6.0 à 1.6.1
  • gower de 0.2.2 à 1.0.0
  • iterators de 1.0.13 à 1.0.14
  • jsonlite de 1.7.3 à 1.8.0
  • magrittr de 2.0.1 à 2.0.2
  • mgcv de 1.8-38 à 1.8-39
  • pillar de 1.6.4 à 1.7.0
  • randomForest de 4.6-14 à 4.7-1
  • readr de 2.1.1 à 2.1.2
  • recipes de 0.1.17 à 0.2.0
  • rlang de 0.4.12 à 1.0.1
  • rpart de 4.1-15 à 4.1.16
  • RSQLite de 2.2.9 à 2.2.10
  • sparklyr de -hadoop2 à 1.7.5
  • testthat de 3.1.1 à 3.1.2
  • tidyr de 1.1.4 à 1.2.0
  • tidyselect de 1.1.1 à 1.1.2
  • tinytex de 0.36 à 0.37
  • yaml de 2.2.1 à 2.3.5
• Bibliothèques Java mises à niveau :
  • io.delta.delta-sharing-spark_2.12 de 0.3.0 à 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 10.3 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-38322] [SQL] Support de l’étape de requête montrant les statistiques d’exécution en mode explication formatée
• [SPARK-38162] [SQL] Optimisation d’un plan de lignes dans l’optimiseur normal et AQE
• [SPARK-38229] [SQL] Ne devrait pas vérifier temp/external/ifNotExists avec visitReplaceTable lors de l'utilisation de l'analyseur
• [Spark-34183] [SS] DataSource v2 : distribution et classement requis lors de l’exécution du micro-lot
• [SPARK-37932] [SQL] Attente de la résolution des attributs manquants avant l’application de DeduplicateRelations
• [SPARK-37904] [SQL] Amélioration de RebalancePartitions dans les règles de l’optimiseur
• [SPARK-38236] [SQL] [3.2] [3.1] Vérifier si l’emplacement de la table est absolu par « new Path (locationUri). isAbsolute » dans create/alter table
• [SPARK-38035] [SQL] Ajout de tests Docker pour le dialecte JDBC intégré
• [SPARK-38042] [SQL] S’assurer que ScalaReflection.dataTypeFor fonctionne sur les types de tableau avec alias
• [SPARK-38273] [SQL] decodeUnsafeRowsles itérateurs doivent fermer les flux d’entrée sous-jacents
• [SPARK-38311] [SQL] Correction de DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite en mode ANSI
• [Spark-38305] [Core] Vérifier explicitement si la source existe dans unpack() avant d’appeler des méthodes FileUtil
• [SPARK-38275] [SS] Inclure l'utilisation de la mémoire de writeBatch dans l'utilisation totale de la mémoire du magasin d’état RocksDB.
• [SPARK-38132] [SQL] Supprimer la règle NotPropagation
• [SPARK-38286] [SQL] MaxRows et maxRowsPerPartition de Union peuvent déborder
• [SPARK-38306] [SQL] Correction de ExplainSuite, StatisticsCollectionSuite et StringFunctionsSuite en mode ANSI
• [SPARK-38281] [SQL][tests] Correction d’AnalysisSuite en mode ANSI
• [SPARK-38307] [SQL][tests] Fix ExpressionTypeCheckingSuite et CollectionExpressionsSuite en mode ANSI
• [SPARK-38300] [SQL] Utilisation ByteStreams.toByteArray pour simplifier fileToString et resourceToBytes dans catalyst.util
• [SPARK-38304] [SQL] Elt () doit retourner la valeur null si l’index est null en mode ANSI
• [Spark-38271] PoissonSampler peut générer plus de lignes que MaxRows
• [Spark-38297] Transformer explicitement la valeur de retour de DataFrame.to_numpy dans POS.
• [SPARK-38295] [SQL][tests] Correction de ArithmeticExpressionSuite en mode ANSI
• [SPARK-38290] [SQL] Correction de JsonSuite et de ParquetIOSuite en mode ANSI
• [SPARK-38299] [SQL] Nettoyage de l’utilisation déconseillée de StringBuilder.newBuilder
• [SPARK-38060] [SQL] Respecter allowNonNumericNumbers lors de l’analyse des valeurs NaN entre guillemets et d’infini dans le lecteur JSON
• [SPARK-38276] [SQL] Ajout de plans TPCDS approuvés en mode ANSI
• [SPARK-38206] [SS] Ignorer la nullité lors de la comparaison du type de données des clés de jointure lors de la jointure flux-flux
• [SPARK-37290] [SQL] - Temps de planification exponentiel en cas de fonction non déterministe
• [SPARK-38232] [SQL] L’explication formatée ne collecte pas les sous-requêtes sous l’étape de requête dans AQE
• [SPARK-38283] [SQL] Tester l’analyse syntaxique de datetime non valide en mode ANSI
• [SPARK-38140] [SQL] Les statistiques de colonne Desc (min, max) pour le type de timestamp ne sont pas cohérentes avec les valeurs en raison de la différence de fuseau horaire
• [SPARK-38227] [SQL][ss] Appliquer la nullabilité stricte de la colonne imbriquée dans la fenêtre de temps / fenêtre de session
• [SPARK-38221] [SQL] Itération rapide sur groupingExpressions lors du déplacement d’expressions de regroupement complexes hors d’un nœud Aggregate
• [SPARK-38216] [SQL] Échec précoce si toutes les colonnes sont des colonnes partitionnées lors de la création d’une table Hive
• [Spark-38214] [SS] Inutile de filtrer les fenêtres quand windowDuration est un multiple de slideDuration
• [SPARK-38182] [SQL] Corriger NoSuchElementException si le filtre envoyé ne contient aucune référence
• [SPARK-38159] [SQL] Ajouter un nouveau FileSourceMetadataAttribute pour les métadonnées du fichier caché
• [SPARK-38123] [SQL] Utilisation unifiée de DataType en tant que targetType de QueryExecutionErrors#castingCauseOverflowError
• [SPARK-38118] [SQL] Func(type de données incorrect) dans la clause HAVING doit générer une erreur d’incompatibilité des données
• [SPARK-35173] [SQL][python] Ajouter plusieurs colonnes ajoutant la prise en charge
• [SPARK-38177] [SQL] Correction de l’erreur de transformExpressions dans l’optimiseur
• [SPARK-38228] [SQL] L’affectation de la mémoire héritée ne devrait pas échouer en cas d’erreur en mode ANSI
• [SPARK-38173] [SQL] La colonne citée ne peut pas être reconnue correctement lorsque quotedRegexColumnNa...
• [SPARK-38130] [SQL] Suppression de la vérification des entrées ordonnées de array_sort
• [SPARK-38199] [SQL] Suppression du dataType inutilisé indiqué dans la définition de IntervalColumnAccessor
• [SPARK-38203] [SQL] Correction de SQLInsertTestSuite et de SchemaPruningSuite en mode ANSI
• [SPARK-38163] [SQL] Préserver la classe d’erreurs de SparkThrowable durant la construction du générateur de fonctions
• [SPARK-38157] [SQL] Définir explicitement ANSI à false dans le test timestampNTZ/timestamp.sql et SQLQueryTestSuite pour correspondre aux résultats de la version finale attendus
• [SPARK-38069] [SQL][ss] Améliorer le calcul de la fenêtre de temps
• [SPARK-38164] [SQL] Nouvelles fonctions SQL : try_subtract et try_multiply
• [SPARK-38176] [SQL] Mode ANSI : autoriser la conversion implicite de chaînes en d’autres types simples
• [SPARK-37498] [PYTHON] Ajouter eventually pour test_reuse_worker_of_parallelize_range
• [SPARK-38198] [SQL][3.2] Correction de QueryExecution.debug#toFile qui utilise le maxFields passé lorsque explainMode est CodegenMode
• [SPARK-38131] [SQL] Utiliser les classes d’erreur uniquement dans les exceptions destinées à l’utilisateur
• [SPARK-37652] [SQL] Ajouter un test pour optimiser la jointure inclinée par le biais d’une union
• [SPARK-37585] [SQL] Mettre à jour InputMetric dans DataSourceRDD avec TaskCompletionListener
• [SPARK-38113] [SQL] Utiliser les classes d’erreur dans les erreurs d’exécution du pivotement
• [SPARK-38178] [SS] Corriger la logique pour mesurer l’utilisation de la mémoire de RocksDB
• [SPARK-37969] [SQL] HiveFileFormat doit vérifier le nom du champ
• [SPARK-37652] Rétablir « [SQL] Ajouter un test pour optimiser la jointure inclinée par le biais d’une union »
• [SPARK-38124] [SQL][ss] Introduire StatefulOpClusteredDistribution et l'appliquer à la jointure de flux à flux
• [SPARK-38030] [SQL] la canonicalisation ne doit pas supprimer la possibilité de valeur null du type de données AttributeReference
• [SPARK-37907] [SQL] InvokeLike prend en charge ConstantFolding
• [Spark-37891] [Core] Ajouter le contrôle scalastyle pour désactiver scala.concurrent.ExecutionContext.Implicits.global
• [SPARK-38150] [SQL] Mettre à jour le commentaire de RelationConversions
• [SPARK-37943] [SQL] Utiliser les classes d’erreur dans les erreurs de compilation du regroupement
• [SPARK-37652] [SQL] Ajouter un test pour optimiser la jointure inclinée par le biais d’une union
• [SPARK-38056] [Web UI][3.2] Correction du problème de la diffusion en continu structurée qui ne fonctionne pas dans le serveur d’historique en cas d’utilisation de LevelDB
• [SPARK-38144] [CORE] Supprimer la configuration inutilisée spark.storage.safetyFraction
• [SPARK-38120] [SQL] Correction de HiveExternalCatalog.listPartitions lorsque le nom de la colonne de partition est en majuscule et qu’il existe un point dans la valeur de la partition
• [SPARK-38122] [Docs] Mettre à jour la clé d’application de DocSearch
• [SPARK-37479] [SQL] Migrer DROP NAMESPACE pour utiliser la commande V2 par défaut
• [SPARK-35703] [SQL] Contrainte assouplie pour la jointure de compartiments et suppression de HashClusteredDistribution
• [SPARK-37983] [SQL] Retourner les indicateurs de performance du temps de génération d’agrégation à partir de l’agrégat de tri
• [SPARK-37915] [SQL] Combiner des unions s’il existe un projet entre elles
• [SPARK-38105] [SQL] Utiliser les classes d’erreur dans les erreurs d’analyse des jointures
• [SPARK-38073] [PYTHON] Mettre à jour la fonction atexit pour éviter les problèmes liés à la liaison tardive
• [SPARK-37941] [SQL] Utiliser les classes d’erreur dans les erreurs de compilation de forçage de type
• [SPARK-37937] [SQL] Utiliser les classes d’erreur dans les erreurs d’analyse syntaxique de la jointure latérale
• [SPARK-38100] [SQL] Supprimer la méthode privée inutilisée dans Decimal
• [SPARK-37987] [SS] Corriger le test StreamingAggregationSuite.changing du schéma d’état lors du redémarrage de la requête
• [SPARK-38003] [SQL] La règle LookupFunctions ne doit rechercher que les fonctions du registre des fonctions scalaires
• [SPARK-38075] [SQL] Correction de hasNext dans l’itérateur de sortie du processus de HiveScriptTransformationExec
• [SPARK-37965] [SQL] Suppression de la vérification du nom du champ lors de la lecture/écriture de données existantes dans Orc
• [SPARK-37922] [SQL] Combiner en un seul forçage de type si nous pouvons en toute sécurité effectuer deux forçages de type (pour dbr-branch-10.x)
• [SPARK-37675] [SPARK-37793] Empêcher l’écrasement des fichiers fusionnés par push shuffle une fois que la lecture aléatoire est finalisée
• [SPARK-38011] [SQL] Supprimer la configuration dupliquée et inutile dans ParquetFileFormat
• [SPARK-37929] [SQL] Prendre en charge le mode cascade pour l’API dropNamespace
• [SPARK-37931] [SQL] Citer le nom de la colonne si nécessaire
• [SPARK-37990] [SQL] Prendre en charge TimestampNTZ dans RowToColumnConverter
• [SPARK-38001] [SQL] Remplacer les classes d’erreur liées aux fonctionnalités non prises en charge par UNSUPPORTED_FEATURE
• [SPARK-37839] [SQL] DS v2 prend en charge la poussée de l’agrégat partielAVG
• [SPARK-37878] [SQL] Migrer SHOW CREATE TABLE pour utiliser la commande v2 par défaut
• [SPARK-37731] [SQL] Refactorisation et nettoyage de la fonction lookup dans l’analyseur
• [SPARK-37979] [SQL] Basculer vers des classes d’erreurs plus génériques dans les fonctions AES
• [SPARK-37867] [SQL] Compiler les fonctions d’agrégation du dialecte JDBC intégré
• [SPARK-38028] [SQL] Exposer le vecteur flèche depuis ArrowColumnVector
• [SPARK-30062] [SQL] Ajouter l’instruction IMMEDIATE à l’implémentation de la troncature du dialecte DB2
• [SPARK-36649] [SQL] Support de Trigger.AvailableNow sur la source de données Kafka
• [SPARK-38018] [SQL] Corriger ColumnVectorUtils.populate pour gérer correctement CalendarIntervalType
• [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved doit gérer ExecutorDecommission comme étant terminé
• [SPARK-38019] [CORE] Rendre ExecutorMonitor.timedOutExecutors déterministe
• [SPARK-37957] [SQL] Passer correctement l’indicateur déterministe pour les fonctions scalaires V2
• [SPARK-37985] [SQL] Correction d’un test défectueux pour SPARK-37578
• [SPARK-37986] [SQL] Support de TimestampNTZ dans le tri de base
• [SPARK-37967] [SQL] Literal.create supporte ObjectType
• [SPARK-37827] [SQL] Placer les propriétés de table intégrées dans V1Table.properties pour s’adapter à la commande V2
• [SPARK-37963] [SQL] Nécessité de mettre à jour l’URI de la Partition après avoir renommé la table dans InMemoryCatalog
• [SPARK-35442] [SQL] Support de la propagation de la relation vide par agrégat/union
• [SPARK-37933] [SQL] Modifier la méthode de parcours des règles de push V2ScanRelationPushDown
• [SPARK-37917] [SQL] Repousser la limite 1 pour le côté droit de la jointure semi/anti si la condition de jonction est vide
• [SPARK-37959] [ML] Correction de l’UT de la vérification de la norme dans KMeans et BiKMeans
• [SPARK-37906] [SQL] spark-sql ne doit pas passer le dernier commentaire au backend
• [SPARK-37627] [SQL] Ajouter une colonne triée dans BucketTransform

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.4 LTS.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.4 LTS
  • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.8.10
• R : 4.1.2
• Delta Lake : 1.1.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 24/02/2022. L’instantané n’est plus disponible.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)