Databricks Runtime 10.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.2 et Databricks Runtime 10.2 Photon, avec Apache Spark 3.2.0. Databricks a publié cette version en décembre 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

• Utiliser des fichiers dans Repos avec Spark Streaming
• Databricks Utilities ajoute une commande update mount
• Delta Lake prend en charge le changement de nom des colonnes (préversion publique)
• L’historique de la table Delta Lake ajoute les informations de version de Databricks Runtime
• Databricks Utilities ajoute des informations sur l’heure de dernière modification lors de l’affichage de la liste de répertoires
• Spark SQL ajoute une fonction approx_top_k pour retourner les premiers éléments et leur nombre
• Trigger.AvailableNow est désormais disponible en Python et Scala
• Auto Loader prend désormais en charge l’évolution du schéma pour Avro (préversion publique)

Utiliser des fichiers dans Repos avec Spark Streaming

Vous pouvez désormais accéder aux Fichiers dans Repos à partir de Spark Streaming.

Databricks Utilities ajoute une commande update mount

La nouvelle commande dbutils.fs.updateMount est similaire à dbutils.fs.mount, mais elle met à jour un point de montage existant au lieu d’en créer un nouveau. Consultez Commande updateMount (dbutils.fs.updateMount).

Delta Lake prend en charge le changement de nom des colonnes (préversion publique)

Delta Lake prend désormais en charge le changement de nom de colonne. Pour renommer la colonne d’une table Delta, vous devez mettre à niveau la version de votre table Delta, puis définir le mode de mappage de colonne sur le mappage de noms. Cf. Renommage et suppression des colonnes avec le mappage de colonnes Delta Lake.

L’historique de la table Delta Lake ajoute les informations de version de Databricks Runtime

Désormais, quand une écriture est effectuée dans une table Delta, les informations relatives à la version de Databricks Runtime qui a effectué l’écriture sont également enregistrées. Pour obtenir les informations de version, exécutez la commande DESCRIBE HISTORY sur la table, puis consultez la colonne engineInfo dans la sortie. Afficher DESCRIBE HISTORY et consulter l'historique des tables Delta Lake.

Databricks Utilities ajoute des informations sur l’heure de dernière modification lors de l’affichage de la liste de répertoires

La commande dbutils.fs.ls pour afficher la liste du contenu d’un répertoire génère désormais un champ modificationTime. Ce champ contient l’heure de dernière modification de chaque fichier ou répertoire figurant dans la liste. Consultez commande Is (dbutils.fs.ls).

Spark SQL ajoute une fonction approx_top_k pour retourner les premiers éléments et leur nombre

La fonction approx_top_k retourne les valeurs des éléments les plus fréquents, ainsi que leurs nombres approximatifs, pour l’expression spécifiée. Voici quelques exemples :

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Le résultat de l’exécution des deux exemples est le suivant :

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Voir approx_top_k la fonction d’agrégation.

Trigger.AvailableNow est désormais disponible en Python et Scala

Cette modification prend en charge les requêtes Trigger.AvailableNow de diffusion en continu de source Delta en Python ainsi qu’en Scala. Databricks Runtime 10.1 a introduit la prise en charge de ce déclencheur dans Scala. Databricks Runtime 10.2 prend désormais en charge ce déclencheur dans Python. Vous voulez voir la couverture de Trigger.AvailableNow dans Qu’est-ce que Auto Loader ?.

Auto Loader prend désormais en charge l’évolution du schéma pour Avro (préversion publique)

Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de 3.3.1 à 3.4.0
  • plotly de 5.3.0 à 5.3.1
• Bibliothèques R mises à niveau :
  • base de 4.1.1 vers 4.1.2
  • compiler de 4.1.1 à 4.1.2
  • datasets de 4.1.1 à 4.1.2
  • graphics de 4.1.1 à 4.1.2
  • grDevices de 4.1.1 à 4.1.2
  • grid de 4.1.1 à 4.1.2
  • methods de 4.1.1 à 4.1.2
  • parallel de 4.1.1 à 4.1.2
  • Rserve de 1.8-8 à 1.8-10
  • splines de 4.1.1 à 4.1.2
  • stas de 4.1.1 à 4.1.2
  • stats4 de 4.1.1 à 4.1.2
  • tcltk de 4.1.1 à 4.1.2
  • tools de 4.1.1 à 4.1.2
  • utils de 4.1.1 à 4.1.2
  • backports de 1.2.1 à 1.4.0
  • broom de 0.7.9 à 0.7.10
  • cli de 3.0.1 vers 3.1.0
  • cpp11 de 0.4.0 vers 0.4.1
  • crayon de 1.4.1 à 1.4.2
  • credentials de 1.3.1 à 1.3.2
  • future de 1.22.1 à 1.23.0
  • gert de 1.4.1 à 1.4.3
  • glmnet de 4.1-2 à 4.1-3
  • glue de 1.4.2 à 1.5.0
  • memoise de 2.0.0 à 2.0.1
  • parrallelly de 1.28.1 à 1.29.0
  • readr de 2.0.2 vers 2.1.0
  • sessioninfo de 1.1.1 à 1.2.1
  • stringi de 1.7.5 à 1.7.6
  • tibble de 3.1.5 à 3.1.6
  • tinytex de 0.34 vers 0.35
  • tzdb de 0.1.2 à 0.2.0
  • usethis de 2.1.2 à 2.1.3
  • uuid de 0.1-4 à 1.0-3
  • vroom de 1.5.5 à 1.5.6
  • xfun de 0.27 à 0.28
• Bibliothèques Java mises à niveau :
  • com.fasterxml.jackson de 2.12.2 à 2.12.3
  • io.airlift.aircompressor de 0.19 à 0.21
  • io.netty.netty-all de 4.1.63.Final à 4.1.68.Final
  • joda-time.joda-time de 2.10.5 à 2.10.10
  • org.apache.commons.commons-compress de 1.20 à 1.21
  • org.apache.orc de 1.6.10 à 1.6.12
  • org.eclipse.jetty de 9.4.40.v20210413 à 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 de 1.0 à 1.2
  • org.scalanlp.breeze_2.12 de 1.0 à 1.2
  • org.org.typelevel.algebra_2.12 de 2.0.0 à 2.0.1
  • org.typelevel.cats-kernel_2.12 de 2.0.0 à 2.0.1

Apache Spark

Databricks Runtime 10.2 inclut Apache Spark 3.2.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 10.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() génère une valeur tardive
• [SPARK-37468] [SQL] Prise en charge des intervalles ANSI et de TimestampNTZ pour UnionEstimation
• [SPARK-37464] [SQL] SCHEMA et DATABASE doivent simplement être des alias de NAMESPACE.
• [SPARK-37452] [SQL] Char et Varchar rompent la compatibilité descendante entre v3.1 et v2
• [SPARK-36861] [SQL] Utilisation de yyyy-MM-dd comme modèle de date dans la découverte de partition
• [SPARK-37456] [SQL] CREATE NAMESPACE devrait qualifier l’emplacement pour la commande v2
• [SPARK-37357] [SQL] Ajout d’un facteur de petite partition pour rééquilibrer les partitions
• [SPARK-37446] [SQL] Utilisation d’une réflexion pour getWithoutRegisterFns afin d’autoriser différentes versions de Hive pour la génération
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION doit gérer l’emplacement vide de manière cohérente entre la commande v1 et v2
• [SPARK-36357] [SQL] Prise en charge de timestamp d’envoi sans fuseau horaire pour orc
• [SPARK-36346] [SQL] Prise en charge de type TimestampNTZ dans source de fichier Orc
• [SPARK-36646] [SQL] Envoi de groupe par colonne de partition pour agrégat
• [SPARK-34960] [SQL] Envoi d’agrégat pour ORC
• [SPARK-37386] [SQL] Simplification d’OptimizeSkewedJoin pour ne pas exécuter l’évaluateur de coût
• [SPARK-36073] [SQL] Correctifs et améliorations d’EquivalentExpressions
• [SPARK-35352] [SQL] Ajout de génération de code pour la jointure de fusion de tri externe complète
• [SPARK-37292] [SQL] Suppression de la jointure externe si elle n’a que DISTINCT du côté diffusé en continu avec alias
• [SPARK-37371] [SQL] UnionExec devrait prendre en charge les colonnes si tous les enfants prennent en charge les colonnes
• [SPARK-36645] [SQL] Envoi d’agrégat (Min/Max/Count) pour Parquet
• [SPARK-37379] [SQL] Ajout d’un nettoyage de modèle d’arborescence à la règle CTESubstitution
• [SPARK-37332] [SQL] Autorisation des intervalles ANSI dans ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Optimisation du chemin d'accès d’écriture sur le fournisseur de magasin d’état RocksDB
• [SPARK-37304] [SQL] Autorisation des intervalles ANSI dans v2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST entre intervalles ANSI et IntegralType
• [SPARK-37289] [SQL] Suppression de la fonction partitionSchemaOption
• [SPARK-37270] [SQL] Correction d’envoi pliable dans des branches CaseWhen si elseValue est vide
• [SPARK-35345] [SQL] Ajout de tests Parquet à BloomFilterBenchmark
• [SPARK-37341] [SQL] Évitement de tampons inutiles et copie dans un jointure de fusion de tri externe complète
• [SPARK-37266] [SQL] Le texte de la vue peut uniquement être constitué de requêtes
• [SPARK-37288] [PYTHON][3.2] Rétroportage depuis la mise à jour d’annotation
• [SPARK-37262] [SQL] Ne pas journaliser les agrégats et groupes vides dans JDBCScan
• [SPARK-37283] [ SQL] N’essayez pas de stocker une table V1 qui contient des intervalles ANSI au format compatible Hive
• [SPARK-37221] [SQL] L’API de type collecte dans SparkPlan doit prendre en charge la sortie en colonnes
• [SPARK-37202] [SQL] Utilisation d’AnalysisContext pour suivre des fonctions temporaires référencées
• [SPARK-37023] [CORE] Évitement de la récupération d’état de fusion quand shuffleMergeEnabled a la valeur false pour une shuffleDependency lors d’une nouvelle tentative
• [SPARK-37307] [ CORE] N’obtenez pas de connexion JDBC pour les partitions vides
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions prend en charge l’optimisation de nœud non racine
• [SPARK-36799] [SQL] Transmission de nom queryExecution dans CLI
• [SPARK-37261] [SQL] Autorisation de l’ajout de partitions avec des intervalles ANSI dans DSv2
• [SPARK-37203] [SQL] Correction de NotSerializableException en cas d’observation avec TypedImperativeAggregate
• [SPARK-37199] [SQL] Ajout de champ déterministe à un QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback ne devrait pas échouer quand tb_frame.f_lineno a la valeur None
• [SPARK-37214] [SQL] Échec d’analyse de requête antérieure avec des identificateurs non valides
• [SPARK-37240] [SQL] Gestion des intervalles ANSI par ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Utilisation d’expressions pour filtrer des partitions Hive côté client
• [SPARK-32940] [SQL] Collecte, first et last doivent être des fonctions d’agrégation déterministes
• [SPARK-37231] [SQL] Écritures/lectures dynamiques de partitions d’intervalle ANSI
• [SPARK-37038] [SQL] Envoi d’échantillon DSV2
• [SPARK-36665] [SQL] Ajout de simplifications d’opérateur Not
• [SPARK-37150] [SQL] Migration de DESCRIBE NAMESPACE pour utiliser la commande V2 par défaut
• [SPARK-37196] [SQL] Échec de HiveDecimal enforcePrecisionScale, retourne une valeur null
• [SPARK-37212] [SQL] Amélioration de l’implémentation de l’envoi d’agrégat
• [SPARK-37190] [SQL] Amélioration des messages d’erreur pour Cast en mode ANSI
• [SPARK-37161] [SQL] RowToColumnConverter prend en charge AnsiIntervalType
• [SPARK-37160] [SQL] Ajout d’une configuration pour désactiver éventuellement le remplissage d’un type de caractère
• [SPARK-36554] [SQL][python] Exposer make_date expression dans functions.scala
• [SPARK-37200] [SQL] Prise en charge de drop index pour une source de données V2
• [SPARK-37179] [SQL] Mode ANSI : ajout d’une configuration pour autoriser la conversion entre dateheure et numérique
• [SPARK-37168] [SQL] Amélioration des messages d’erreur pour les fonctions et opérateurs SQL en mode ANSI
• [SPARK-36935] [SQL] Développer ParquetSchemaConverter pour calculer le niveau de définition et la répétition Parquet
• [SPARK-37066] [SQL] Amélioration du message d’erreur pour afficher le chemin d'accès du fichier en cas d’échec de lecteur du fichier suivant
• [SPARK-32567] [SQL] Ajout de génération de code pour la jointure de hachage aléatoire externe complète
• [SPARK-37176] [SQL] Synchroniser la logique de handle d’exception de la méthode JsonInferSchema#infer avec la méthode JacksonParser#parse
• [SPARK-37149] [SQL] Amélioration des messages d’erreur pour les exceptions de dépassement arithmétique en mode ANSI
• [SPARK-37136] [SQL] Suppression de code sur la fonction hive buidin mais pas d’implémentation dans spark
• [SPARK-16280][SPARK-37082] [SQL] Implémente la fonction d’agrégation histogram_numeric qui prend en charge l’agrégation partielle.
• [SPARK-36975] [SQL] Corriger les métriques des appels du client Hive dans HiveClientImpl

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.2.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.3 LTS
• Java : Zulu 8.58.0.13-CA-linux64
• Scala : 2.12.14
• Python : 3.8.10
• R : 4.1.2
• Delta Lake : 1.1.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 30/11/2021.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)