Databricks Runtime 10.3 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.3 et Databricks Runtime 10.3 Photon, avec Apache Spark 3.2.1. Photon est en préversion publique. Databricks a publié cette version en février 2022.

Améliorations et nouvelles fonctionnalités

• Les enregistreurs parquet et Avro utilisent désormais le fuseau horaire de session lors de la relocalisation des horodateurs dans les sources de données parquet
• Nouvelles fonctions dans Spark SQL
• Une fusion faible en mélange aléatoire est désormais disponible en général
• nouvelles fonctionnalités de COPY INTO : mode de validation et évolution du schéma
• Les colonnes d’identité sont désormais prises en charge dans les tables Delta (préversion publique)

Les enregistreurs Parquet et Avro utilisent désormais le fuseau horaire de session lors de la relocalisation des horodateurs dans les sources de données Parquet

Les enregistreurs parquet et Avro utilisent désormais le fuseau horaire de session lors de la relocalisation en mode legacy horodateur au lieu d’utiliser le fuseau horaire JVM par défaut. Par défaut, le fuseau horaire de la session est défini sur le fuseau horaire de JVM.

Nouvelles fonctions dans Spark SQL

Les fonctions Spark SQL suivantes sont désormais prises en charge :

• aes_decrypt: déchiffre les entrées à l’aide d’AES.
• aes_encrypt: chiffre les entrées à l’aide de l’algorithme AES.
• Contains: détermine si une expression contient une autre expression.
• EndsWith: détermine si une expression se termine par une autre expression.
• percentile_cont: retourne une valeur de centile.
• startswith: détermine si une expression débute par une autre expression.

La fusion de l'aléa faible est maintenant disponible en général

La commande Delta MERGE INTO utilise une technique appelée fusion faible aléatoire, qui réduit la permutation des lignes non modifiées. Cela améliore les performances de la commande et permet de conserver le clustering existant sur la table, tel que l’ordre de plan. Cette fonctionnalité a été introduite dans Databricks Runtime 9,0 pour la version préliminaire publique et a maintenant atteint la disponibilité générale. Pour activer la fusion faible aléatoire, affectez à spark.databricks.delta.merge.enableLowShuffle la valeur true. Consultez Fusion faible et aléatoire sur Azure Databricks.

Nouvelles fonctionnalités de COPY INTO : mode de validation et évolution du schéma

Mode de validation : COPY INTO prend désormais en charge un VALIDATE mode dans lequel les données à charger dans une table sont validées, mais ne sont pas écrites dans la table. Ces validations comprennent :

• Indique si les données peuvent être analysées.
• Indique si le schéma correspond à celui de la table ou si le schéma doit évoluer.
• Indique si toutes les contraintes d’acceptation de valeurs Null et de validation sont respectées.

Exemple d’utilisation :

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Par défaut, toutes les données à charger sont validées. Vous pouvez fournir un certain nombre de lignes à valider avec le mot cléROWS, par exemple VALIDATE 15 ROWS. L'instruction COPY INTO renvoie un aperçu des données de 50 lignes ou moins, lorsqu'un nombre inférieur à 50 est utilisé avec le mot clé ROWS).

Évolution du schéma : COPY INTO prend désormais en charge l’évolution du schéma avec l'option mergeSchema dans COPY_OPTIONS . Pour faire évoluer le schéma d'une table, vous devez avoir des autorisationsOWN sur cette table.

Exemple d’utilisation :

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Voir COPY INTO.

Les colonnes d’identité sont désormais prises en charge dans les tables Delta (préversion publique)

Delta Lake prend désormais en charge les colonnes d’identité. Lorsque vous écrivez dans une table Delta qui définit une colonne d’identité et que vous ne fournissez pas de valeurs pour cette colonne, Delta affecte désormais automatiquement une valeur unique et statistiquement croissante ou décroissante. Consultez CREATE TABLE [USING].

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • distlib de 0.3.3 à 0.3.4
  • filelock de 3.4.0 vers 3.4.2
  • numpy de 1.19.2 à 1.20.1
  • plotly de 5.3.1 vers 5.5.0
• Bibliothèques R mises à niveau :
  • ports de 1.4.0 à 1.4.1
  • brio de 1.1.2 à 1.1.3
  • broom de 0.7.10 à 0.7.11
  • classe de 7.3-19 à 7.3-20
  • cpp11 de 0.4.1 vers 0.4.2
  • DBI de 1.1.1 à 1.1.2
  • devtools de 2.4.2 à 2.4.3
  • digest de 0.6.28 vers 0.6.29
  • dtplyr de 1.1.0 à 1.2.0
  • fansi de 0.5.0 à 1.0.2
  • foreign de 0.8-81 à 0.8-82
  • fs de 1.5.0 à 1.5.2
  • gert de 1.4.3 à 1.5.0
  • glue de 1.5.0 à 1.6.0
  • httpuv de 1.6.3 à 1.6.5
  • jsonlite de 1.7.2 à 1.7.3
  • knitr de 1.36 vers 1.37
  • MASS comprise entre 7.3-54 et 7.3-55
  • Matrix de 1.3-4 à 1.4-0
  • nlme de 3.1-152 à 3.1-155
  • nnet de 7.3-16 à 7.3-17
  • OpenSSL de 1.4.5 à 1.4.6
  • parrallelly de 1.29.0 à 1.30.0
  • pkgbuild de 1.2.0 à 1.3.1
  • pkgload de 1.2.3 vers 1.2.4
  • progressr de 0.9.0 vers 0.10.0
  • Rcpp de 1.0.7 à 1.0.8
  • readr de 2.1.0 vers 2.1.1
  • remotes de 2.4.1 vers 2.4.2
  • RSQLite de 2.2.8 à 2.2.9
  • sessioninfo de 1.2.1 à 1.2.2
  • sparklyr de 1.7.2 à 1.7.4
  • testthat de 3.1.0 vers 3.1.1
  • tinytex de 0.35 vers 0.36
  • usethis de 2.1.3 vers 2.1.5
  • vroom de 1.5.6 à 1.5.7
  • withr de 2.4.2 à 2.4.3
  • xfun de 0.28 vers 0.29
  • xml2 de 1.3.2 à 1.3.3
• Bibliothèques Java mises à niveau :
  • dev.ludovic.netlib.arpack de 1.3.2 à 2.2.1
  • dev.ludovic.netlib.blas de 1.3.2 à 2.2.1
  • dev.ludovic.netlib.lapack de 1.3.2 à 2.2.1
  • io.delta.delta-sharing-spark_2.12 de 0.2.0 à 0.3.0

Apache Spark

Databricks Runtime 10.3 comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 10.2 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-37896] [SQL] implémenter un ConstantColumnVector et améliorer les performances des métadonnées des fichiers masqués
• [SPARK-37924] [SQL] Trier les propriétés de table par clé dans SHOW CREATE TABLE sur VIEW (v1)
• [SPARK-37636] [SQL] Migrer Créer Espace de noms pour utiliser la commande V2 par défaut
• [SPARK-37381] [SQL] Tests Unify v1 et v2 SHOW CREATE TABLE
• [SPARK-37876] [CORE][sql] Déplacer SpecificParquetRecordReaderBase.listDirectory vers TestUtils
• [Spark-37854] [Core] Remplacer la vérification de type par la correspondance de modèle dans le code Spark
• [Spark-36967] [Core] signale une taille de bloc de lecture aléatoire exacte s’il est décalé
• [SPARK-37864] [SQL] Prise en charge des valeurs booléennes en lecture vectorisée ; utilisation de l'encodage RLE avec Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator doit rapidement ignorer la vérification de l’alignement avec la plateforme non alignée
• [SPARK-37855] [SQL] IllegalStateException lors de la transformation d’un tableau à l’intérieur d’une structure imbriquée
• [SPARK-37858] [SQL] lever SparkRuntimeException avec les classes d’erreur à partir des fonctions AES
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker ne doit pas essayer d’obtenir l’état d’un fichier ignoré
• [Spark-37860] [UI] corriger taskindex dans la chronologie de l’événement de tâche de page d’étape
• [SPARK-36879] [SQL] prend en charge l’encodage de page de données Parquet v2 (DELTA_BINARY_PACKED) pour le chemin vectorisé
• [SPARK-37828] [SQL] filtres Push dans RebalancePartitions
• [SPARK-37802] [SQL] [3,2] le nom de champ composite doit fonctionner avec l’agrégat push enfoncé
• [SPARK-37826] [SQL] utilisez le nom du codec zstd dans les noms de fichier ORC pour hive ORC impl
• [SPARK-37820] [SQL] remplacer ApacheCommonBase64 par JavaBase64 pour les funcs de chaîne
• [SPARK-37832] [SQL] le convertisseur de struct Orc doit utiliser un tableau pour rechercher des convertisseurs de champ plutôt qu’une liste liée
• [SPARK-37786] [ SQL] Support de StreamingQueryListener à l’aide de SQLConf.get pour obtenir le SQLConf du SessionState correspondant
• [SPARK-37527] [SQL] traduisez d’autres fonctions d’agrégation standard pour la poussée
• [SPARK-37777] [SQL] Mettez à jour la syntaxe SQL de SHOW FUNCTIONS
• [Spark-8582] [Core] point de contrôle de manière dynamique lorsqu’il lui est demandé de le faire pour les véritables
• [SPARK-37822] [SQL] StringSplit doit retourner un tableau sur les éléments non null
• [SPARK-37812] [SQL] lors de la désérialisation d’un struct Orc, réutilisez la ligne de résultats lorsque cela est possible
• [SPARK-37367] [SQL] réactiver le test d’exception dans DDLParserSuite. create view – de base
• [SPARK-37796] [SQL] ByteArrayMethods arrayEquals doit rapidement ignorer la vérification de l’alignement avec la plateforme non alignée
• [SPARK-37817] [SQL][mineur] Supprimer le code inaccessible dans complexTypeExtractors.scala
• [SPARK-37807] [SQL] résoudre une faute de frappe dans le message HttpAuthenticationException
• [SPARK-37750] [SQL] mode ANSI : retourne éventuellement un résultat null si l’élément n’existe pas dans le tableau/le mappage
• [SPARK-37789] [SQL] ajoutez une classe pour représenter les fonctions d’agrégation générales dans DS V2
• [SPARK-37785] [SQL][core] Add Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Ajouter la prise en charge de QueryExecutionListener en utilisant SQLConf.get pour obtenir le SQLConf correspondant de SessionState
• [SPARK-37783] [SS][sql][CORE] Activer la récursion terminale dans la mesure du possible
• [SPARK-37726] [SQL] ajouter des métriques de taille de débordement pour trier la jointure de fusion
• [SPARK-37800] [SQL] TreeNode. argString formate de manière incorrecte les arguments de type Set [_]
• [SPARK-37716] [SQL] améliorer les messages d’erreur lorsqu’un LateralJoin a des expressions non déterministes
• [SPARK-37779] [SQL] rendre ColumnarToRowExec plan canonicalizable après (de) sérialisation
• [SPARK-37578] [SQL] mettre à jour les métriques de tâche à partir des métriques personnalisées ds v2
• [SPARK-37676] [SQL] prend en charge la fonction d’agrégation ANSI : percentile_cont
• [SPARK-37724] [SQL] mode ansi : désactiver les mots clés réservés ANSI par défaut
• [SPARK-37705] [SQL] [3,2] rebaser les horodateurs dans le fuseau horaire de session enregistré dans les métadonnées Parquet/Avro
• [SPARK-34755] [SQL] prend en charge les utils pour le format de numéro de transformation
• [SPARK-36703] [SQL] supprime le tri s’il s’agit de l’enfant de RepartitionByExpression
• [SPARK-37369] [SQL] évitez la transition redondante ColumnarToRow sur InMemoryTableScan
• [SPARK-37450] [SQL] élaguer les champs inutiles de la génération
• [SPARK-37728] [SQL] la lecture de colonnes imbriquées avec un lecteur ORC vectorisé peut provoquer la ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] ajouter du code-gen pour trier l’agrégat sans regrouper les clés
• [Spark-37659] [UI] [3.2] Correction de la condition de concurrence FsHistoryProvider entre la liste et les informations du journal delet
• [SPARK-37727] [SQL] Afficher les configurations ignorées et masquer les avertissements pour les configurations déjà définies dans SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL] JdbcConnectionProvider indique si le contexte de sécurité est modifié
• [spark-37273] [SQL] prend en charge les colonnes de métadonnées de fichier caché dans SPARK SQL
• [SPARK-36876] [SQL] prend en charge le nettoyage de Partition dynamique pour HiveTableScanExec
• [SPARK-37546] [SQL] V2 la commande ReplaceTableAsSelect doit qualifier l’emplacement
• [SPARK-37545] [SQL] V2 la commande ReplaceTableAsSelect doit qualifier l’emplacement
• [SPARK-37707] [SQL] autorise l’attribution de magasin et le cast implicite entre les types datetime
• [SPARK-37644] [SQL] prend en charge la fonction d’agrégation de la source v2 complète
• [SPARK-37695] [CORE][shuffle] Ignorer l'analyse des blocs fusionnés de shuffle basé sur push
• [SPARK-35295] [ML] remplacez entièrement com. github. fommil. netlib par dev. ludovic. netlib : 2.0
• [spark-37694] [SQL] interdire la suppression de ressources dans l’interface cli SQL SPARK
• [SPARK-37330] [SQL] migrer ReplaceTableStatement vers la commande v2
• [SPARK-27974] [SQL] prend en charge la fonction d’agrégation ANSI : array_agg
• [SPARK-36902] [SQL] migrer CreateTableAsSelectStatement vers la commande v2
• [SPARK-37678] [PYTHON] Corriger la signature de _cleanup_and_return
• [SPARK-37613] [SQL] prend en charge la fonction d’agrégation ANSI : regr_count
• [SPARK-37689] [SQL] le développement doit être pris en charge dans PropagateEmptyRelation
• [SPARK-37654] [SQL] corriger le NPE dans Row. getSeq quand field a la valeur Null
• [SPARK-37496] [SQL] migrer ReplaceTableAsSelectStatement vers la commande v2
• [SPARK-37483] [SQL] prise en charge push des N premiers vers la source de données JDBC V2
• [SPARK-37577][SQL] Correction de ClassCastException : ArrayType ne peut pas être converti en StructType pour Générer le nettoyage
• [SPARK-37310] [SQL] migrer l’espace de noms ALTER... SET PROPERTIES pour utiliser la commande V2 par défaut
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE doit qualifier l’emplacement de la commande v2
• [SPARK-37343] [SQL] implémentation de createIndex, IndexExists et dropIndex dans JDBC (dialecte postgres)
• [Spark-37060] [Core] [3.2] gérer la réponse de l’état du pilote à partir des réplicas de sauvegarde
• [SPARK-37629] [SQL] accélérer l’Expression.canonicalization
• [SPARK-37633] [SQL] la conversion sans encapsuler doit ignorer si le downcast a échoué avec un...
• [SPARK-37631] [SQL] nettoyage du Code sur la promotion des chaînes en type double dans les fonctions mathématiques
• [SPARK-37569] [ SQL] Ne marquez pas les champs d’affichage imbriqués comme nullables
• [SPARK-37557] [SQL] remplacer le hachage de l’objet par l’agrégat de tri si l’enfant est déjà trié
• [SPARK-36850] [SQL] Migrer CreateTableStatement vers le framework de commande v2
• [SPARK-37592] [SQL] améliorer les performances deJoinSelection
• [SPARK-37217] [SQL] le nombre de partitions dynamiques doit être vérifié tôt lors de l’écriture dans des tables externes
• [SPARK-37584] [SQL] nouvelle fonction SQL : map_contains_key
• [SPARK-37455] [SQL] remplacer le hachage de l’objet par l’agrégat de tri si l’enfant est déjà trié
• [SPARK-34735] [SQL][ui] Ajouter des configurations modifiées pour l’exécution de SQL dans l’interface utilisateur
• [SPARK-37540] [SQL] détecter des voyages de temps plus non pris en charge
• [SPARK-37376] [SQL] introduire une nouvelle interface DataSource V2 HasPartitionKey
• [SPARK-37666] [SQL] défini GCM comme mode par défaut dans aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader doit revenir à la version associée, pas toujours hadoop-2.7.4
• [SPARK-37561] [SQL] Éviter de charger toutes les fonctions lors de l’obtention du DelegationToken de Hive
• [SPARK-37370] [SQL] ajoutez des configurations SQL pour contrôler la génération de code de jointure récemment ajoutée 3,3
• [SPARK-37311] [SQL] migrer l’espace de noms ALTER... SET LOCATION pour utiliser la commande V2 par défaut
• [SPARK-37192] [SQL] Migrer SHOW TBLPROPERTIES pour utiliser la commande V2 par défaut
• [SPARK-37219] [SQL] ajouter à la prise en charge de la syntaxe
• [SPARK-37316] [SQL] ajouter code-génération pour la jointure de fusion de tri de l’existence
• [SPARK-37591] [SQL] prend en charge le mode GCM paraes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] ajoutez les arguments mode et padding à aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] ajouter des fonctions intégrées aes_encrypt et aes_decrypt
• [SPARK-37392] [SQL] corriger le bogue de performance lors de l’inférence de contraintes pour la génération
• [SPARK-37481] [Core][webui] Correction de la disparition des étapes ignorées après une nouvelle tentative
• [SPARK-37533] [SQL] nouvelle fonction SQL : try_element_at
• [SPARK-37451] [SQL] correction du type de chaîne de conversion en type décimal si SPARK. SQL. legacy. allowNegativeScaleOfDecimal est activé
• [Spark-37062] [SS] introduisez une nouvelle source de données pour fournir un ensemble cohérent de lignes par microlot
• [SPARK-37552] [SQL] Ajout de la fonction convert_timezone()
• [spark-37555] [SQL] SPARK-SQL doit transmettre le dernier commentaire non fermé au backend
• [SPARK-37286] [SQL] déplacer compileAggregates à partir de JDBCRDD vers JdbcDialect
• [SPARK-37485] [CORE][sql] Remplacer map par des expressions qui ne produisent aucun résultat foreach
• [SPARK-37556] [SQL] Deser void class échoue avec la sérialisation Java
• [SPARK-37520] [SQL] ajoutez les startswith()endswith() fonctions de chaîne et
• [spark-37471] [SQL] SPARK-SQL prise en charge ; dans un commentaire entre crochets imbriqués
• [SPARK-37360] [SQL] prend en charge TimestampNTZ dans la source de données JSON
• [SPARK-37508] [SQL] Add contains () string (fonction)
• [SPARK-37494] [SQL] unification des options v1 et v2 sortie de la commande SHOW CREATE TABLE
• [SPARK-37524] [SQL] nous devrions supprimer toutes les tables après avoir testé le nettoyage de la partition dynamique.
• [SPARK-37389] [SQL] vérifier les commentaires entre crochets non fermés
• [SPARK-37220] [SQL] ne pas fractionner le fichier d’entrée pour le lecteur Parquet avec la poussée de l’agrégat
• [SPARK-37326] [SQL] prend en charge TimestampNTZ dans la source de données CSV
• [SPARK-35867] [SQL] activer la lecture vectorielle pour VectorizedPlainValuesReader. readBooleans
• [SPARK-37484] [CORE][sql] Remplacer get et getOrElse par getOrElse
• [SPARK-37492] [SQL] optimiser le code de test Orc avec withAllNativeOrcReaders
• [Spark-37458] [SS] supprimer les SerializeFromObject inutiles du plan de foreachBatch

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.3.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.3 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.8.10
• R : 4.1.2
• Delta Lake : 1.1.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 19/01/2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)