Databricks Runtime 8.2 (EoS)

Databricks a publié cette version en avril 2021.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 8.2, avec Apache Spark 3.1.1.

Améliorations et nouvelles fonctionnalités

• Les nouvelles options de chargeur automatique permettent une évolution plus facile du schéma
• Afficher VACUUM les métriques (préversion publique)
• Comprenez facilement la quantité de données du Lake Lake clonées ou récupérées
• Ajuster la taille des fichiers dans les tables delta en fonction des besoins de vos charges de travail
• Ingestion incrémentielle des mises à jour et des suppressions dans les tables delta à l’aide d’un flux de données modifiées (préversion publique)
• extraire des données de chaînes JSON à l’aide d’opérateurs de SQL (GA)

Les nouvelles options de chargeur automatique permettent une évolution plus facile du schéma

Le chargeur automatique n’exige plus que vous spécifiiez une entrée de schéma pour commencer à recevoir des données JSON. En outre, le chargeur automatique peut détecter l’introduction de nouvelles colonnes à vos données et redémarrer, afin que vous ne perdiez plus de données. Le chargeur automatique va également « récupérer » les données inattendues (par exemple, de différents types de données) dans une colonne BLOB JSON, que vous pouvez choisir d’accéder ultérieurement à l’aide des API d’accès aux données semi-structurées. Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Afficher les métriques VACUUM (préversion publique)

VACUUM les validations dans le journal des transactions Delta contiennent désormais des informations sur les fichiers supprimés et les répertoires sous vide. Consultez Informations de l’audit et Examiner les détails de la table Delta Lake avec les détails de description.

Comprenez facilement la quantité de données du Lake Lake clonées ou récupérées

Delta Lake CLONE et RESTORE les commandes retournent désormais des mesures lorsqu’elles se terminent. vous pouvez donc facilement comprendre la quantité de données clonées ou récupérées à la suite de ces opérations. Consultez cloner les métriques et restaurer les métriques.

Ajuster la taille des fichiers dans les tables delta en fonction des besoins de vos charges de travail

Vous pouvez maintenant définir une propriété de table pour demander à Delta Lake de sélectionner les tailles de fichier appropriées pour les tables avec des opérations fréquentes MERGE (par exemple, upsert de données modifiées dans les tables). Le runtime peut également détecter le moment où les tables sont MERGE intensives et ajuste automatiquement la taille des fichiers. Pour une optimisation plus fine, vous pouvez définir la taille cible en tant que propriété, et toutes les opérations d’optimisation de la présentation des données (par exemple, optimiser, les écritures optimisées et le compactage automatique) feront l’affaire d’une tentative optimale pour générer des fichiers de cette taille. Consultez Configurer Delta Lake pour contrôler la taille du fichier de données.

Ingestion incrémentielle des mises à jour et des suppressions dans les tables delta à l’aide d’un flux de données modifiées (préversion publique)

Le flux de données modifiées d’une table Delta représente les modifications au niveau des lignes entre les différentes versions de la table. Lorsqu’il est activé, le runtime enregistre des informations supplémentaires concernant les modifications au niveau des lignes pour chaque opération d’écriture sur la table. vous pouvez interroger ces modifications par le biais de SQL et des lecteurs tableau et DataStream. Le flux active les éléments suivants :

• Consommation en aval efficace de la fusion, des mises à jour et des suppressions. L’obtention de lignes mises à jour, insérées ou supprimées permet d’améliorer considérablement les performances de la tâche en aval consommant la sortie de la fusion, car les fichiers entiers n’ont pas besoin d’être traités et dédupliqués maintenant.
• Maintien de la synchronisation entre les réplicas de deux tables différentes représentant les mêmes données. Il est courant de gérer deux versions d’une même table de la même table, en tant que source de vérité et une table plus large avec des données supplémentaires. Les modifications peuvent être appliquées efficacement à partir de la table étroite à la table plus large.

Pour plus d’informations, consultez Utiliser le flux des changements de données Delta Lake sur Azure Databricks.

Extraire des données de chaînes JSON à l’aide d’opérateurs de SQL (GA)

les opérateurs de SQL, :: et : , qui vous permettent d’extraire facilement des données à partir de chaînes JSON sont désormais mis à la disposition générale. Consultez Interroger des chaînes JSON.

Mises à niveau de la bibliothèque

• Bibliothèque Python mise à niveau :
  • koalas mise à niveau de 1.6.0 vers 1.7.0.
• Bibliothèque Java mise à niveau :
  • univocity-parseurs de 2.9.0 à 2.9.1.

Apache Spark

Databricks Runtime 8.2 comprend Apache Spark 3.1.1. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 8.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-34614][SQL] Mode ANSI : Le cast d’une valeur Chaîne en Booléenne déclenche une exception en cas d’erreur d’analyse
• [SPARK-33794][SQL] Mode ANSI : Corrige l’expression NextDay pour qu’elle lève l’exception IllegalArgumentException lors de la réception d’une entrée non valide dans le cadre de l’exécution
• [SPARK-34833] [SQL] gérer les références externes dans tous les emplacements
• [SPARK-34742] [SQL] mode ANSI : Abs lève une exception si l’entrée est hors limites
• [SPARK-34833] [SQL] Appliquer correctement le remplissage à droite pour les sous-requêtes corrélées
• [SPARK-34719] [SQL][3.1] Résolution correcte de la requête d’affichage avec des noms de colonnes dupliqués
• [SPARK-34392][SQL] Prise en charge de ZoneOffset +h:mm dans DateTimeUtils. getZoneId
• [SPARK-34436][SQL] DPP prend en charge l’expression LIKE ANY/ALL
• [SPARK-34497] [SQL] Correction des fournisseurs de connexion JDBC intégrés afin de restaurer les modifications du contexte de sécurité JVM
• [SPARK-34543][SQL] Respect de la configuration spark.sql.caseSensitive lors de la résolution des spécifications de partition dans version 1SET LOCATION
• [SPARK-34550] [SQL] Omission de la valeur null dans le filtre push pour le metastore Hive
• [SPARK-34531] [CORE] Suppression de la balise d’API expérimentale dans PrometheusServlet
• [SPARK-34515] [SQL] Corriger le NPE si l’incrustation contient une valeur null pendant l’exécution de getPartitionsByFilter
• [Spark-34490] la table peut être résolue en tant que vue si la table est supprimée
• [SPARK-34613][SQL] Correction de la vue ne capturant pas la configuration du conseil de désactivation
• [Spark-34504] Éviter la résolution des affichages inutiles et supprimer l' performCheck indicateur
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext peut se bloquer avec un problème de course
• [SPARK-34421] [SQL] Résoudre les fonctions et les affichages temporaires dans les affichages avec des expressions de table commune
• [SPARK-34713] [SQL] Correction du groupe par CreateStruct avec ExtractValue
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists ne doit pas échouer si la base de données n’existe pas
• [SPARK-34681][SQL] Corrige le bogue lié à une jointure hachée aléatoire externe complète lors de la création du côté gauche avec une condition non égale

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 8.2.

Environnement du système

• Système d’exploitation : Ubuntu 18.04.5 LTS
• Java : Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala : 2.12.10
• Python : 3.8.8 (mis à jour à partir de la version 3.8.6 dans la mise à jour de maintenance du 26 mai 2021)
• R : R version 4.0.4 (15/02/2021)
• Delta Lake : 0.8.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/11/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)