Databricks Runtime 7.1 (EoS)

Databricks a publié cette version en juillet 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 7.1 avec Apache Spark 3.0.

Nouvelles fonctionnalités

Databricks Runtime 7.1 comprend les nouvelles fonctionnalités suivantes :

Delta Lake

• Vous pouvez maintenant définir des métadonnées définies par l’utilisateur dans chaque validation effectuée par des opérations Delta. Pour plus d’informations, consultez Enrichir des tables Delta Lake avec des métadonnées personnalisées.

• Vous pouvez désormais interroger la configuration SQL spark.databricks.delta.lastCommitVersionInSession pour obtenir la version de la dernière validation écrite par le SparkSession actuel.

  Si aucune validation n’a été effectuée par la session SparkSession, l’interrogation de la clé retourne une valeur vide. Cette fonctionnalité n’est pas prise en charge dans les cas de streaming en continu ou multithread.

• CONVERT TO DELTA peut maintenant convertir les tables Parquet qui ont été créées par Structured Streaming à l’aide du journal des transactions se trouvant dans le dossier _spark_metadata. Cela empêche que les fichiers non validés via la requête de streaming soient pris en compte dans votre table Delta. Vous pouvez ensuite poursuivre votre flux en utilisant le même emplacement de point de contrôle.

  Remarque

  Il existe toutefois une faible probabilité pour que les données du dernier micro-lot soient validées à nouveau dans votre table après le processus de conversion.

• Cette version contient des améliorations des performances pour les opérations MERGE INTO qui ont uniquement des clauses correspondantes. Autrement dit, elles ont uniquement UPDATE des actions et DELETE, et aucune action INSERT.

Commandes pip pour prendre en charge les bibliothèques Python délimitées aux notebooks

À compter de Databricks Runtime 7.1, vous pouvez utiliser les commandes %pip pour gérer les bibliothèques Python installées dans une session de notebook. Pour plus d’informations, consultez Bibliothèques Python délimitées aux notebooks.

Améliorations

• Ajoute une méthode display à des DataFrames PySpark, pandas et Koalas, ce qui vous permet désormais d’exécuter df.display() pour faciliter l’analyse exploratoire des données. Consultez Créer une visualisation.
• Koalas est maintenant installé.

Apache Spark

Databricks Runtime 7.1 comprend Apache Spark 3.0.0. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 7.0 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-32057] ExecuteStatement : les opérations annuler et fermer ne doivent pas générer une erreur temporaire
• [SPARK-32167] [ SQL] Correction de GetArrayStructFields pour respecter la nullabilité du champ interne ensemble
• [SPARK-31935] La configuration du système de fichiers Hadoop doit être appliquée dans les options de source de données
• [SPARK-32038] [SQL] NormalizeFloatingNumbers doit également fonctionner sur un agrégat distinct
• [SPARK-31705] [SQL] Transmissions d’autres prédicats possibles par le biais de la jointure via la conversion CNF
• [SPARK-31945] [SQL][pyspark] Activer le cache pour la même fonction Python
• [SPARK-8981] [CORE] Ajouter la prise en charge de MDC dans l’Exécuteur
• [SPARK-31986] [SQL] Correction du changement micro de l’année de base des horodatages locaux qui se chevauchent entre les calendriers julien et grégorien
• [SPARK-31959] [SQL] Correction du changement micro de l’année de base entre les calendriers julien et grégorien lors du passage à un autre décalage de fuseau horaire standard
• [SPARK-26905] [SQL] Suivre les mots clés réservés SQL 2016
• [SPARK-31990] [SS] Utilisation de toSet.toSeq dans Dataset.dropDuplicates
• [SPARK-31992] [SQL] Point de référence du mode de changement de l’année de base EXCEPTION
• [SPARK-31983] [WEBUI] Correction du tri de la colonne des durées sous l’onglet Structured Streaming
• [SPARK-31593] [SS] Suppression de la mise à jour de la progression des requêtes de streaming inutiles
• [SPARK-31968] [SQL] Vérification des colonnes de partition en double lors de l’écriture de données
• [SPARK-31632] [CORE][webui] Enrichir le message d’exception lorsque le résumé de l’application n’est pas disponible
• [SPARK-31916] [SQL] StringConcat peut entraîner une exception StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] La configuration du système de fichiers Hadoop doit être appliquée dans les options de source de données
• [SPARK-31954] [SQL] Suppression d’un cas de test en double dans HiveQuerySuite
• [SPARK-28199] [SS] Suppression d’un package privé dans une classe/un objet du package sql.execution
• [SPARK-31956] [SQL] Pas d’échec s’il n’existe de jointure réflexive ambiguë
• [SPARK-31941] [CORE] Remplacement de SparkException par NoSuchElementException pour applicationInfo dans AppStatusStore
• [SPARK-26905] [SQL] Ajout de TYPE dans la liste non réservée ANSI
• [SPARK-31921] [CORE] Correction du problème d’avertissement incorrect : « L’application app-xxx nécessite plus de ressources que ce que les workers peuvent avoir »
• [SPARK-31220] [SQL] La répartition respecte initialPartitionNum quand adaptiveExecutionEnabled est définit
• [SPARK-29295] [SQL] Le mappage de partition dynamique analysé à partir du chemin de la partition n’a pas l’obligation de respecter la casse
• [SPARK-31849] [PYTHON][sql] Message d’erreur plus correct dans le message d’exception UDF Python
• [SPARK-31923] [CORE] Ignoree les accumulateurs internes qui utilisent des types non reconnus au lieu de planter
• [SPARK-31849] [PYTHON][sql] Dédupliquer et réutiliser Utils.exceptionString dans la gestion des exceptions Python

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 7.1.

Environnement du système

• Système d’exploitation : Ubuntu 18.04.4 LTS
• Java : 1.8.0_252
• Scala : 2.12.10
• Python : 3.7.5
• R : R version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN de Microsoft du 22/04/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)