Databricks Runtime 5.2 (EoS)

Databricks a publié cette version en janvier 2019.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 5.2 optimisé par Apache Spark.

Nouvelles fonctionnalités

Databricks Conseiller

Databricks Advisor analyse automatiquement les commandes et affiche des avis de conseil pour vous aider à améliorer les performances.

Consultez Databricks Advisor.

Fonctionnalités Delta Lake

Cette version Databricks Runtime ajoute les nouvelles fonctionnalités Delta Lake suivantes :

• L’importation Fast Parquet vous permet d’importer des fichiers Parquet dans une table Delta sans copier les données. Grâce à cette fonctionnalité, il est plus facile de convertir des tables Parquet existantes et de migrer les pipelines vers Delta.

• Time Travel ajoute la possibilité d’interroger un instantané d’une table à l’aide d’une chaîne de timestamp ou d’une version, à l’aide de la syntaxe SQL, ainsi que des options DataFrameReader pour les expressions de timestamp. C’est un excellent outil pour :

  • Recréer des analyses, des rapports ou des sorties (par exemple, la sortie d’un modèle de Machine Learning), qui sont utiles pour le débogage ou l’audit, en particulier dans les champs réglementés.
  • Écriture de requêtes temporelles complexes.
  • Correction des erreurs dans vos données.
  • Fournir un instantané d’isolation pour un ensemble de requêtes des tables à variation rapide.

  Important

  Cette fonctionnalité est expérimentale.

  Consultez Utiliser l’historique des tables Delta Lake.

Bibliothèques délimitées aux notebooks

L’utilitaire bibliothèque (dbutils.library) (hérité) prend désormais en charge les schémas URI du système de fichiers Azure adl, abfss et wasbs. Les utilitaires de bibliothèque vous permettent d’installer des bibliothèques Python, y compris Eggs, Wheels et PyPI, dans des notebooks Python à l’aide de l’API de la bibliothèque Databricks Utilities.

Améliorations

• Delta Lake
  • L’historique de table affiche maintenant la lecture de la version de l’instantané et le niveau d’isolement utilisé par une écriture dans la table Delta.
  • Ajout de la prise en charge de ALTER TABLE SET LOCATION.
  • Ajout de la prise en charge des champs imbriqués dans la clause UPDATE de la table Delta MERGE INTO (par exemple, MERGE INTO table ON ... WHEN MATCHED THEN UPDATE SET topLevel.nestedField = ...).
• Amélioration des performances de la fonction d’agrégation approx_count_distinct.
• Mise à niveau de Java de 1.8.0_181 vers 1.8.0_191.
• Mise à niveau du compilateur Java Janino de 3.0.9 vers 3.0.10.
• Suppression de la bibliothèque Java com.mchange.c3p0 et com.mchange.mchange-commons-java.
• Mise à niveau de setuptools dans Python de 40.6.2 vers 40.6.3.
• Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.

Résolution des bogues

• Faites en sorte que le notebook display() respecte la configuration du fuseau horaire de session Apache Spark.

Apache Spark

Databricks Runtime 5.2 comprend Apache Spark 2.4.0. Cette version contient tous les améliorations et correctifs inclus dans Databricks Runtime 5.1 (EoS), ainsi que les améliorations et correctifs de bogues supplémentaires suivants apportés à Spark :

• [SPARK-26586][SS] Correction d’une condition de concurrence qui provoque l’exécution de flux avec des configurations inattendues
• [SPARK-26267][SS] Effectuer une nouvelle tentative lors de la détection des décalages incorrects à partir de Kafka (dbr-branch-5.x)
• [SPARK-26383][CORE] NPE quand utilisation de DataFrameReader.jdbc avec une URL incorrecte
• [SPARK-26019][PYSPARK] Autoriser des passerelles py4j non sécurisées
• [SPARK-26098][WEBUI] Afficher la requête SQL associée dans la page Travail
• [SPARK-26402] Accéder aux champs imbriqués avec différents cas en mode non sensible à la casse
• [SPARK-26444][WEBUI] La couleur d’étape ne change pas en fonction de son état
• [SPARK-26426][SQL] Corriger l’erreur d’assertion ExpresionInfo dans le système d’exploitation Windows.
• [SPARK-26352][SQL] La réorganisation des jointures ne doit pas modifier l’ordre des attributs de sortie
• [SPARK-26422][R] Prendre en charge la désactivation de la prise en charge Hive dans SparkR même pour les versions Hadoop non prises en charge par la duplication (fork) Hive
• [SPARK-24687][CORE] Éviter des tâches en suspens quand elles génèrent un binaire de tâche provoque une erreur irrécupérable
• [SPARK-26366][SQL] ReplaceExceptWithFilter doit considérer la valeur NULL comme une valeur False
• [SPARK-26394][CORE] Corriger l’erreur d’annotation pour Utils.timeStringAsMs
• [SPARK-26382][CORE] Le comparateur de préfixe doit gérer -0.0
• [SPARK-26352][SQL] Corriger des sameOutput manquants dans branch-2.4
• [SPARK-26352][SQL] La réorganisation des jointures ne doit pas modifier l’ordre des attributs de sortie
• [SPARK-26316][SPARK-21052] Rétablir les métriques de jointure hachée qui entraînent une détérioration des performances
• [SPARK-26315][PYSPARK] Seuil de cast automatique d’Entier à Float dans approxSimilarityJoin de BucketedRandomProjectionLSHModel
• [SPARK-26265][CORE] Placer freePage dans un bloc finally
• [SPARK-26370][SQL] Corrige la résolution de la fonction d’ordre supérieur pour le même identificateur.
• [SPARK-21809] Modifier la page de l’étape pour utiliser des DataTables pour prendre en charge le tri des colonnes et la recherche
• [SPARK-26355][PYSPARK] Ajouter une solution de contournement pour PyArrow 0.11.
• [SPARK-26265][CORE] Corriger le blocage dans BytesToBytesMap.MapIterator lors du verrouillage de BytesToBytesMap.MapIterator et TaskMemoryManager
• [SPARK-26327][SQL] Correctif de bogue pour la mise à jour des métriques FileSourceScanExec
• [SPARK-26307][SQL] Corriger CTAS lors de l’instruction INSERT d’une table partitionnée en utilisant Hive serde
• [SPARK-26233][SQL] CheckOverflow lors de l’encodage d’une valeur décimale
• [SPARK-26119][CORE][WEBUI] La table récapitulative des tâches ne doit contenir que les métriques des tâches réussies
• [SPARK-24423][SQL] Corriger l’exemple d’erreur
• [SPARK-25860][SQL] Remplacer Literal(null, _) par FalseLiteral chaque fois que cela est possible
• [SPARK-26219][CORE] Le résumé de l’exécuteur doit être mis à jour pour les travaux d’échec dans l’interface utilisateur du serveur d’historique
• [SPARK-26226][SQL] Mettre à jour le suivi des requêtes vers le rapport chronologie des phases
• [SPARK-26181][SQL] La méthode hasMinMaxStats de ColumnStatsMap n’est pas correcte
• [SPARK-26198][SQL] Corriger les métadonnées sérialiser les valeurs null générer NPE
• [SPARK-26080][PYTHON] Ignore la limite de ressources Python sur Windows dans le Worker Python
• [SPARK-26241][SQL] Ajouter queryId à IncrementalExecution (rétroportage)
• [SPARK-26201] Corriger la diffusion Python avec chiffrement
• [SPARK-26188][SQL] FileIndex : ne pas déduire les types de données des colonnes de partition si l’utilisateur spécifie le schéma
• [SPARK-26186][SPARK-26184][CORE] L’heure de la dernière mise à jour n’est pas mise à jour pour l’application Inprogress
• [SPARK-24341][SQL] Prise en charge uniquement dans les sous-requêtes avec le même nombre d’éléments par ligne
• [SPARK-26137][CORE] Utiliser la propriété système Java « file.separator » au lieu…
• [SPARK-26114][CORE] Fuite du champ readingIterator dans ExternalSorter
• [SPARK-25451][SPARK-26100][CORE] La table de métriques agrégées n’affiche pas le bon nombre de tâches totales
• [SPARK-25786][CORE] Si ByteBuffer.hasArray a la valeur false, il lèvera UnsupportedOperationException pour Kryo
• [SPARK-24553][UI] Corriger la redirection d’interface utilisateur inutile
• [SPARK-26109][WEBUI] La durée dans la table de résumé des métriques des tâches et la durée dans la table des tâches sont différentes
• [SPARK-26084][SQL] Corrige l’exception AggregateExpression.references non résolue
• [SPARK-25947][SQL][BACKPORT-5.X] Réduire l’utilisation de la mémoire dans ShuffleExchangeExec en sélectionnant uniquement les colonnes de tri
• [SPARK-26118][WEB UI] Présentation de spark.ui.requestHeaderSize pour la définition de requestHeaderSize HTTP
• [SPARK-26079][SQL] Assurer la livraison des événements de l’écouteur dans StreamingQueryListenersConfSuite.
• [SPARK-26092][SS] Utiliser CheckpointFileManager pour écrire le fichier de métadonnées de streaming
• [SPARK-25883][SQL] Substituer la méthode prettyName dans from_avro/to_avro

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 5.2.

Environnement du système

• Système d’exploitation : Ubuntu 16.04.5 LTS
• Java : 1.8.0_191
• Scala : 2.11.8
• Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
• R : R version 3.4.4 (2018-03-15)
• Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
  • Pilote Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Bibliothèques Python installées

Bibliothèques R installées

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)