Databricks Runtime 4.2 (EoS)

Databricks a publié cette version en juillet 2018.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 4.2, avec Apache Spark.

Delta Lake

Databricks Runtime 4.2 ajoute des fonctionnalités et des améliorations de qualité majeures à Delta Lake. Databricks recommande fortement que tous les clients Delta Lake soient mis à niveau vers le nouveau runtime. Cette version est conservée en préversion privée, mais elle représente une version candidate en prévision de la prochaine version de disponibilité générale (GA).

Nouvelles fonctionnalités

• Les flux peuvent maintenant être directement écrits dans une table Delta enregistrée dans le metastore Hive à l’aide de df.writeStream.table(...).

Améliorations

• Toutes les commandes et requêtes Delta Lake prennent désormais en charge la référence à une table à l’aide de son chemin d’accès en tant qu’identificateur :

  delta.`<path-to-table>`
  

  Auparavant OPTIMIZE et VACUUM nécessitaient une utilisation non standard de littéraux de chaîne (autrement dit, '<path-to-table>').

• DESCRIBE HISTORY comprend désormais l’ID de validation et est classé du plus récent au plus ancien par défaut.

Résolution des bogues

• Le filtrage basé sur les prédicats de partition fonctionne désormais correctement même lorsque la casse des prédicats diffère de celle de la table.
• Correction d’une colonne AnalysisException manquante lors de vérifications d’égalité sur des colonnes booléennes dans des tables Delta (autrement dit booleanValue = true).
• CREATE TABLE ne modifie plus le journal des transactions lors de la création d’un pointeur vers une table existante. Cela évite les conflits inutiles avec les flux simultanés et autorise la création d’un pointeur de la table de métadonnées vers des tables où l’utilisateur dispose uniquement d’un accès en lecture aux données.
• L’appel display() sur un flux avec de grandes quantités de données n’entraîne plus l’insuffisance dans le pilote.
• AnalysisException est désormais levée lorsqu’un chemin d’accès Delta Lake sous-jacent est supprimé, plutôt que de retourner des résultats vides.
• Les configurations Delta Lake qui nécessitent une version de protocole spécifique (par exemple, appendOnly) ne peuvent être appliquées qu’à des tables d’une version appropriée.
• Lors de la mise à jour de l’état d’une table Delta, les lignages longs sont désormais automatiquement tronqués pour éviter un StackOverFlowError.

Diffusion Structurée

Nouvelles fonctionnalités

• Delta Lake et Kafka prennent désormais entièrement en charge Trigger.Once. Précédemment, les limites de taux (par exemple maxOffsetsPerTrigger ou maxFilesPerTrigger) spécifiées en tant qu’options sources ou valeurs par défaut peuvent entraîner uniquement une exécution partielle des données disponibles. Ces options sont désormais ignorées lorsque Trigger.Once est utilisé, ce qui permet de traiter toutes les données actuellement disponibles.

• Ajout d’une nouvelle diffusion en continu foreachBatch() dans Scala, où vous pouvez définir une fonction pour traiter la sortie de chaque microlot à l’aide d’opérations DataFrame. Cela active les éléments suivants :
  • D’utiliser des sources de données en lots existantes pour écrire des sorties de microlot sur des systèmes qui n’ont pas encore de source de données de diffusion en continu (par exemple, utilisez l’éditeur de lot Cassandra sur chaque sortie microlot).
  • Écriture de la sortie de microlot dans plusieurs emplacements.
  • L’application DataFrame et d’opérations de table sur des sorties de microlot qui ne sont pas prises en charge dans la diffusion en continu de DataFrame (par exemple, la sortie de microlot upsert dans une table Delta).
• Ajout de fonctions from_avro/to_avro pour lire et écrire des données Avro dans DataFrame au lieu de fichiers uniquement, comme from_json/to_json. Pour plus d’informations, consultez Lire et écrire des données Avro n’importe où.
• Ajout de la prise en charge de la diffusion en continu foreach() dans Python (déjà disponible dans Scala). Pour plus d’informations, consultez la documentation foreach et foreachBatch.

Améliorations

• Génération plus rapide de résultats de sortie et/ou nettoyage d’état à l’aide d’opérations avec état (mapGroupsWithState, jointure enter flux, agrégation de diffusion en continu, diffusion en continu dropDuplicates) lorsqu’il n’y a aucune donnée dans le flux d’entrée.

Résolution des bogues

• Correction du bogue de correction Spark-24588 dans la jointure entre flux où la jointure a rapporté moins de résultats lorsqu’il existe une répartition explicite avant celle-ci (par exemple, df1.repartition("a", "b").join(df, "a")).

Autres changements et améliorations

• Ajout de la prise en charge de la commande SQL Deny pour les clusters prenant en charge le contrôle d’accès aux tables. Les utilisateurs peuvent désormais refuser des autorisations spécifiques de la même manière qu’auparavant. Une autorisation refusée remplace celle qui a été accordée. Les administrateurs et les propriétaires d’un objet particulier sont toujours autorisés à effectuer des actions.
• Nouvelle source de données Azure Data Lake Storage qui utilise le pilote ABFS. Voir Connexion à Azure Data Lake Storage et Blob Storage
• Mise à niveau de certaines bibliothèques Python installées :
  • pip : de 10.0.0 B2 à 10.0.1
  • setuptools : de 39.0.1 à 39.2.0
  • tornado : de 5.0.1 à 5.0.2
  • wheel : 0.31.0 à 0.31.1
• Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.
• Prise en charge améliorée de Parquet
• Mise à niveau d’Apache ORC de 1.4.1 vers 1.4.3

Apache Spark

Databricks Runtime 4.2 comprend Apache Spark 2.3.1. Cette version contient tous les améliorations et correctifs inclus dans Databricks Runtime 4.1 (EoS), ainsi que les améliorations et correctifs de bogues supplémentaires suivants apportés à Spark :

• [SPARK-24588][SS] La jointure en continu devrait exiger le HashClusteredPartitioning des enfants
• [SPARK-23931][SQL] Créer arrays_zip dans function.scala @scala.annotation.varargs.
• [SPARK-24633][SQL] Corriger codegen lorsque le fractionnement est requis pour arrays_zip
• [SPARK-24578][CORE] Limiter la taille de la sous-région du tampon nio retourné
• [SPARK-24613][SQL] Le cache avec UDF n’a pas pu être mis en correspondance avec les caches dépendants suivants
• [SPARK-24583][SQL] Type de schéma incorrect dans InsertIntoDataSourceCommand
• [SPARK-24565][SS] Ajouter une API pour dans un flux structuré pour l’exposition de lignes de sortie de chaque microlot en tant que DataFrame
• [SPARK-24396][SS][PYSPARK] Ajouter des flux structurés ForeachWriter structurés pour Python
• [SPARK-24216][SQL] Spark TypedAggregateExpression utilise getSimpleName, qui n’est pas sécurisé dans Scala
• [SPARK-24452][SQL][CORE] Évite tout dépassement possible dans int add ou multiple
• [SPARK-24187][R][SQL] Ajouter la fonction array_join à SparkR
• [SPARK-24525][SS] Fournir une option permettant de limiter le nombre de lignes dans un MemorySink
• [SPARK-24331][SPARKR][SQL] Ajout d’arrays_overlap, array_repeat, map_entries à SparkR
• [SPARK-23931][SQL] Ajouter la fonction arrays_zip à Spark SQL
• [SPARK-24186][R][SQL] Modification inverse et concat des fonctions de collection dans R
• [SPARK-24198][SPARKR][SQL] Ajout d’une fonction de tranche à SparkR
• [SPARK-23920][SQL] Ajout de la fonction array_remove pour supprimer tous les éléments qui correspondent à un élément du tableau
• [SPARK-24197][SPARKR][SQL] Ajout d’une fonction array_sort à SparkR
• [SPARK-24340][CORE] Nettoyer les fichiers du gestionnaire de bloc de disque non aléatoires après l’arrêt de l’exécuteur sur un cluster autonome
• [SPARK-23935][SQL] Ajout d’une fonction map_entries
• [SPARK-24500][SQL] Garantir que les flux sont matérialisés au cours des transformations d’arborescence.
• [SPARK-24495][SQL] EnsureRequirement retourne un plan incorrect lors de la réorganisation des clés égales
• [SPARK-24506][UI] Ajouter des filtres de l’interface utilisateur aux onglets ajoutés après la liaison
• [SPARK-24468][SQL] Gérer l’échelle négative lors de l’ajustement de la précision pour les opérations décimales
• [SPARK-24313][SQL] Correction de l’évaluation interprétée des opérations de collection pour les types complexes
• [SPARK-23922][SQL] Ajouter une fonction arrays_overlap
• [SPARK-24369][SQL] Gestion correcte pour plusieurs agrégations distinctes avec le même ensemble d’arguments
• [SPARK-24455][CORE] Correction des fautes de frappe dans le commentaire TaskSchedulerImpl
• [SPARK-24397][PYSPARK] Ajout de TaskContext.getLocalProperty(key) dans Python
• [SPARK-24117][SQL] Unification de getSizePerRow
• [SPARK-24156][SS] Correction de l’erreur lors de la récupération à partir de l’échec dans un lot sans données
• [SPARK-24414][UI] Calcule le nombre correct de tâches pour une étape.
• [SPARK-23754][Python] Re-déclencher StopIteration dans le code client
• [SPARK-23991][DSTREAMS] Corriger la perte de données lorsque l’écriture WAL échoue dans allocateBlocksToBatch
• [SPARK-24373][SQL] Ajouter AnalysisBarrier à l’enfant de RelationalGroupedDataset et KeyValueGroupedDataset
• [SPARK-24392][PYTHON] Étiquette pandas_udf comme expérimentale
• [SPARK-24334] Une condition de concurrence critique dans ArrowPythonRunner provoque un arrêt incorrect de l’allocateur de mémoire de la flèche
• [SPARK-19112][CORE] Ajouter des shortCompressionCodecNames manquants à la configuration.
• [SPARK-24244][SPARK-24368][SQL] transmission uniquement des colonnes requises à l’analyseur CSV
• [SPARK-24366][SQL] Amélioration des messages d’erreur pour la conversion de type
• [SPARK-24371][SQL] Ajout de isInCollection dans l’API tableau pour Scala...
• [SPARK-23925][SQL] Ajouter une fonction de collection array_repeat
• [MINOR] Ajouter une configuration de port SSL dans toString et scaladoc
• [SPARK-24378][SQL] correction date_trunc exemple de fonction incorrecte
• [SPARK-24364][SS] Empêcher InMemoryFileIndex d’échouer si le chemin d’accès au fichier n’existe pas
• [SPARK-24257][SQL] LongToUnsafeRowMap calculer la nouvelle taille peut être incorrecte
• [SPARK-24348][SQL] element_at”, correction d’erreur
• [SPARK-23930][SQL] ajouter une fonction de tranche
• [SPARK-23416][SS] ajoutez une méthode d’arrêt spécifique pour ContinuousExecution.
• [SPARK-23852][SQL] mettre à niveau vers Parquet 1.8.3
• [SPARK-24350][SQL] corrige ClassCastException dans la fonction « array_position »
• [SPARK-24321][SQL] extrait le code commun de la division/du reste vers une caractéristique de base
• [SPARK-24309][CORE] AsyncEventQueue doit s’arrêter en cas d’interruption.
• [SPARK-23850][SQL] Ajouter une configuration distincte pour les options de rédaction SQL.
• [SPARK-22371][CORE] retourne None au lieu de lever une exception lorsqu’un accumulateur est récupéré par le gaspillage collecté.
• [SPARK-24002][SQL] tâche non sérialisable due à org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
• [SPARK-23921][SQL] Ajouter une fonction array_sort
• [SPARK-23923][SQL] ajouter une fonction de cardinalité
• [SPARK-24159][SS] activer les microlots sans données pour la diffusion en continu mapGroupswithState
• [SPARK-24158][SS] activer les lots sans données pour les jointures de diffusion en continu
• [SPARK-24157][SS] activation de lots sans données dans MicroBatchExecution pour l’agrégation et la déduplication de streaming
• [SPARK-23799][SQL] FilterEstimation.evaluateInSet génère des statistiques erronées pour la chaîne
• [SPARK-17916] Correction de la chaîne vide étant analysée comme Null lorsque nullValue est défini.
• [SPARK-23916][SQL] Ajouter une fonction array_join
• [SPARK-23408][SS] synchroniser les actions AddData successives dans Streaming*JoinSuite
• [SPARK-23780][R] échec de l’utilisation de la bibliothèque googleVis avec la nouvelle SparkR
• [SPARK-23821][SQL] fonction de collection : aplatissement
• [SPARK-23627][SQL] fournir isEmpty dans le jeu de données
• [SPARK-24027][SQL] prend en charge MapType avec StringType pour les clés comme type racine en from_json
• [SPARK-24035][SQL] syntaxe SQL pour l’avertissement antlr de correction de tableau croisé dynamique
• [SPARK-23736][SQL] extension de la fonction concat pour prendre en charge les colonnes de tableau
• [SPARK-24246][SQL] Améliorer AnalysisException en définissant la cause lorsqu’elle est disponible
• [SPARK-24263][R] SparkR vérification Java avec openjdk
• [SPARK-24262][Python] Correction des fautes de frappe dans le message d’erreur de correspondance de type UDF
• [SPARK-24067][STREAMING][KAFKA] Autoriser les décalages non consécutifs
• [SPARK-10878][CORE] Corriger la condition de concurrence lorsque plusieurs clients résolvent des artefacts en même temps
• [SPARK-19181][CORE] Correction de la « métrique SparkListenerSuite.local »
• [SPARK-24068] Propagation des options de DataFrameReader vers la source de données Texte lors de l’inférence du schéma
• [SPARK-24214][SS] corriger toJSON pour StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
• [SPARK-23919][SPARK-23924][SPARK-24054][SQL] ajouter une fonction array_position/element_at
• [SPARK-23926][SQL] extension de la fonction inversée pour prendre en charge les arguments ArrayType
• [SPARK-23809][SQL] La session SparkSession active doit être définie par getOrCreate
• [SPARK-23094][SPARK-23723][SPARK-23724][SQL] prendre en charge l’encodage personnalisé pour les fichiers json
• [SPARK-24035][SQL] syntaxe de SQL pour le tableau croisé dynamique
• [SPARK-24069][R] Ajouter des fonctions de array_min/array_max
• [SPARK-23976][CORE] détecter un dépassement de longueur dans UTF8String.concat()/ByteArray.concat()
• [SPARK-24188][CORE] restaurer le point de terminaison de l’API « /version ».
• [SPARK-24128][SQL] Mention de l’option de configuration dans l’erreur CROSS JOIN implicite
• [SPARK-23291][SQL][R] La fonction 'substr' de R ne doit pas réduire la position de départ de 1 lorsqu'on appelle l'API Scala.
• [SPARK-23697][CORE] LegacyAccumulatorWrapper doit définir isZero correctement
• [SPARK-24168][SQL] WindowExec ne doit pas accéder à SQLConf côté exécuteur
• [SPARK-24143] filtrer les blocs vides lors de la conversion de mapstatus en paire (blockId, taille)
• [SPARK-23917][SPARK-23918][SQL] ajouter une fonction array_max/array_min
• [SPARK-23905][SQL] ajouter un jour de la semaine UDF
• [SPARK-16406][SQL] améliorer les performances de LogicalPlan.resolve
• [SPARK-24013][SQL] supprimer la compression inutile dans ApproximatePercentile
• [SPARK-23433][CORE] achèvements tardifs des tâches de mise à jour de tous les ensembles de tâches
• [SPARK-24169][SQL] JsonToStructs ne doit pas accéder à SQLConf côté exécuteur
• [SPARK-24133][SQL] rétroporter [SPARK-24133]vérifier les débordements d’entiers lors du redimensionnement de WritableColumnVectors
• [SPARK-24166][SQL] InMemoryTableScanExec ne doit pas accéder à SQLConf côté exécuteur
• [SPARK-24133][SQL] vérifier les débordements d’entiers lors du redimensionnement de WritableColumnVectors
• [SPARK-24085][SQL] la requête retourne UnsupportedOperationException quand une sous-requête scalaire est présente dans l’expression de partitionnement
• [SPARK-24062][THRIFT SERVER] corriger le chiffrement SASL ne peut pas activer le problème dans le serveur Thrift
• [SPARK-23004][SS] Assurez-vous que StateStore.commit n’est appelé qu’une seule fois dans une tâche d’agrégation de streaming
• [SPARK-23188][SQL] rendre la taille de lot du lecteur de coversion vectorielle configurable
• [SPARK-23375][SPARK-23973][SQL] éliminer le tri inutile dans l’optimiseur
• [SPARK-23877][SQL] utiliser des prédicats de filtre pour nettoyer les partitions dans les requêtes de métadonnées uniquement
• [SPARK-24033][SQL] correction de l’incompatibilité du cadre de fenêtre specifiedwindowframe(RowFrame, -1, -1)
• [SPARK-23340][SQL] mettre à niveau Apache ORC vers 1.4.3
• Corriger un problème de vérification de la valeur null manquante qui est plus susceptible d’être déclenchée par la génération de code d’expression rationalisée, et exposée par SPARK-23986, car il rend le code source généré un peu plus longtemps et a déclenché le chemin de code problématique (fractionnement du code par Expression.reduceCodeSize()).
• [SPARK-23989][SQL] exchange doit copier les données avant une lecture aléatoire non sérialisée
• [SPARK-24021][CORE] correction du bug dans la fonction updateBlacklistForFetchFailure du BlacklistTracker
• [SPARK-24014][PYSPARK] ajouter la méthode onStreamingStarted à StreamingListener
• [SPARK-23963][SQL] Gère correctement un grand nombre de colonnes dans une requête sur une table Hive textuelle
• [SPARK-23948] Déclencher l’écouteur de travail de mapstage dans submitMissingTasks
• [SPARK-23986][SQL] freshName peut générer des noms non uniques
• [SPARK-23835][SQL] Ajouter une vérification non null aux arguments de désérialisation de Tuples

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 4.2.

Environnement du système

• Système d’exploitation : Ubuntu 16.04.4 LTS
• Java : 1.8.0_162
• Scala : 2.11.8
• Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
• R : R version 3.4.4 (2018-03-15)
• Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
  • Pilote Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Bibliothèques Python installées

Bibliothèques R installées

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)