Databricks Runtime 7.5 (EoS)

Databricks a publié cette version en décembre 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 7.5, avec Apache Spark 3.0.

Nouvelles fonctionnalités

Améliorations et fonctionnalités de Delta Lake

Cette version fournit les améliorations et fonctionnalités de Delta Lake suivantes :

• Le point de contrôle asynchrone élimine les pics de durée des micro-lots en continu
• Les dernières informations sur la table sont désormais propagées aux catalogues
• L’opération MERGE INTO prend désormais en charge l’évolution du schéma des colonnes imbriquées
• L’opération MERGE INTO utilise désormais automatiquement les écritures optimisées
• Les opérations MERGE INTO et UPDATE résolvent désormais les colonnes struct imbriquées par nom
• CLONE est en disponibilité générale et vous pouvez maintenant remplacer les propriétés de la table
• RESTORE est en disponibilité générale
• Les implicites Scala simplifient les API de lecture et d’écriture Spark
• Améliorer le débit de diffusion en continu avec l’option de connecteur fetchParallelism
• Suivre la progression des flux avec les nouvelles métriques d’Auto Loader

Le point de contrôle asynchrone élimine les pics de durée des micro-lots en continu

Par défaut, Delta Lake effectue des points de contrôle toutes les 10 validations. Dans les charges de travail de diffusion en continu, les points de contrôle peuvent entraîner des pics mineurs pendant la durée du micro-lot toutes les 10 validations. Le point de contrôle asynchrone élimine ces pics.

Le point de contrôle asynchrone est activé par défaut pour toutes les charges de travail de diffusion en continu sans déclenchement. Avec le point de contrôle asynchrone, les enregistreurs de diffusion en continu écrivent également des points de contrôle améliorés afin que vous n’ayez pas besoin d’opter explicitement pour des points de contrôle améliorés.

Pour désactiver les points de contrôle asynchrones, définissez la configuration spark.databricks.delta.checkpoint.async.enabled false de SQL.

Les charges de travail par lots continuent à écrire des points de contrôle de façon synchrone et nous vous recommandons d’activer les points de contrôle asynchrones pour les charges de travail par lots.

Les dernières informations sur la table sont désormais propagées aux catalogues

Delta Lake propage désormais les informations les plus récentes sur les tables, telles que les propriétés de schéma et de table, aux catalogues tels que le metastore Hive, pour une base optimale. Ces informations peuvent vous aider à tirer parti des outils de catalogue pour comprendre le schéma de vos tables Delta.

Delta Lake ne dépend pas en interne de ces informations, mais tente de les tenir à jour. En outre, Delta Lake stocke les propriétés delta.lastUpdateVersion de table et delta.lastCommitTimestamp indique la version et l’horodateur de la validation qui a fait l’objet d’un push d’une modification apportée au metastore. Le magasin de clés est mis à jour uniquement lorsque le schéma de la table ou les propriétés de la table ne correspondent pas. Par conséquent, les propriétés de table mentionnées ci-dessus ne reflètent pas nécessairement la version la plus récente de la table.

Si les informations de votre table et les informations du metastore ne sont pas synchronisées, vous pouvez exécuter une commande telle que DESCRIBE <table> pour mettre à jour le metastore.

L’opération MERGE INTO prend désormais en charge l’évolution du schéma des colonnes imbriquées

L’évolution du schéma des colonnes imbriquées a désormais la même sémantique que celle des colonnes de niveau supérieur. Par exemple, de nouvelles colonnes imbriquées peuvent être automatiquement ajoutées à une colonne StructType. Pour plus d’informations, consultez Évolution automatique du schéma dans la fusion.

L’opération MERGE INTO utilise désormais automatiquement les écritures optimisées

Les écritures optimisées peuvent offrir de meilleures performances pour la commande MERGE INTO en particulier pour MERGE INTO sur les tables partitionnées. Pour désactiver les écritures optimisées, définissez la configuration Spark spark.databricks.delta.optimizeWrite.enabled sur false.

Les opérations MERGE INTO et UPDATE résolvent désormais les colonnes struct imbriquées par nom

Les commandes et les opérations UPDATE et MERGE INTO résolvent désormais les colonnes struct imbriquées par nom. Autrement dit, lors de la comparaison ou de l’affectation de colonnes de type StructType, l’ordre des colonnes imbriquées n’a pas d’importance (exactement de la même façon que l’ordre des colonnes de niveau supérieur). Pour rétablir la résolution par position, définissez la configuration Spark spark.databricks.delta.resolveMergeUpdateStructsByName.enabled sur false.

CLONE est en disponibilité générale et vous pouvez maintenant remplacer les propriétés de la table

La commande CLONE est désormais en disponibilité générale. Voir CREATE TABLE CLONE. En outre, vous pouvez maintenant spécifier des remplacements de propriété de table lors de l’utilisation de CLONE. Pour obtenir des exemples, consultez Cloner une table sur Azure Databricks.

RESTORE est en disponibilité générale

La commande RESTORE est désormais en disponibilité générale. Voir RESTORE.

Les implicites Scala simplifient les API de lecture et d’écriture Spark

Vous pouvez importer io.delta.implicits._ pour utiliser la méthode delta avec les API de lecture et d’écriture Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Améliorer le débit de diffusion en continu avec l’option de connecteur fetchParallelism

Le connecteur AQS prend désormais en charge une nouvelle option fetchParallelism pour spécifier le parallélisme permettant d’extraire des messages du service de file d’attente.

Suivre la progression des flux avec les nouvelles métriques d’Auto Loader

Auto Loader signale maintenant le nombre de fichiers présents dans le backlog et la taille du backlog après chaque lot. Vous pouvez utiliser ces métriques pour suivre la progression des flux. Pour plus d’informations sur l’affichage des métriques, consultez Qu’est-ce que Auto Loader ?.

Améliorations

Support plus large des bibliothèques de portée notebook à l’aide des commandes magic %pip et %conda

Vous pouvez maintenant installer des bibliothèques de portée notebook à l’aide des commandes magic %pip et %conda sur des clusters à haute concurrence avec des ACL de table ou des informations d’identification activées.

Affichage précis de DECIMAL du langage Spark SQL

Le type de données Spark SQL DECIMAL s’affiche désormais dans des tables sans perte de précision et d’échelle.

Connecteur de stockage ADLS Gen 2 basé sur Hadoop 3.3 pour ABFS

Une version mise à niveau du connecteur de stockage ADLS Gen 2 est basée sur Hadoop 3.3 pour ABFS. Le connecteur mis à niveau contient de nombreuses améliorations de stabilité (voir Stabilité Hadoop) et inclut le support de l’authentification de jeton SAS.

Autres correctifs

Le connecteur Databricks Kafka pour Spark Streaming a été supprimé. Utilisez le connecteur Apache Spark.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • koalas mis à niveau de la version 1.3.0 vers la version 1.4.0.
• Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.
• Mise à niveau de la build OpenJDK 8 vers Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 comprend Apache Spark 3.0.1. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 7.4 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-33611] [UI] Éviter de coder deux fois le paramètre de requête de l’URL du proxy réécrite
• [SPARK-33587] [CORE] Tuer l’exécuteur en cas d’erreurs irrécupérables imbriquées (7.x)
• [SPARK-33140] [SQL] Rétablir le code qui n’utilise pas le SparkSession passé pour obtenir SQLConf.
• [SPARK-33472] [SQL] Ajuster l’ordre des règles de RemoveRedundantSorts
• [SPARK-33422] [DOC] Corriger l’affichage correct de l’élément de menu de gauche
• [SPARK-27421] [SQL] Correction du filtre pour la colonne int et la classe de valeur java.lang.String lors de l’élagage de la colonne de partition
• [SPARK-33483] [INFRA][tests] Corriger les modèles d’exclusion de rat et ajouter une LICENCE
• [SPARK-33464] [INFRA] Ajouter/supprimer un cache nécessaire (ou non) et restructurer le fichier yaml de GitHub Actions
• [SPARK-33407] [PYTHON][7.x] Simplifiez le message d’exception des fonctions définies par l’utilisateur Python (désactivés par défaut)
• [SPARK-33435] [SQL] DSv2 : REFRESHREFRESH TABLE doit invalider les caches référençant la table
• [SPARK-33358] [SQL] Code de retour lors de l’échec du processus de commande
• [SPARK-33183] [DBCONNECT] Ajout de RemoveRedundantSorts.scala à ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE doit invalider le cache même si la table elle-même ne peut pas être mise en cache
• [SPARK-33140] [SQL] Correction de la compilation delta
• [SPARK-33316] [SQL] Ajout de tests unitaires pour from_avro et to_avro avec le registre de schémas et le schéma Avro pouvant accepter la valeur Null fourni par l’utilisateur
• [SPARK-33404] [SQL] Correction des résultats incorrects dans l’expression date_trunc
• [SPARK-33339] [PYTHON] L’application Pyspark se bloque en raison d’une erreur de non-exception
• [SPARK-33412] [SQL] OverwriteByExpression doit résoudre sa condition de suppression en fonction de la relation de table et non de la requête d’entrée
• [SPARK-33391] [SQL] element_at avec CreateArray ne respecte pas un index de base
• [SPARK-33316] [SQL] Prise en charge du schéma Avro pouvant accepter la valeur Null et fourni par l’utilisateur pour le schéma catalytique ne pouvant pas accepter la valeur Null dans l’écriture Avro
• [SPARK-33372] [SQL] Correction du nettoyage de compartiment InSet
• [SPARK-33371] [PYTHON] Mise à jour de setup.py et des tests pour Python 3.9
• [SPARK-33140] [SQL] Supprimer SQLConf et SparkSession dans une sous-classe de Rule[QueryPlan]
• [SPARK-33338] [SQL] GROUP BY avec utilisation de la mappe littérale ne doit pas échouer
• [SPARK-33306] [SQL]Le fuseau horaire est nécessaire pour convertir une date en chaîne
• [SPARK-33284] [WEB-UI] Dans la page de l’interface utilisateur du stockage, le fait de cliquer sur un champ pour trier le tableau entraîne la perte du contenu de l’en-tête
• [SPARK-33362] [SQL] skipSchemaResolution doit toujours exiger la résolution de la requête
• [SPARK-32257] [SQL] Signale des erreurs explicites pour l’utilisation non valide de la commande SET/RESET
• [SPARK-32406] [SQL] Rendre la syntaxe de RESET capable de prendre en charge la réinitialisation unique de la configuration
• [SPARK-32376] [SQL] Faire fonctionner le comportement de remplissage nul de unionByName avec les colonnes struct
• [SPARK-32308] [SQL] Déplacer la logique de résolution par nom de unionByName du code API vers la phase d’analyse
• [SPARK-20044] [UI] Support de l’interface utilisateur Spark derrière le proxy inverse frontal en utilisant un préfixe de chemin d’accès Revert proxy url
• [SPARK-33268] [SQL][python] Correction des bogues pour la conversion de données depuis/vers PythonUserDefinedType
• [SPARK-33292] [SQL] Supprimer l’ambiguïté de la représentation de chaîne littérale ArrayBasedMapData
• [SPARK-33183] [SQL] Correction de la règle d’optimiseur EliminateSorts et ajout d’une règle physique pour supprimer les tris redondants
• [SPARK-33272] [SQL] Nettoie le mappage des attributs dans QueryPlan.transformUpWithNewOutput
• [SPARK-32090] [SQL] Améliorer UserDefinedType.equal() pour la rendre symétrique
• [SPARK-33267] [SQL] Correction du problème NPE sur le filtre « In » lorsque l’une des valeurs contient null
• [SPARK-33208] [SQL] Mettre à jour le document de SparkSession#sql
• [SPARK-33260] [SQL] Correction des résultats incorrects de SortExec lorsque la valeur de sortOrder est Stream
• [SPARK-33230] [SQL] Les committers Hadoop obtiennent un ID de travail unique dans « spark.sql.sources.writeJobUUID »
• [SPARK-33197] [SQL] Apporter des modifications à spark.sql.analyzer.maxIterations pour qu’elles prennent effet au moment de l’exécution
• [SPARK-33228] [SQL] Ne pas annuler la mise en cache des données lors du remplacement d’une vue ayant le même plan logique
• [SPARK-32557] [CORE] Journalisation et ingestion de l’exception par entrée dans le serveur d’historique
• [SPARK-32436] [CORE] Initialiser numNonEmptyBlocks dans HighlyCompressedMapStatus.readExternal
• [SPARK-33131] [SQL] La correction des jeux de regroupement avec la clause HAVING ne peut pas résoudre le nom de colonne qualifié
• [SPARK-32761] [SQL] Autoriser l’agrégation de plusieurs expressions distinctes pliables
• [SPARK-33094] [SQL] Faire en sorte que le format ORC propage la configuration Hadoop des options DS au système de fichiers HDFS sous-jacent

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 7.5.

Environnement du système

• Système d’exploitation : Ubuntu 18.04.5 LTS
• Java : Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
• Scala : 2.12.10
• Python : 3.7.5
• R : R version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/11/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)