Databricks Runtime 7.2 (EoS)

Databricks a publié cette version en août 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 7.2, avec Apache Spark 3.0.

Nouvelles fonctionnalités

Databricks Runtime 7.2 comprend les nouvelles fonctionnalités suivantes.

La fonction Charge automatique est disponible de façon générale

La fonction Charge automatique est une méthode efficace pour l’ingestion incrémentielle d’un grand nombre de fichiers dans Delta Lake. Elle est désormais en disponibilité générale et ajoute les fonctionnalités suivantes : liste des répertoires, API de gestion des ressources cloud, option de limitation du taux et validation des options.

Option du mode de liste des répertoires

La fonctionnalité Charge automatique ajoute un nouveau mode de liste de répertoires, en plus du mode de notification de fichier existant, pour déterminer le moment où de nouveaux fichiers sont présents.

• Mode de liste des répertoires : dans certains scénarios, il n’y a que quelques fichiers qui doivent être diffusés régulièrement. Dans ce cas, l’identification des nouveaux fichiers par la liste parallèle du répertoire d’entrée et leur ingestion est raisonnablement efficace. Cela vous permet de démarrer des flux de chargement automatique sans aucune configuration d’autorisation. Le mode de liste de répertoires est le mode par défaut pour le la Charge automatique à partir de Databricks Runtime 7.2 et versions ultérieures.
• Mode de notification de fichier : vous pouvez explicitement choisir le mode de notification fichier, qui est plus performant et évolutif pour les répertoires d’entrée volumineux. Cependant, il vous oblige à configurer des autorisations pour que le service de notification s’abonne aux événements de fichier et à configure .option("cloudFiles.useNotifications", "true"). Les flux de la fonction Charge automatique existants démarrés sur Databricks Runtime 7.1 et versions antérieures s’abonnent automatiquement au mode de notification de fichier lors de la mise à niveau vers Databricks Runtime 7.2.

Pour plus d’informations, consultez Qu’est-ce que Auto Loader ?.

API de gestion des ressources cloud

Vous pouvez maintenant utiliser notre API Scala pour gérer les ressources cloud créées par la Charge automatique. Vous pouvez répertorier les services de notification et supprimer des services de notification spécifiques à l’aide de cette API. Pour plus d’informations, consultez Configurer ou gérer manuellement les ressources de notification de fichiers.

Option de limitation du débit

Vous pouvez maintenant utiliser l’option cloudFiles.maxBytesPerTrigger pour limiter la quantité de données traitées dans chaque microlot. Vous pouvez spécifier une chaîne d’octets comme 10g pour limiter chaque microlot à 10 Go de données. Il s’agit d’une valeur maximale non stricte. Si vous avez des fichiers de 3 Go chacun, Azure Databricks traite 12 Go dans un microlot. Cette option n’a aucun effet lorsqu’elle est utilisée avec Trigger.Once(). Lorsque cette option n’est pas indiquée, la valeur par défaut de cloudFiles.maxFilesPerTrigger sur 1 000 fichiers est utilisée pour la limitation du débit. En cas d’utilisation avec cloudFiles.maxFilesPerTrigger, Azure Databricks consomme jusqu’à la limite inférieure de cloudFiles.maxFilesPerTrigger ou cloudFiles.maxBytesPerTrigger , selon ce qui est atteint en premier.

Pour plus d’informations, consultez Qu’est-ce que Auto Loader ?.

Validation de l’option

La Charge automatique valide désormais les options que vous fournissez. Si vous fournissez une option inconnue, la Charge automatique renvoie une erreur au lieu d’ignorer l’option silencieusement. La validation détecte également les incohérences dans les options fournies. Par exemple, si vous affectez cloudFiles.useNotifications à false et que vous fournissez en même temps des options d’autorisation pour Azure Event Grid et les services Stockage File d’attente, validation échouera. Pour ignorer la validation de l’option, affectez cloudFiles.validateOptions à false.

Modifications des valeurs d’option par défaut et compatibilité

Le comportement par défaut de certaines options de Charge automatique a changé dans Databricks Runtime 7.2. Pour garantir la compatibilité, le comportement des flux démarrés sur Databricks Runtime 7.1 et les versions antérieures reste inchangé, même après la mise à niveau?+? exécutant de tels flux sur un cluster avec Databricks Runtime 7.2 ou version ultérieure. Consultez Qu’est-ce que Auto Loader ?.

Copier efficacement une table Delta avec clone (préversion publique)

Vous pouvez maintenant créer efficacement un clone superficiel ou profond d’une table Delta sur une version spécifique avec la commande clone. Un clone profond est un clone autonome d’une table Delta formé en copiant les fichiers en parallèle de la table source vers la table cible. Un clone peu profond est un clone créé à bas prix qui ne copie pas de fichiers dans la table cible, mais pointe vers des fichiers dans la table d’origine. Toute modification apportée à un clone profond ou superficiel affecte uniquement le clone et non la table d’origine. Consultez Cloner une table sur Azure Databricks.

Améliorations

• Connecteur Snowflake : le connecteur a été mis à niveau vers la version 2.8.1, qui inclut la prise en charge de Spark 3.0.

• Utilisation de PySpark : lorsqu’un fichier PySpark ou UDF pandas échoue, Azure Databricks présente maintenant l’exception côté Python et la dernière ligne de code notebook exécutée (le cas échéant) en haut du message d’erreur.

• Passage des informations d’identification :

  • Vous pouvez désormais utiliser la fonction de transformation LDA sur un cluster avec accès direct.
  • Vous pouvez désormais définir le répertoire de point de contrôle de stockage sur un cluster avec accès direct.

• Bibliothèques de cluster : Azure Databricks traite désormais toutes les bibliothèques de cluster dans l’ordre dans lequel elles ont été installées sur le cluster. Sur Databricks Runtime 7.1 et les versions antérieures, seules les bibliothèques Maven et CRAN ont été traitées dans l’ordre dans lequel elles ont été installées sur le cluster. D’autres bibliothèques ont été installées dans un ordre non déterministe.

• TensorBoard :

  • Gérer les processus TensorBoard avec l’API tensorboard.notebook.
  • Plusieurs serveurs principaux TensorBoard peuvent s’exécuter sur un seul cluster.
  • Dans les notebooks Python, affichez l’interface utilisateur TensorBoard en ligne à l’aide de la commande de ligne Magic %tensorboard.
  • dbutils.tensorboard est déconseillé.

  Consultez Tensorboard.

• Bibliothèques Python mises à niveau :

  • jmespath mise à niveau de 0.9.4 vers 0.10.0.
  • koalas mise à niveau de 1.0.1 vers 1.1.0.

• Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.

Apache Spark

Databricks Runtime 7.2 comprend Apache Spark 3.0.0. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 7.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-32234][SQL] Les commandes SQL Spark échouent lors de la sélection des tables ORC
• [SPARK-30616] [SQL] Présenter l’option de configuration TTL pour le cache des métadonnées SQL
• [SPARK-21117] [SQL] Prise en charge intégrée des fonctions SQL intégrées — WIDTH_BUCKET
• [SPARK-32168] [SQL] Correction du bogue de l’exactitude du partitionnement masqué en remplacement SQL
• [SPARK-31935] La configuration du système de fichiers Hadoop doit être appliquée dans les options de source de données
• [SPARK-32270] [SQL] Utiliser TextFileFormat dans l’inférence de schéma de CSV avec un encodage différent
• [SPARK-28481] [SQL] D’autres expressions doivent étendre NullIntolerant
• [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Le conseil ne doit pas modifier le résultat de jointure de produit non cartésien
• [SPARK-32232] [ML][pyspark] Vérifiez que ML possède les mêmes valeurs de solveur par défaut entre Scala et Python
• [SPARK-32238][SQL] Utiliser Utils.getSimpleName pour éviter de rencontrer un nom de classe malformé dans ScalaUDF
• [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Le conseil ne doit pas modifier le résultat de jointure de produit non cartésien
• [SPARK-32256] [SQL] Forcer à initialiser Hadoop VersionInfo dans HiveExternalCatalog
• [SPARK-32159] [SQL] Correction de l’intégration entre Aggregator[Array[_], _, _] et UnresolvedMapObjects
• [SPARK-32160] [CORE][pyspark] Interdire la création d'un SparkContext dans les exécutants
• [SPARK-32168] [SQL] Correction du bogue de l’exactitude du partitionnement masqué en remplacement SQL
• [SPARK-32024] [WEBUI] Mettre à jour ApplicationStoreInfo.size pendant l’initialisation de HistoryServerDiskManager
• [SPARK-32214] [SQL] La fonction de conversion type générée dans makeFromJava pour le type « other » utilise une variable incorrecte
• [SPARK-30703] [SQL] Mettre à jour un commentaire non valide SqlBase.g4
• [SPARK-32163] [SQL] Le nettoyage imbriqué doit fonctionner même avec des variations cosmétiques
• [SPARK-32124] [CORE] Utiliser la valeur non valide Int.MinValue pour remplir l’index de mappage lorsque l’événement se journalise depuis l’ancienne version Spark
• [SPARK-32167] [ SQL] Correction de GetArrayStructFields pour respecter la nullabilité du champ interne ensemble
• [SPARK-32130] [SQL] Activer l’inférence des timestamps dans JsonBenchmark
• [Spark-32121] [SHUFFLE] Système d’exploitation Support Windows dans ExecutorDiskUtils
• [SPARK-32130] [SQL] Désactiver l’option JSON inferTimestamp par défaut
• [SPARK-31935] [SQL] La configuration du système de fichiers Hadoop doit être appliquée dans les options de source de données
• [SPARK-32095] [SQL] Mettre à jour la documentation pour refléter l’utilisation des statistiques mises à jour
• [SPARK-32131] [SQL] Correction des messages AnalysisException à des opérations UNION/EXCEPT/MINUS
• [SPARK-32068] [Webui] Corriger la tâche lauchtime affiche le problème dû au fuseau horaire dans l’onglet d’index
• [SPARK-29999] [SS] Corriger le test pour vérifier le répertoire du journal des métadonnées réel
• [SPARK-32127] [SQL] Les règles de vérification pour MERGE INTO doivent utiliser un élément MergeAction.conditition autre que MergeAction.children
• [SPARK-32038] [SQL] Rendre le nom d’alias élégant après la normalisation float/double
• [SPARK-32126] [SS] Étendue Session.active dans IncrementalExecution
• [SPARK-32115] [SQL] Corriger SUBSTRING pour gérer les dépassements d’entiers
• [SPARK-32098] [PYTHON] Utiliser iloc pour le découpage positionnel au lieu du découpage direct dans createDataFrame à l’aide de la flèche
• [SPARK-32080][SPARK-31998] [SQL] Simplifier l’accesseur ListArray ArrowColumnVector
• [SPARK-32028] [WEBUI] Correction du lien de l’ID d’application pour l’application de plusieurs tentatives dans la page de résumé de l’historique
• [SPARK-31918] [R] Ignorer les méthodes génériques S4 sous l’espace de noms SparkR dans le nettoyage de la fermeture pour prendre en charge R 4.0.0+
• [SPARK-32038] [SQL] NormalizeFloatingNumbers doit également fonctionner sur un agrégat distinct
• [SPARK-32034] [SQL] Port HIVE-14817 : Arrêter correctement le thread SessionManager timeoutChecker lors de l’arrêt
• [SPARK-32021] [SQL] Augmenter la précision des secondes et des fractions de make_interval
• [SPARK-31980] [SQL] La séquence de fonction () échoue si les valeurs de début et de fin de plage sont des dates égales
• [SPARK-32020] [SQL] Message d’erreur plus performant lorsque SPARK_HOME ou SPARK.test.home n’est pas défini
• [SPARK-32011] [PYTHON][core] Supprimer les avertissements relatifs aux modes de threads pin et guide pour utiliser collectWithJobGroup

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 7.2.

Environnement du système

• Système d’exploitation : Ubuntu 18.04.4 LTS
• Java : 1.8.0_252
• Scala : 2.12.10
• Python : 3.7.5
• R : R version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées depuis l’instantané CRAN de Microsoft du 14/07/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)