Databricks Runtime 6.5 (EoS)

Databricks a publié cette version en avril 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 6.5, alimenté par Apache Spark.

Nouvelles fonctionnalités

Métriques d’opération pour toutes les écritures, mises à jour et suppressions sur une table Delta désormais affichées dans l’historique des tables

Vous pouvez maintenant voir les métriques d’opération (par exemple, le nombre de fichiers et de lignes modifiés) pour toutes les écritures, mises à jour et suppressions sur une table Delta dans l’historique de la table. La génération de ces métriques est activée par défaut. Vous pouvez voir l’historique en exécutant :

DESCRIBE HISTORY deltaTableName

Limitation du débit des données traitées dans les micro-lots de streaming Delta Lake.

Lorsque vous traitez des données à partir de Delta Lake à l’aide de structured Streaming, vous pouvez maintenant définir l’option maxBytesPerTrigger pour limiter la quantité de données traitées dans chaque micro-lot. Cela définit un « max soft », ce qui signifie qu’un lot traite approximativement cette quantité de données et peut traiter plus que la limite.

Si vous utilisez Trigger.Once pour votre streaming, cette option est ignorée. En outre, si vous utilisez cette option conjointement avec maxFilesPerTrigger, le micro-lot traite les données jusqu’à ce que la limite maxFilesPerTrigger ou maxBytesPerTrigger soit atteinte.

Améliorations

Mise à jour du connecteur Snowflake vers la version 2.5.9

Le connecteur mis à jour fait passer le pilote JDBC de Snowflake à la version 3.12.0.

Mise à niveau de Java vers la version 1.8.0_242

Cette version introduit de nouvelles vérifications des certificats d’ancre d’approbation pour s’assurer que les ancres d’approbation sont des certificats d’autorité de certification et contiennent les extensions appropriées. Les certificats d’ancrage de confiance doivent inclure une extension Contraintes de base avec le champ ca défini sur true. En outre, s’ils incluent une extension Key Usage, le bit keyCertSign doit être défini.

Si vous utilisez des certificats d’ancre d’approbation auto-signés, vous risquez de rencontrer les exceptions suivantes introduites par les nouvelles vérifications :

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Pour continuer à utiliser des certificats d’ancre d’approbation auto-signés, vous avez deux options pour résoudre les exceptions ci-dessus :

• Définissez la propriété système Java jdk.security.allowNonCaAnchor introduite avec Java 1.9.0_242 sur true pour restaurer le comportement précédent. Vous pouvez utiliser spark.driver.extraJavaOptions et spark.executor.extraJavaOptions pour définir cette propriété système sur les pilotes et exécuteurs Spark, respectivement.

• Inclure une extension Basic Constraints avec le champ ca défini sur true dans vos certificats d’ancre d’approbation. Si vos certificats d’ancrage de confiance incluent une extension d'usage de clé, définissez le bit « keyCertSign ».

  Si vous utilisez Java Keytool pour générer des paires de clés publiques/privées, définissez -ext BasicConstraints=ca:true lors de la génération de certificats d’ancre d’approbation. Si vos certificats d'ancre de confiance incluent une extension d’utilisation de clé, définissez le bit keyCertSign -ext KeyUsage=...,keyCertSign lors de la génération de certificats d'ancre de confiance.

Mise à niveau des bibliothèques R

Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.

Dépréciations

• Le package boto est déconseillé et sera supprimé dans une prochaine version majeure de Databricks Runtime. Azure Databricks vous recommande d’utiliser boto3 à la place.
• Les packages R suivants seront supprimés dans une prochaine version majeure de Databricks Runtime :
  • abind
  • bitops
  • voiture
  • données de voiture
  • doMC
  • Gbm
  • H₂O
  • plus petit
  • lme4
  • mapproj
  • cartes
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • ÉparseM
  • statmod
  • fermeture éclair

Azure Databricks recommande d’utiliser le code suivant pour installer et charger des packages R qui ne sont pas installés par Databricks Runtime :

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 comprend Apache Spark 2.4.5. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 6.4 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-27099] [SQL] Ajouter 'xxhash64' pour le hachage de colonnes arbitraires à Long
• [SPARK-26151] [SQL] Renvoie des résultats partiels pour les enregistrements CSV incorrects
• [SPARK-30927] [SS] StreamingQueryManager doit éviter de conserver une référence au StreamingQuery terminé
• [SPARK-22590] Copie de sparkContext.localproperties au thread enfant dans BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame doit utiliser un élément LocalRelation
• [SPARK-30556] [SQL] Réinitialiser l’état modifié dans SQLExecution avec ThreadLocalCaptured
• [SPARK-30763] [SQL] Correction de l’exception java.lang.IndexOutOfBoundsException Pas de groupe 1 pour regexp_extract
• [SPARK-30806] [SQL] Évalue une fois par groupe dans UnboundedWindowFunctionFrame
• [SPARK-30731] Mise à jour de l’option Mkdocs déconseillée
• [SPARK-30857] [SQL] Correction des troncations des timestamps avant l’epoch en heures et en jours
• [SPARK-30798] Étendue Session.active dans QueryExecution
• [SPARK-30793] [SQL] Correction des troncations des timestamps avant l’epoch en minutes et en secondes
• [SPARK-30826] [SQL] Respect de la casse de référence dans StringStartsWith faisant l’objet d’un pushdown en Parquet
• [SPARK-30797] [SQL] Définit l’autorisation traditionnelle utilisateur/groupe/autre sur les entrées ACL lors de la configuration des listes de contrôle d’accès dans la table tronquée
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop doit gérer les colonnes dupliquées
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill doit gérer les colonnes dupliquées
• [SPARK-30310] [CORE] Résolution de cas de correspondance manquante dans SparkUncaughtExceptionHandler et ajout de tests
• [SPARK-30512] Ajout d’un groupe de boucles d’événements dédié aux patrons

Mises à jour de maintenance

Voir Mises à jour de maintenance de Databricks Runtime 6.5.

Environnement du système

• Système d’exploitation : Ubuntu 16.04.6 LTS
• Java : 1.8.0_252
• Scala : 2.11.12
• Python : 3.7.3
• R : R version 3.6.3 (2020-02-29)
• Delta Lake : 0.5.0

Dans cette section :

• Bibliothèques Python installées
• Bibliothèques R installées
• Bibliothèques Java et Scala installées (version de cluster Scala 2.11)

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir du snapshot CRAN de Microsoft du 26/02/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)