Databricks Runtime 7.0 (EoS)

Databricks a publié cette version en juin 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 7.0, alimenté par Apache Spark 3.0.

Nouvelles fonctionnalités

Databricks Runtime 7.0 comprend les nouvelles fonctionnalités suivantes :

• Scala 2.12

  Databricks Runtime 7.0 met à niveau Scala de la version 2.11.12 vers la version 2.12.10. La liste des changements entre les versions 2.12 et 2.11 de Scala se trouve dans les notes de publication de Scala 2.12.0.

• Auto Loader (Préversion publique), lancé dans Databricks Runtime 6.4, a été amélioré dans Databricks Runtime 7.0.

  Auto Loader vous offre un moyen plus efficace de traiter les nouveaux fichiers de données de manière incrémentielle au fur et à mesure qu’ils arrivent dans un magasin d’objets blob dans le cloud pendant l’ETL. Il s’agit d’une amélioration par rapport au streaming structuré basé sur des fichiers, qui identifie les nouveaux fichiers en répertoriant de façon répétée l’annuaire cloud et en suivant les fichiers qui ont été vus, ce qui peut s’avérer très inefficace à mesure que l’annuaire s’agrandit. Le chargeur automatique est également plus pratique et efficace que le streaming structuré basé sur les notifications de fichiers, ce qui vous oblige à configurer manuellement les services de notification de fichiers sur le cloud et ne vous permet pas de recharger les fichiers existants. Pour plus d’informations, consultez Qu’est-ce que Auto Loader ?.

  Sur Databricks Runtime 7.0, vous n’avez plus besoin de demander une image Databricks Runtime personnalisée pour utiliser Auto Loader.

• COPY INTO (Préversion publique), qui vous permet de charger des données dans Delta Lake avec des nouvelles tentatives idempotentes, a été améliorée dans Databricks Runtime 7.0

  Publiée en tant que Préversion publique dans Databricks Runtime 6.4, la commande SQL COPY INTO vous permet de charger des données dans Delta Lake avec des nouvelles tentatives idempotentes. Aujourd’hui, pour charger des données dans Delta Lake, vous devez utiliser les API DataFrame Apache Spark. En cas d’échec lors des chargements, vous devez les gérer efficacement. La nouvelle commande COPY INTO fournit une interface déclarative familière pour charger des données en SQL. La commande garde la trace des fichiers précédemment chargés et vous pouvez la réexécuter en toute sécurité en cas d’échec. Pour plus d’informations, consultez COPY INTO.

Améliorations

• Le connecteur Azure Synapse (anciennement SQL Data Warehouse) prend en charge l’instruction COPY.

  Le principal avantage de COPY est que les utilisateurs moins privilégiés peuvent écrire des données dans Azure Synapse sans avoir besoin d’autorisations CONTROL strictes sur Azure Synapse.

• La commande magic %matplotlib inline n’est plus nécessaire pour afficher les objets Matplolib inclus dans les cellules du notebook. Ils sont toujours affichés inclus par défaut.

• Les figures Matplotlib sont maintenant affichées avec transparent=False, de sorte que les arrière-plans spécifiés par l’utilisateur ne sont pas perdus. Ce comportement peut être remplacé en définissant la configuration Spark spark.databricks.workspace.matplotlib.transparent true.

• Lors de l’exécution de travaux de production Structured Streaming sur des clusters en mode haute concurrence, les redémarrages d’un travail échouent occasionnellement, car le travail en cours d’exécution n’a pas été correctement arrêté. Databricks Runtime 6.3 a introduit la possibilité de définir la configuration SQL spark.sql.streaming.stopActiveRunOnRestart true sur votre cluster pour garantir l’arrêt de l’exécution précédente. Cette configuration est définie par défaut dans Databricks Runtime 7.0.

Principaux changements de bibliothèque

Packages Python

Mise à niveau des principaux packages Python :

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Packages Python supprimés :

• boto (utiliser boto3)
• pycurl

Packages R

Packages R ajoutés :

• balai
• supérieur
• isoband
• knitr
• Markdown
• modèleur
• exemple reproductible
• rmarkdown
• rvest
• sélecteur
• tidyverse
• tinytex
• xfun

Packages R supprimés :

• abind
• bitops
• voiture
• données de voiture
• doMC
• Gbm
• H₂O
• plus petit
• lme4
• mapproj
• cartes
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• rivière
• Sp
• ÉparseM
• statmod
• fermeture éclair

Bibliothèques Java et Scala

• Mise à niveau de la version d’Apache Hive utilisée pour gérer les fonctions Hive définies par l’utilisateur et Hive SerDe vers la version 2.3.
• Auparavant, les fichiers JAR de Stockage Azure et Key Vault étaient empaquetés dans le cadre de Databricks Runtime, ce qui vous empêchait d’utiliser différentes versions de ces bibliothèques attachées aux clusters. Les classes sous com.microsoft.azure.storage et com.microsoft.azure.keyvault ne sont plus sur le chemin d’accès des classes dans Databricks Runtime. Si vous dépendez de l’un de ces chemins de classe, vous devez désormais attacher le Kit de développement logiciel (SDK) Stockage Azure ou le SDK Azure Key Vault à vos clusters.

Changements de comportement

Cette section répertorie les changements de comportement entre Databricks Runtime 6.6 et Databricks Runtime 7.0. Vous devez en tenir compte lors de la migration des charges de travail des versions antérieures de Databricks Runtime vers Databricks Runtime 7.0 et versions ultérieures.

Changements de comportement de Spark

Databricks Runtime 7.0 étant la première version de Databricks Runtime qui repose sur Spark 3.0, il existe de nombreux changements dont vous devez être conscient lorsque vous migrez des charges de travail de Databricks Runtime 5.5 LTS ou 6.x, qui reposent sur Spark 2.4. Ces changements sont listés dans la section « Changements de comportement » de chaque domaine fonctionnel dans la section Apache Spark de cet article relatif aux notes de publication :

• Changements de comportement pour Spark Core, Spark SQL et Structured Streaming
• Changements de comportement pour MLlib
• Changements de comportement pour SparkR

Autres changements de comportement

• La mise à niveau vers Scala 2.12 implique les changements suivants :

  • La sérialisation des cellules du package est gérée différemment. L’exemple suivant illustre le changement de comportement et la façon de le gérer.

    L’exécution de foo.bar.MyObjectInPackageCell.run() telle que définie dans la cellule de package suivante déclenchera l’erreur java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$.

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Pour contourner cette erreur, vous pouvez envelopper MyObjectInPackageCell dans une classe sérialisable.

  • Certains cas d’utilisation de DataStreamWriter.foreachBatch requièrent une mise à jour du code source. Cette modification est due au fait que Scala 2.12 convertit automatiquement les expressions lambda en types SAM et peut provoquer une ambiguïté.

    Par exemple, le code Scala suivant ne peut pas compiler :

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Pour corriger l’erreur de compilation, remplacez foreachBatch { (df, id) => myFunc(df, id) } par foreachBatch(myFunc _) ou utilisez l’API Java explicitement : foreachBatch(new VoidFunction2 ...).

• Étant donné que la version Apache Hive utilisée pour gérer les fonctions hive définies par l’utilisateur et Hive SerDes est mise à niveau vers la version 2.3, deux modifications sont requises :
  • L’interface de SerDe Hive est remplacée par une classe AbstractSerDeabstraite. Pour toute implémentation personnalisée de Hive SerDe, la migration vers AbstractSerDe est nécessaire.
  • Le réglage de spark.sql.hive.metastore.jars sur builtin signifie que le client de metastore Hive 2.3 sera utilisé pour accéder aux metastores de Databricks Runtime 7.0. Si vous avez besoin d’accéder à des metastores externes basés sur Hive 1.2, définissez spark.sql.hive.metastore.jars sur le dossier qui contient des fichiers JAR Hive 1.2.

Désapprobations et suppressions

• L’index de saut de données a été déprécié dans Databricks Runtime 4.3 et supprimé dans Databricks Runtime 7.0. Nous vous recommandons d’utiliser des tables Delta à la place, qui offrent des capacités de saut de données améliorées.
• Dans Databricks Runtime 7.0, la version sous-jacente d’Apache Spark utilise Scala 2.12. Étant donné que les bibliothèques compilées avec Scala 2.11 peuvent désactiver les clusters Databricks Runtime 7.0. de manière inattendue, les clusters exécutant Databricks Runtime 7.0 et versions ultérieures n’installent pas les bibliothèques configurées pour être installées sur tous les clusters. L’onglet Bibliothèques du cluster affiche un état Skipped et un message de dépréciation qui explique les modifications apportées à la gestion des bibliothèques. Toutefois, si vous avez un cluster qui a été créé sur une version antérieure de Databricks Runtime avant que la version 3.20 de la plateforme Azure Databricks soit publiée dans votre espace de travail et que vous modifiez maintenant ce cluster pour utiliser Databricks Runtime 7.0, toutes les bibliothèques qui étaient configurées pour être installées sur tous les clusters seront installées sur ce cluster. Dans ce cas, tous les fichiers JAR incompatibles dans les bibliothèques installées peuvent entraîner la désactivation du cluster. La solution de contournement consiste soit à cloner le cluster, soit à créer un nouveau cluster.

Apache Spark

Databricks Runtime 7.0 comprend Apache Spark 3.0.

Dans cette section :

• Core, Spark SQL, Structured Streaming
• MLlib
• SparkR
• Dépréciations
• Problèmes connus

Core, Spark SQL, Structured Streaming

Points forts

• (Project Hydrogen) Scheduler sensible aux accélérateurs (SPARK-24615)
• Exécution adaptative des requêtes (SPARK-31412)
• Nettoyage de partition dynamique (SPARK-11150)
• API UDF pandas repensée avec des conseils de type (SPARK-28264)
• Interface utilisateur de Structured Streaming (SPARK-29543)
• API de plug-in de catalogue (SPARK-31121)
• Meilleure compatibilité ANSI SQL

Une amélioration du niveau de performance

• Exécution adaptative des requêtes (SPARK-31412)
  • Infrastructure de base (SPARK-23128)
  • Ajustement du numéro de partition après une lecture aléatoire (SPARK-28177)
  • Réutilisation dynamique des sous-requêtes (SPARK-28753)
  • Lecteur local de lecture aléatoire (SPARK-28560)
  • Optimisation de la jointure asymétrique (SPARK-29544)
  • Optimisation de la lecture des blocs de lecture aléatoire contigus (SPARK-9853)
• Nettoyage de partition dynamique (SPARK-11150)
• Autres règles de l’optimiseur
  • Règle ReuseSubquery (SPARK-27279)
  • Règle PushDownLeftSemiAntiJoin (SPARK-19712)
  • Règle PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Règle ReplaceNullWithFalse (SPARK-25860)
  • Règle Éliminer les tris sans limite dans la sous-requête de Join/Aggregation (SPARK-29343)
  • Règle PruneHiveTablePartitions (SPARK-15616)
  • Nettoyage des champs imbriqués inutiles de Generate (SPARK-27707)
  • Règle RewriteNonCorrelatedExists (SPARK-29800)
• Réduction des coûts de synchronisation du cache de table (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Fractionnement du code d’agrégation en petites fonctions (SPARK-21870)
• Ajouter le traitement par lots dans INSERT et ALTER TABLE la commande ADD PARTITION (SPARK-29938)

Améliorations de l’extensibilité

• API de plug-in de catalogue (SPARK-31121)
• Refactorisation de l’API v2 de la source de données (SPARK-25390)
• Prise en charge des metastores Hive 3.0 et 3.1 (SPARK-27970), (SPARK-24360)
• Extension de l’interface du plug-in Spark au pilote (SPARK-29396)
• Extension du système de métriques Spark avec des métriques définies par l’utilisateur en utilisant des plug-ins d’exécution (SPARK-28091)
• API de développement pour le support étendu du traitement en colonnes (SPARK-27396)
• Migration de source intégrée utilisant DSV2 : Parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Autorise FunctionInjection dans SparkExtensions (SPARK-25560)
• Autorise l’inscription de l’agrégateur en tant qu’UDAF (SPARK-27296)

Améliorations des connecteurs

• Nettoyage des colonnes à l’aide d’expressions non déterministes (SPARK-29768)
• Prise en charge de spark.sql.statistics.fallBackToHdfs dans les tables de sources de données (SPARK-25474)
• Autorise le nettoyage de partition avec des filtres de sous-requêtes sur la source du fichier (SPARK-26893)
• Évite le pushdown des sous-requêtes dans les filtres de sources de données (SPARK-25482)
• Chargement récursif de données à partir de sources de fichiers (SPARK-27990)
• Parquet/ORC
  • Pushdown des prédicats disjonctifs (SPARK-27699)
  • Généralisation du nettoyage des colonnes imbriquées (SPARK-25603) et activation par défaut (SPARK-29805)
  • Parquet uniquement
    • Pushdown des prédicats Parquet pour les champs imbriqués (SPARK-17636)
  • ORC uniquement
    • Prise en charge du schéma de fusion pour ORC (SPARK-11412)
    • Nettoyage des schémas imbriqués pour ORC (SPARK-27034)
    • Réduction de la complexité de la conversion des prédicats pour ORC (SPARK-27105, SPARK-28108)
    • Mise à niveau d’Apache ORC vers la version 1.5.9 (SPARK-30695)
• CSV
  • Prise en charge du pushdown des filtres dans les sources de données CSV (SPARK-30323)
• Hive SerDe
  • Aucune inférence de schéma lors de la lecture d’une table Hive SerDe avec une source de données native (SPARK-27119)
  • Les commandes CTAS de Hive doivent utiliser la source de données si elle est convertible (SPARK-25271)
  • Utilisation de la source de données native pour optimiser l’insertion d’une table Hive partitionnée (SPARK-28573)
• Apache Kafka
  • Ajout de la prise en charge des en-têtes Kafka (SPARK-23539)
  • Ajout de la prise en charge des jetons de délégation Kafka (SPARK-25501)
  • Introduction d’une nouvelle option dans la source Kafka : décalage par timestamp (début/fin) (SPARK-26848)
  • Prise en charge de l’option minPartitions dans la source de traitement Kafka et la source de streaming v1 (SPARK-30656)
  • Mise à niveau de Kafka vers la version 2.4.1 (SPARK-31126)
• Nouvelles sources de données intégrées
  • Nouvelles sources de données intégrées pour les fichiers binaires (SPARK-25348)
  • Nouvelles sources de données de traitement non opérationnel (SPARK-26550) et récepteur de streaming non opérationnel (SPARK-26649)

Améliorations de la fonctionnalité

• [Hydrogen] Scheduler sensible aux accélérateurs (SPARK-24615)
• Introduction d’un ensemble complet de conseils de jointure (SPARK-27225)
• Ajout du conseil PARTITION BY pour les requêtes SQL (SPARK-28746)
• Gestion des métadonnées dans le serveur Thrift (SPARK-28426)
• Ajout de fonctions d’ordre supérieur à l’API Scala (SPARK-27297)
• Prise en charge d’un contexte simple pour Tout rassembler dans une tâche de cloisonnement (SPARK-30667)
• Prise en charge du type UDT par les UDF de Hive (SPARK-28158)
• Prise en charge des opérateurs DELETE/UPDATE/MERGE dans Catalyst (SPARK-28351, SPARK-28892, SPARK-28893)
• Implémentation de DataFrame.tail (SPARK-30185)
• Nouvelles fonctions intégrées
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • n'importe lequel, chaque, certains (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extract (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • version (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Améliorations des fonctions intégrées existantes
  • Amélioration des fonctions/opérations DateHeure intégrées (SPARK-31415)
  • Prise en charge du mode FAILFAST pour from_json (SPARK-25243)
  • array_sort ajoute un nouveau paramètre de comparaison (SPARK-29020)
  • Le filtre peut désormais accepter l’index en entrée ainsi que l’élément (SPARK-28962)

Améliorations de la compatibilité SQL

• Passage au calendrier grégorien proleptique (SPARK-26651)
• Générer la propre définition de modèle datetime de Spark (SPARK-31408)
• Introduction de la stratégie d’attribution de magasin ANSI pour l’insertion de table (SPARK-28495)
• Suivi de la règle d’attribution de magasin ANSI dans l’insertion de table par défaut (SPARK-28885)
• Ajout d’un SQLConf spark.sql.ansi.enabled (SPARK-28989)
• Prise en charge de la clause ANSI SQL filter pour l’expression d’agrégation (SPARK-27986)
• Prise en charge de la fonction ANSI SQL OVERLAY (SPARK-28077)
• Prise en charge des commentaires entre crochets imbriqués ANSI (SPARK-28880)
• Exception en cas de dépassement pour les entiers (SPARK-26218)
• Vérification de dépassement pour les opérations arithmétiques sur les intervalles (SPARK-30341)
• Exception quand une chaîne non valide est castée en type numérique (SPARK-30292)
• Rendre le comportement de dépassement de capacité lors de la multiplication et de la division des intervalles cohérent avec celui des autres opérations (SPARK-30919)
• Ajout d’alias de type ANSI pour char et decimal (SPARK-29941)
• L’analyseur SQL définit des mots clés réservés conformes à ANSI (SPARK-26215)
• Interdiction des mots-clés réservés comme identifiants lorsque le mode ANSI est activé (SPARK-26976)
• Prise en charge de la syntaxe ANSI SQL LIKE ... ESCAPE (SPARK-28083)
• Prise en charge de la syntaxe ANSI SQL Boolean-Predicate (SPARK-27924)
• Meilleure prise en charge du traitement des sous-requêtes corrélées (SPARK-18455)

Améliorations du monitoring et de la capacité de débogage

• Nouvelle interface utilisateur de Structured Streaming (SPARK-29543)
• SHS : Permet aux journaux des événements des applications de streaming en cours d’exécution d’être transférés (SPARK-28594)
• Ajout d’une API qui permet à un utilisateur de définir et d’observer des métriques arbitraires sur des requêtes de traitement et de streaming (SPARK-29345)
• Instrumentation pour le suivi du temps de planification par requête (SPARK-26129)
• Place les métriques de lecture aléatoire de base dans l’opérateur SQL exchange (SPARK-26139)
• L’instruction SQL est affichée dans l’onglet SQL au lieu du site d’appel (SPARK-27045)
• Ajout d’une info-bulle à l’interface utilisateur de Spark (SPARK-29449)
• Amélioration des performances simultanées du serveur d’historique (SPARK-29043)
• Commande EXPLAIN FORMATTED (SPARK-27395)
• Prise en charge du vidage des plans tronqués et du code généré dans un fichier (SPARK-26023)
• Amélioration de l’infrastructure de description pour décrire la sortie d’une requête (SPARK-26982)
• Ajout de la commande SHOW VIEWS (SPARK-31113)
• Amélioration des messages d’erreur de l’analyseur SQL (SPARK-27901)
• Prise en charge native du monitoring Prometheus (SPARK-29429)

Améliorations apportées à PySpark

• UDF pandas repensées avec des conseils de type (SPARK-28264)
• Pipeline pour les UDF pandas (SPARK-26412)
• Prise en charge de StructType comme arguments et types de retour pour les UDF pandas scalaires (SPARK-27240)
• Prise en charge du cogroupe DataFrame via des UDF pandas (SPARK-27463)
• Ajout de mapInPandas pour autoriser un itérateur de DataFrames (SPARK-28198)
• Certaines fonctions SQL doivent également prendre des noms de colonnes (SPARK-26979)
• Rendre les exceptions SQL de PySpark plus typiques de Python (SPARK-31849)

Amélioration de la documentation et de la couverture des tests

• Création d’une référence SQL (SPARK-28588)
• Création d’un guide de l’utilisateur pour l’interface utilisateur web (SPARK-28372)
• Création d’une page de documentation sur la configuration SQL (SPARK-30510)
• Ajout d’informations de version pour la configuration de Spark (SPARK-30839)
• Portage des tests de régression depuis PostgreSQL (SPARK-27763)
• Couverture des tests du serveur Thrift (SPARK-28608)
• Couverture des tests des UDF (UDF Python, UDF pandas, UDF Scala) [SPARK-27921]

Autres changements notables

• Mise à niveau intégrée de l’exécution de Hive de la version 1.2.1 vers la version 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Utilisation de la dépendance d’Apache Hive 2.3 par défaut (SPARK-30034)
• Disponibilité générale de Scala 2.12 et suppression de la version 2.11 (SPARK-26132)
• Amélioration de la logique pour la temporisation des exécuteurs dans l’allocation dynamique (SPARK-20286)
• Blocs RDD conservés sur disque pris en charge par le service de lecture aléatoire et ignorés pour l’allocation dynamique (SPARK-27677)
• Acquisition de nouveaux exécuteurs pour éviter les blocages dus à une liste de refus (SPARK-22148)
• Autoriser le partage des allocateurs de pool de mémoire de Netty (SPARK-24920)
• Correction du blocage entre TaskMemoryManager et UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Introduction des API AdmissionControl pour StructuredStreaming (SPARK-30669)
• Amélioration des performances de la page principale de l’historique Spark (SPARK-25973)
• Accélération et réduction de l’agrégation des métriques dans l’écouteur SQL (SPARK-29562)
• Évite le réseau lorsque les blocs de lecture aléatoire sont extraits du même hôte (SPARK-27651)
• Amélioration de la liste de fichiers pour DistributedFileSystem (SPARK-27801)

Changements de comportement pour Spark Core, Spark SQL et Structured Streaming

Les guides de migration suivants répertorient les changements de comportement entre les versions 2.4 et 3.0 d’Apache Spark. Ces changements peuvent nécessiter des mises à jour des travaux que vous avez exécutés sur des versions antérieures de Databricks Runtime :

• Guide de migration : Spark Core
• Guide de migration : SQL, jeux de données et DataFrame
• Guide de migration : Structured Streaming
• Guide de migration : PySpark (Python sur Spark)

Les changements de comportement suivants ne sont pas abordés dans ces guides de migration :

• Dans Spark 3.0, la classe déconseillée org.apache.spark.sql.streaming.ProcessingTime a été supprimée. Utilisez org.apache.spark.sql.streaming.Trigger.ProcessingTime à la place. De même, org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger a été supprimé en faveur de Trigger.Continuous, et org.apache.spark.sql.execution.streaming.OneTimeTrigger a été masqué en faveur de Trigger.Once. (SPARK-28199)
• Dans Databricks Runtime 7.0, lors de la lecture d’une table Hive SerDe, Spark interdit par défaut la lecture de fichiers dans un sous-répertoire qui n’est pas une partition de table. Pour l’activer, définissez la configuration spark.databricks.io.hive.scanNonpartitionedDirectory.enabled sur true. Cela n’affecte pas les lecteurs de fichiers et les lecteurs de fichiers de table natifs Spark.

MLlib

Points forts

• La prise en charge de plusieurs colonnes a été ajoutée à Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) et PySpark QuantileDiscretizer (SPARK-22796)
• Prise en charge de la transformation de fonctionnalité basée sur l’arborescence (SPARK-13677)
• Ajout de deux nouveaux évaluateurs, MultilabelClassificationEvaluator (SPARK-16692) et RankingEvaluator (SPARK-28045)
• Ajout de la prise en charge d’exemples de poids dans DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) et GaussianMixture (SPARK-30102)
• Ajout d’une API R pour PowerIterationClustering (SPARK-19827)
• Ajout d’un écouteur Spark ML pour suivre l’état du pipeline ML (SPARK-23674)
• Ajout d’un ajustement avec un ensemble de validation aux arborescences d’amplification de gradient en Python (SPARK-24333)
• Le transformateur RobustScaler a été ajouté (SPARK-28399)
• Le classifieur et le régresseur des machines de factorisation ont été ajoutés (SPARK-29224)
• Ajout de la classification naïve bayésienne de distribution Gaussienne (SPARK-16872) et de la classification naïve bayésienne complémentaire (SPARK-29942)
• Parité des fonctions ML entre Scala et Python (SPARK-28958)
• predictRaw est rendu public dans tous les modèles Classification. predictProbability est rendu public dans tous les modèles Classification, à l’exception de LinearSVCModel (SPARK-30358)

Changements de comportement pour MLlib

Le guide de migration suivant répertorie les changements de comportement entre les versions 2.4 et 3.0 d’Apache Spark. Ces changements peuvent nécessiter des mises à jour des travaux que vous avez exécutés sur des versions antérieures de Databricks Runtime :

• Guide de migration : MLlib (Machine Learning)

Les changements de comportement suivants ne sont pas abordés dans le guide de migration :

• Dans Spark 3.0, une régression logistique multiclasse dans PySpark renverra désormais (correctement) LogisticRegressionSummary, et non la sous-classe BinaryLogisticRegressionSummary. Il existe encore tout de même certains cas pour lesquels les méthodes supplémentaires exposées par BinaryLogisticRegressionSummary ne fonctionneront pas. (SPARK-31681)
• Dans Spark 3.0, Mixins pyspark.ml.param.shared.Has* ne fournit plus de méthode setter set*(self, value), utilisez plutôt le self.set(self.*, value) respectif à la place. Pour plus d’informations, consultez SPARK-29093. (SPARK-29093)

SparkR

• Optimisation des flèches dans l’interopérabilité de SparkR (SPARK-26759)
• Amélioration des performances grâce aux fonctions R gapply(), dapply(), createDataFrame, collect() vectorisées
• « Exécution hâtive » pour interpréteur de commandes R, IDE (SPARK-24572)
• API R pour la méthode Power Iteration Clustering (SPARK-19827)

Changements de comportement pour SparkR

Le guide de migration suivant répertorie les changements de comportement entre les versions 2.4 et 3.0 d’Apache Spark. Ces changements peuvent nécessiter des mises à jour des travaux que vous avez exécutés sur des versions antérieures de Databricks Runtime :

• Guide de migration : SparkR (R sur Spark)

Dépréciations

• Dépréciation du support de Python 2 (SPARK-27884)
• Dépréciation du support de R < 3.4 (SPARK-26014)

Problèmes connus

• L’analyse du jour de l’année à l’aide du modèle lettre « D » retourne un résultat incorrect si le champ année est manquant. Cela peut se produire dans des fonctions SQL comme to_timestamp, qui analyse la chaîne DateHeure en valeurs DateHeure à l’aide d’une chaîne de modèle. (SPARK-31939)
• Join/Window/Aggregate dans les sous-requêtes peut entraîner des résultats incorrects si les clés ont les valeurs -0.0 et 0.0. (SPARK-31958)
• Une requête de fenêtre peut échouer avec une erreur de jointure réflexive ambiguë de manière inattendue. (SPARK-31956)
• Les requêtes de diffusion en continu avec un opérateur dropDuplicates ne pourront peut-être pas redémarrer avec le point de contrôle écrit par Spark 2.x. (SPARK-31990)

Mises à jour de maintenance

Voir Mises à jour de maintenance de Databricks Runtime 7.0.

Environnement du système

• Système d’exploitation : Ubuntu 18.04.4 LTS
• Java : 1.8.0_252
• Scala : 2.12.10
• Python : 3.7.5
• R : R version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN de Microsoft du 22/04/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)