Databricks Runtime 7.0 (EoS)

Diese Version wurde von Databricks im Juni 2020 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 7.0, unterstützt von Apache Spark 3.0.

Neue Funktionen

Databricks Runtime 7.0 enthält die folgenden neuen Features.

• Scala: 2.12

  Databricks Runtime 7.0 aktualisiert Scala von 2.11.12 auf 2.12.10. Die Änderungsliste zwischen Scala 2.12 und 2.11 finden Sie in den Versionshinweisen zu Scala 2.12.0.

• Autoloader (Public Preview), veröffentlicht in Databricks Runtime 6.4, wurde in Databricks Runtime 7.0 verbessert.

  Mit Autoloader können Sie neue Datendateien inkrementell verarbeiten, sobald sie in der ETL-Phase in einem Blobspeicher in der Cloud eintreffen. Dies ist eine Verbesserung gegenüber dem dateibasierten strukturierten Streaming, bei dem neue Dateien durch wiederholte Auflistung des Cloudverzeichnisses und Nachverfolgung der gesichteten Dateien identifiziert werden, was sehr ineffizient sein kann, wenn das Verzeichnis größer wird. Das automatische Laden ist auch praktischer und effektiver als dateibenachrichtigungsbasiertes strukturiertes Streaming, das erfordert, dass Sie Dateibenachrichtigungsdienste manuell in der Cloud konfigurieren und vorhandene Dateien nicht wieder ausfüllen können. Weitere Informationen finden Sie unter "Automatisches Laden".

  In Databricks Runtime 7.0 müssen Sie kein benutzerdefiniertes Databricks Runtime-Image mehr anfordern, um auto loader verwenden zu können.

• COPY INTO(Public Preview) ermöglicht es Ihnen, Daten mit idempotenten Wiederholungsversuchen in Delta Lake zu laden, wurde in Databricks Runtime 7.0 verbessert.

  Der in Databricks Runtime 6.4 als Public Preview veröffentlichte Befehl COPY INTO SQL ermöglicht ihnen das Laden von Daten in Delta Lake mit idempotenten erneuten Versuchen. Um Daten in Delta Lake zu laden, müssen Sie derzeit Apache Spark-DataFrame-APIs verwenden. Wenn es bei Ladevorgängen zu Fehlern kommt, müssen Sie diese effektiv behandeln. Der neue Befehl COPY INTO bietet eine vertraute deklarative Schnittstelle zum Laden von Daten in SQL. Mit dem Befehl werden bereits geladene Dateien nachverfolgt, und Sie können ihn bei Fehlern problemlos erneut ausführen. Weitere Informationen finden Sie unter COPY INTO.

Verbesserungen

• Azure Synapse-Connector (früher SQL Data Warehouse) unterstützt die COPY-Anweisung.

  Der Hauptvorteil von COPY ist, dass Benutzer mit niedrigeren Berechtigungen Daten in Azure Synapse schreiben können, ohne strenge CONTROL-Berechtigungen für Azure Synapse.

• Der %matplotlib inline Magic-Befehl ist nicht mehr erforderlich, um Matplolib-Objekte inline in Notebookzellen anzuzeigen. Sie werden standardmäßig immer inline angezeigt.

• Matplolib-Zahlen werden jetzt mit transparent=False gerendert, damit vom Benutzer angegebene Hintergründe nicht verloren gehen. Dieses Verhalten kann durch die Einstellung der Spark-Konfiguration spark.databricks.workspace.matplotlib.transparent true außer Kraft gesetzt werden.

• Beim Ausführen von Produktionsjobs für strukturiertes Streaming auf Clustern im High Concurrency-Modus kann gelegentlich ein Neustart eines Jobs fehlschlagen, da der zuvor laufende Job nicht korrekt beendet wurde. Databricks Runtime 6.3 wurde die Möglichkeit eingeführt, die SQL-Konfiguration spark.sql.streaming.stopActiveRunOnRestart true in Ihrem Cluster so zu konfigurieren, dass die vorherige Ausführung beendet wird. Diese Konfiguration wird standardmäßig in Databricks Runtime 7.0 festgelegt.

Wichtige Bibliotheksänderungen

Python-Pakete

Wichtige Python-Pakete, die ein Upgrade erhalten haben

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• Pandas 0.24.2 -> 1.0.1
• Pip 19.0.3 -> 20.0.2
• Pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seegeboren 0.9.0 -> 0.10.0

Entfernte Python-Pakete:

• boto (boto3 verwenden)
• pycurl

R-Pakete

R-Pakete hinzugefügt:

• Besen
• Highr
• Isobande
• Knitr
• Abschlag
• Modellierer
• reproduzierbares Beispiel
• RMarkdown
• RVEST
• Auswahl
• aufräumen
• tinytex
• xfun

Entfernte R-Pakete:

• abind
• Bitops
• Auto
• Fahrzeugdaten
• doMC
• Gbm
• H2O
• kleiner
• lme4
• mapproj
• Karten
• Kartentools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• Pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• Rio
• sp
• SparseM
• statmod
• schwirren

Java- und Scala-Bibliotheken

• Version für die Verarbeitung von benutzerdefinierten Hive-Funktionen und Hive SerDes wurde auf 2.3 aktualisiert.
• Zuvor Azure Storage und Key Vault JAR-Dateien als Teil von Databricks Runtime gepackt, wodurch Sie daran gehindert wurden, verschiedene Versionen dieser Bibliotheken zu verwenden, die an Cluster angefügt sind. Klassen unter com.microsoft.azure.storage und com.microsoft.azure.keyvault befinden sich nicht mehr im Klassenpfad in Databricks Runtime. Wenn Sie von einem dieser Klassenpfade abhängig sind, müssen Sie nun Azure Storage SDK oder Azure Key Vault SDK an Ihre Cluster anfügen.

Verhaltensänderungen

In diesem Abschnitt werden Verhaltensänderungen von Databricks Runtime 6.6 in Databricks Runtime 7.0 aufgeführt. Sie sollten diese berücksichtigen, wenn Sie Workloads von niedrigeren Databricks Runtime Releases zu Databricks Runtime 7.0 und höher migrieren.

Spark-Verhaltensänderungen

Da Databricks Runtime 7.0 das erste Databricks Runtime ist, das auf Spark 3.0 basiert, sollten Sie viele Änderungen beachten, wenn Sie Workloads von Databricks Runtime 5.5 LTS oder 6.x migrieren, die auf Spark 2.4 basieren. Diese Änderungen sind im Abschnitt „Verhaltensänderungen“ jedes Funktionsbereichs im Abschnitt Apache Spark dieses Artikels aufgeführt:

• Verhaltensänderungen für Spark Core, Spark SQL und Strukturiertes Streaming
• Verhaltensänderungen für MLlib
• Verhaltensänderungen für SparkR

Andere Verhaltensänderungen

• Das Upgrade auf Scala 2.12 umfasst die folgenden Änderungen:

  • Die Serialisierung von Paketzellen wird anders verarbeitet. Das folgende Beispiel veranschaulicht die Verhaltensänderung und deren Handhabung.

    Die Ausführung von foo.bar.MyObjectInPackageCell.run(), wie in der folgenden Paketzelle definiert, löst den Fehler java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$ aus.

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Um diesen Fehler zu umgehen, können Sie MyObjectInPackageCell in eine serialisierbare Klasse einschließen.

  • In bestimmten Fällen, in denen DataStreamWriter.foreachBatch verwendet wird, ist eine Aktualisierung des Quellcodes erforderlich. Diese Änderung ist auf die Tatsache zurückzuführen, dass Scala 2.12 eine automatische Konvertierung von Lambda-Ausdrücken in SAM-Typen durchführt, was zu Mehrdeutigkeiten führen kann.

    Der folgende Scala-Code kann z. B. nicht kompiliert werden:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Um den Kompilierungsfehler zu beheben, ändern Sie foreachBatch { (df, id) => myFunc(df, id) } in foreachBatch(myFunc _), oder verwenden Sie explizit die Java-API: foreachBatch(new VoidFunction2 ...).

• Da die Apache Hive-Version für die Behandlung benutzerdefinierter Hive-Funktionen und Hive SerDes auf 2.3 aktualisiert wird, sind zwei Änderungen erforderlich:
  • Die Schnittstelle von SerDe Hive wird durch eine abstrakte Klasse AbstractSerDeersetzt. Für jede benutzerdefinierte Hive-SerDe-Implementierung ist eine Migration zu AbstractSerDe erforderlich.
  • Die Festlegung von spark.sql.hive.metastore.jars auf builtin bedeutet, dass der Hive 2.3-Metastore-Client für den Zugriff auf Metastores für Databricks Runtime 7.0 verwendet wird. Wenn Sie auf Hive 1.2-basierte externe Metastores zugreifen müssen, legen Sie spark.sql.hive.metastore.jars auf den Ordner fest, der Hive 1.2-JARs enthält.

Veraltete und entfernte Funktionen

• DATASKIPPING INDEX wurde in Databricks Runtime 4.3 als veraltet eingestuft und in Databricks Runtime 7.0 entfernt. Es wird empfohlen, stattdessen Delta-Tabellen zu verwenden, die verbesserte Funktionen zum Überspringen von Daten bieten.
• In Databricks Runtime 7.0 verwendet die zugrunde liegende Version Apache Spark Scala 2.12. Da mit Scala 2.11 kompilierte Bibliotheken Databricks Runtime 7.0-Cluster auf unerwartete Weise deaktivieren können, installieren Cluster, in denen Databricks Runtime 7.0 und höher ausgeführt wird, keine Bibliotheken, die zur Installation in allen Clustern konfiguriert wurden. Die Registerkarte „Bibliotheken“ für eine Clusters zeigt den Status Skipped und eine Meldung an, in der die Änderungen bezüglich der Handhabung von Bibliotheken erläutert werden. Wenn Sie jedoch über einen Cluster verfügen, der mit einer Vorgängerversion von Databricks Runtime erstellt wurde, bevor Version 3.20 der Azure Databricks-Plattform für Ihren Arbeitsbereich veröffentlicht wurde, und Sie diesen Cluster jetzt bearbeiten, um Databricks Runtime 7.0 zu verwenden, werden alle Bibliotheken, die für die Installation in allen Clustern konfiguriert wurden, auf diesem Cluster installiert. In diesem Fall können inkompatible JARs in den installierten Bibliotheken dazu führen, dass der Cluster deaktiviert wird. Die Problemumgehung besteht darin, entweder den Cluster zu klonen oder einen neuen Cluster zu erstellen.

Apache Spark

Databricks Runtime 7.0 enthält Apache Spark 3.0.

Inhalt dieses Abschnitts:

• Core, Spark SQL, Strukturiertes Streaming
• MLlib
• SparkR
• Veraltete Funktionen
• Bekannte Probleme

Core, Spark SQL, Strukturiertes Streaming

Höhepunkte

• (Projekt Wasserstoff) Accelerator-aware Scheduler (SPARK-24615)
• Ausführung von adaptiven Abfragen (SPARK-31412)
• Dynamische Partitionsbereinigung (SPARK-11150)
• Neu gestaltete Pandas-UDF-API mit Typhinweisen (SPARK-28264)
• Benutzeroberfläche für strukturierten Stream (SPARK-29543)
• Katalog-Plug-In-API (SPARK-31121)
• Bessere ANSI-SQL-Kompatibilität

Leistungsverbesserungen

• Ausführung von adaptiven Abfragen (SPARK-31412)
  • Basic-Framework (SPARK-23128)
  • Anpassung der Partitionsnummer nach dem Mischen (SPARK-28177)
  • Dynamische Wiederverwendung von Unterabfragen (SPARK-28753)
  • Lokaler Shuffle-Reader (SPARK-28560)
  • Datenschiefe: Optimierung der Verknüpfung (SPARK-29544)
  • Optimieren des Lesens zusammenhängender Shuffle-Blöcke (SPARK-9853)
• Dynamische Partitionsbereinigung (SPARK-11150)
• Andere Optimiererregeln
  • Regel ReuseSubquery (SPARK-27279)
  • Regel PushDownLeftSemiAntiJoin (SPARK-19712)
  • Regel PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Regel ReplaceNullWithFalse (SPARK-25860)
  • Regel Beseitigen von Sortierungen ohne Beschränkung in der Unterabfrage von Join/Aggregation (SPARK-29343)
  • Regel PruneHiveTablePartitions (SPARK-15616)
  • Löschen unnötiger geschachtelter Felder aus Generate (SPARK-27707)
  • Regel RewriteNonCorrelatedExists (SPARK-29800)
• Minimieren der Kosten für die Tabellencachesynchronisierung (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Aufteilen von Aggregationscode in kleine Funktionen (SPARK-21870)
• Hinzufügen der Batchverarbeitung in INSERT und im ALTER TABLE-ADD-Befehl PARTITION (SPARK-29938)

Erweiterungen für die Erweiterbarkeit

• Katalog-Plug-In-API (SPARK-31121)
• Refactoring der V2-API der Datenquelle (SPARK-25390)
• Hive 3.0- und 3.1-Metastoreunterstützung (SPARK-27970), (SPARK-24360)
• Erweitern der Spark-Plug-In-Schnittstelle auf den Treiber (SPARK-29396)
• Erweitern des Spark-Metriksystems mit benutzerdefinierten Metriken mithilfe von Executor-Plug-Ins (SPARK-28091)
• Entwickler-APIs für die erweiterte Unterstützung der spaltenbasierten Verarbeitung (SPARK-27396)
• Integrierte Quellmigration mit DSV2: Parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• FunctionInjection in SparkExtensions zulassen (SPARK-25560)
• Ermöglicht die Registrierung des Aggregators als UDAF (SPARK-27296)

Connectorerweiterungen

• Spaltenbereinigung durch nicht deterministische Ausdrücke (SPARK-29768)
• Unterstützung von spark.sql.statistics.fallBackToHdfs in Datenquellentabellen (SPARK-25474)
• Partitionsbereinigung mit Unterabfragefiltern für Dateiquelle zulassen (SPARK-26893)
• Vermeiden der Weitergabe von Unterabfragen in Datenquellenfiltern (SPARK-25482)
• Rekursives Laden von Daten aus Dateiquellen (SPARK-27990)
• Parquet, Orc
  • Pushdown disjunktiver Prädikate (SPARK-27699)
  • Verallgemeinern der Bereinigung geschachtelter Spalten (SPARK-25603) und standardmäßig aktiviert (SPARK-29805)
  • Gilt nur für Parquet.
    • Parquet-Prädikat-Pushdown für geschachtelte Felder (SPARK-17636)
  • Nur ORC
    • Unterstützung des Mergeschemas für ORC (SPARK-11412)
    • Geschachtelte Schemabereinigung für ORC (SPARK-27034)
    • Reduzierung der Komplexität der Prädikatkonvertierung für ORC (SPARK-27105, SPARK-28108)
    • Upgrade von Apache ORC auf 1.5.9 (SPARK-30695)
• CSV
  • Unterstützung für Filterpushdown in Avro-Datenquelle (SPARK-30323)
• hive-serde
  • Kein Schemarückschluss beim Lesen der Hive-Serde-Tabelle mit nativer Datenquelle (SPARK-27119)
  • Hive CTAS-Befehle sollten eine Datenquelle verwenden, wenn sie konvertierbar ist (SPARK-25271).
  • Verwenden einer nativen Datenquelle zum Optimieren des Einfügens einer partitionierten Hive-Tabelle (SPARK-28573)
• Apache Kafka
  • Unterstützung für Kafka-Header hinzugefügt (SPARK-23539)
  • Hinzufügen von Unterstützung für Kafka-Delegierungstoken (SPARK-25501)
  • Neue Option für Kafka-Quelle einführen: Offset durch Zeitstempel (Start/Ende) (SPARK-26848)
  • Unterstützung der minPartitions-Option in der Kafka-Batchquelle und der Streamingquelle v1 (SPARK-30656)
  • Upgrade von Kafka auf 2.4.1 (SPARK-31126)
• Neue integrierte Datenquellen
  • Neue integrierte Binärdateidatenquellen (SPARK-25348)
  • Neue No-Op-Batchdatenquellen (SPARK-26550) und No-Op-Streamingsenke (SPARK-26649)

Featureverbesserungen

• [Wasserstoff] Accelerator-aware Scheduler (SPARK-24615)
• Einführung in einen vollständigen Satz von Joinhinweisen (SPARK-27225)
• Hinzufügen eines PARTITION BY-Hinweises SQL Abfragen (SPARK-28746)
• Metadatenbehandlung in Thrift Server (SPARK-28426)
• Hinzufügen von Funktionen höherer Ordnung zur Scala-API (SPARK-27297)
• Unterstützung von simple all gather im Barrierenaufgabe-Kontext (SPARK-30667)
• Hive-UDFs unterstützen den UDT-Typ (SPARK-28158).
• Unterstützt DELETE/UPDATE/MERGE Operatoren in Catalyst (SPARK-28351, SPARK-28892, SPARK-28893)
• Implementieren von DataFrame.tail (SPARK-30185)
• Neue integrierte Funktionen
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • irgendein, jeder, einige (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • Extrakt (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • Version (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Verbesserungen an vorhandenen integrierten Funktionen
  • Integrierte Verbesserung von Datum/Uhrzeit-Funktionen/Vorgängen (SPARK-31415)
  • Unterstützungsmodus FAILFAST für from_json (SPARK-25243)
  • array_sort fügt einen neuen Vergleichsparameter hinzu (SPARK-29020)
  • Filter kann jetzt den Index als Eingabe sowie das Element verwenden (SPARK-28962)

Verbesserungen bei der SQL-Kompatibilität

• Wechseln zum protischen gregorianischen Kalender (SPARK-26651)
• Erstellen der eigenen Datetime-Musterdefinition von Spark (SPARK-31408)
• ANSI-Richtlinie zur Speicherzuweisung beim Einfügen von Tabellen einführen (SPARK-28495)
• Standardmäßiges Befolgen der ANSI-Speicherzuweisungsregel beim Einfügen von Tabellen (SPARK-28885)
• Hinzufügen einer SQLConf-Instanz spark.sql.ansi.enabled (SPARK-28989)
• Unterstützung der ANSI SQL Filterklausel für Aggregatausdruck (SPARK-27986)
• Unterstützung der ANSI SQL OVERLAY-Funktion (SPARK-28077)
• Unterstützung geschachtelter ANSI-Kommentare in Klammern (SPARK-28880)
• Ausnahme bei Überlauf für ganze Zahlen auslösen (SPARK-26218)
• Überlaufüberprüfung für arithmetische Intervalloperationen (SPARK-30341)
• Ausnahme auslösen, wenn eine ungültige Zeichenfolge in einen numerischen Typ konvertiert wird (SPARK-30292)
• Das Überlaufverhalten beim Multiplizieren und Dividieren soll konsistent mit anderen Vorgängen gemacht werden (SPARK-30919).
• Hinzufügen von ANSI-Typaliasen für char und decimal (SPARK-29941)
• SQL Parser definiert ANSI-konforme reservierte Schlüsselwörter (SPARK-26215).
• Reservierte Schlüsselwörter als Bezeichner verbieten, wenn der ANSI-Modus aktiviert ist (SPARK-26976)
• Unterstützung der ANSI SQL LIKE ... ESCAPE-Syntax (SPARK-28083)
• Unterstützung der ANSI SQL Boolean-Predicate Syntax (SPARK-27924)
• Bessere Unterstützung für die Verarbeitung korrelierter Unterabfragen (SPARK-18455)

Verbesserungen der Überwachung und Debugbarkeit

• Benutzeroberfläche für neuen strukturierten Stream (SPARK-29543)
• SHS: Ermöglicht das Rollback von Ereignisprotokollen für ausgeführte Streaming-Apps (SPARK-28594).
• Hinzufügen einer API, mit der ein Benutzer beliebige Metriken für Batch- und Streamingabfragen definieren und beobachten kann (SPARK-29345)
• Instrumentierung für die Nachverfolgung der Planungszeit pro Abfrage (SPARK-26129)
• Legen Sie die grundlegenden Shufflemetriken im SQL Exchange-Operator ab (SPARK-26139).
• SQL-Anweisung wird auf SQL Registerkarte anstelle von Callsite (SPARK-27045) angezeigt.
• Hinzufügen einer QuickInfo zu SparkUI (SPARK-29449)
• Verbessern der gleichzeitigen Leistung des Verlaufsservers (SPARK-29043)
• EXPLAIN FORMATTED Befehl (SPARK-27395)
• Unterstützung von gekürzten Plänen und generiertem Code in einer Datei (SPARK-26023)
• Verbessern des Beschreibungsframework zum Beschreiben der Ausgabe einer Abfrage (SPARK-26982)
• Befehl SHOW VIEWS hinzufügen (SPARK-31113)
• Verbessern der Fehlermeldungen des SQL Parsers (SPARK-27901)
• Native Unterstützung der Prometheus-Überwachung (SPARK-29429)

PySpark-Erweiterungen

• Pandas-UDFs mit neuer Gestaltung und Typhinweisen (SPARK-28264)
• Pandas-UDF-Pipeline (SPARK-26412)
• Unterstützung von StructType als Argumente und Rückgabetypen für die benutzerdefinierte Skalar-Pandas-Funktion (SPARK-27240 )
• Unterstützung von Dataframe-Cogroup über die benutzerdefinierte Pandas-Funktion (SPARK-27463)
• mapInPandas hinzufügen, um einen Iterator von DataFrames zu ermöglichen (SPARK-28198)
• Bestimmte SQL-Funktionen sollten auch Spaltennamen übernehmen (SPARK-26979).
• PySpark-SQL-Ausnahmen pythonischer machen (SPARK-31849)

Verbesserungen der Dokumentation und Testabdeckung

• Erstellen einer SQL-Referenz (SPARK-28588)
• Erstellen eines Benutzerhandbuchs für WebUI (SPARK-28372)
• Erstellen einer Seite für SQL-Konfigurationsdokumentation (SPARK-30510)
• Hinzufügen von Versionsinformationen für die Spark-Konfiguration (SPARK-30839)
• Portregressionstests von PostgreSQL (SPARK-27763)
• Thrift-Server-Testabdeckung (SPARK-28608)
• Testabdeckung von benutzerdefinierten Funktionen (UDF) (Python UDF, Pandas UDF, Scala UDF) (SPARK-27921)

Weitere wichtige Änderungen

• Integriertes Hive-Ausführungsupgrade von 1.2.1 auf 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Standardmäßig Apache Hive 2.3-Abhängigkeit verwenden (SPARK-30034)
• GA Scala 2.12 und Entfernen von 2.11 (SPARK-26132)
• Verbessern der Logik für Timeout-Executors bei der dynamischen Zuordnung (SPARK-20286)
• Datenträger-persistente RDD-Blöcke, die vom Shuffle-Dienst bereitgestellt und für die dynamische Zuordnung ignoriert werden (SPARK-27677)
• Abrufen neuer Executors, um einen Stillstand aufgrund von Sperrlisten zu vermeiden (SPARK-22148)
• Freigabe des Speicherpool-Allocators von Netty zulassen (SPARK-24920)
• Beheben eines Deadlocks zwischen TaskMemoryManager und UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Einführung von AdmissionControl APIs für StructuredStreaming (SPARK-30669)
• Verbesserung der Leistung der Spark-Verlaufshauptseite (SPARK-25973)
• Beschleunigung und Verschlankung der Metrik-Aggregation in SQL-Listener (SPARK-29562)
• Vermeiden Sie das Netzwerk, wenn Shuffleblöcke vom gleichen Host abgerufen werden (SPARK-27651).
• Verbessern der Dateiliste für DistributedFileSystem (SPARK-27801)

Verhaltensänderungen für Spark Core, Spark SQL und Strukturiertes Streaming

In den folgenden Migrationsleitfäden werden Verhaltensänderungen zwischen Apache Spark 2.4 und 3.0 aufgeführt. Diese Änderungen erfordern möglicherweise Updates für Aufträge, die Sie in niedrigeren Databricks Runtime Versionen ausgeführt haben:

• Migrationshandbuch: Spark Core
• Migrationsleitfaden: SQL, Datasets und DataFrame
• Migrationshandbuch: Strukturiertes Streaming
• Migrationshandbuch: PySpark (Python unter Spark)

Die folgenden Verhaltensänderungen werden in diesen Migrationsleitfäden nicht behandelt:

• In Spark 3.0 wurde die veraltete Klasse org.apache.spark.sql.streaming.ProcessingTime entfernt. Verwenden Sie stattdessen org.apache.spark.sql.streaming.Trigger.ProcessingTime. Ebenso wurde org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger zugunsten von Trigger.Continuous entfernt und org.apache.spark.sql.execution.streaming.OneTimeTrigger wurde zugunsten von Trigger.Once ausgeblendet. (SPARK-28199)
• In Databricks Runtime 7.0 untersagt Spark beim Lesen einer Hive-SerDe-Tabelle standardmäßig das Lesen von Dateien unterhalb eines Unterverzeichnisses, das keine Tabellenpartition ist. Legen Sie zur Aktivierung die Konfiguration spark.databricks.io.hive.scanNonpartitionedDirectory.enabled auf true fest. Dies wirkt sich nicht auf native Spark-Tabellenleser und -Dateileser aus.

MLlib

Höhepunkte

• Unterstützung mehrerer Spalten wurde zu Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) und PySpark QuantileDiscretizer (SPARK-22796) hinzugefügt.
• Unterstützung der strukturbasierten Featuretransformation (SPARK-13677)
• Zwei neue Evaluatoren MultilabelClassificationEvaluator (SPARK-16692) und RankingEvaluator (SPARK-28045) wurden hinzugefügt.
• Unterstützung für Stichprobengewichtungen wurde in DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612) hinzugefügt.24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) und GaussianMixture (SPARK-30102) hinzugefügt.
• R-API für PowerIterationClustering wurde hinzugefügt (SPARK-19827)
• Spark ML Listener für die Nachverfolgung ML Pipelinestatus hinzugefügt (SPARK-23674)
• Anpassung an Validierungssatz wurde zu Gradient Boosted Trees in Python hinzugefügt (SPARK-24333)
• RobustScaler-Transformator wurde hinzugefügt (SPARK-28399)
• Klassifizierung und Regressor für Factorization Machines wurden hinzugefügt (SPARK-29224)
• Gaussian Naive Bayes (SPARK-16872) und Complement Naive Bayes (SPARK-29942) wurden hinzugefügt.
• ML Funktionsparität zwischen Scala und Python (SPARK-28958)
• predictRaw wird in allen Klassifizierungsmodellen öffentlich gemacht. predictProbability wird in allen Klassifizierungsmodellen mit Ausnahme von LinearSVCModel (SPARK-30358) veröffentlicht.

Verhaltensänderungen für MLlib

In den folgenden Migrationsleitfäden werden Verhaltensänderungen zwischen Apache Spark 2.4 und 3.0 aufgeführt. Diese Änderungen erfordern möglicherweise Updates für Aufträge, die Sie in niedrigeren Databricks Runtime Versionen ausgeführt haben:

• Migrationshandbuch: MLlib (Machine Learning)

Die folgenden Verhaltensänderungen werden in diesem Migrationsleitfaden nicht behandelt:

• In Spark 3.0 gibt eine logistische Regression mit mehreren Klassen in Pyspark jetzt (ordnungsgemäß) LogisticRegressionSummary und nicht die Unterklasse BinaryLogisticRegressionSummary zurück. Die zusätzlichen Methoden, die über BinaryLogisticRegressionSummary verfügbar gemacht werden, würden in diesem Fall ohnehin nicht funktionieren. (SPARK-31681)
• In Spark 3.0 stellen pyspark.ml.param.shared.Has*-Mixins keine set*(self, value)-Setter-Methoden mehr zur Verfügung, sondern verwenden stattdessen den jeweiligen self.set(self.*, value). Weitere Informationen finden Sie unter SPARK-29093. (SPARK-29093)

SparkR

• Arrow-Optimierung in der SparkR-Interoperabilität (SPARK-26759)
• Leistungsverbesserung über vektorisierte R gapply(), dapply(), createDataFrame, collect()
• „Eager Execution“ für R-Shell, IDE (SPARK-24572)
• R-API für Power Iteration Clustering (SPARK-19827)

Verhaltensänderungen für SparkR

In den folgenden Migrationsleitfäden werden Verhaltensänderungen zwischen Apache Spark 2.4 und 3.0 aufgeführt. Diese Änderungen erfordern möglicherweise Updates für Aufträge, die Sie in niedrigeren Databricks Runtime Versionen ausgeführt haben:

• Migrationshandbuch: SparkR (R in Spark)

Veraltete Funktionen

• Unterstützung für Python 2 als veraltet kennzeichnen (SPARK-27884)
• Unterstützung für R < 3.4 als veraltet kennzeichnen (SPARK-26014)

Bekannte Probleme

• Der Analysetag des Jahres mithilfe des Musterbuchstabens "D" gibt das falsche Ergebnis zurück, wenn das Feld "Jahr" fehlt. Dies kann in SQL-Funktionen wie to_timestamp auftreten, die datetime-Zeichenfolgen mithilfe einer Musterzeichenfolge in datetime-Werte analysieren. (SPARK-31939)
• Join-/Fenster-/Aggregatschlüssel innerhalb von Unterabfragen können zu falschen Ergebnissen führen, wenn die Schlüssel die Werte -0.0 und 0.0 aufweisen. (SPARK-31958)
• Eine Fensterabfrage kann mit einem mehrdeutigen Selbstverknüpfungsfehler unerwartet fehlschlagen. (SPARK-31956)
• Streamingabfragen mit dropDuplicates-Operator können möglicherweise nicht mit dem von Spark 2.x geschriebenen Prüfpunkt neu gestartet werden. (SPARK-31990)

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 7.0-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Skala: 2.12.10
• Python: 3.7.5
• R: R-Version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus (Microsoft CRAN-Momentaufnahme am 22.04.2020) installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)