Databricks Runtime 6.0 (EoS)

Diese Version wurde von Databricks im Oktober 2019 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 6.0 mit Unterstützung durch Apache Spark.

Neue Funktionen

Python-Umgebung

Databricks Runtime 6.0 enthält wichtige Änderungen an Python und der Konfiguration von Python-Umgebungen, z. B. das Upgrade von Python auf 3.7.3, das Optimieren der Liste der installierten Python-Pakete und das Upgrade dieser installierten Pakete auf neuere Versionen. Weitere Informationen finden Sie unter Installierte Python-Bibliotheken.

Darüber hinaus unterstützt Databricks Runtime 6.0 Python 2 nicht, wie bereits angekündigt.

Zu den wesentlichen Änderungen gehören:

• Upgrade von Python von 3.5.2 auf 3.7.3. Einige alte Versionen von Python-Paketen sind möglicherweise nicht mit Python 3.7 kompatibel, da sie von alten Cython-Versionen abhängen, die nicht mit Python 3.7 kompatibel sind. Die Installation eines solchen Pakets kann zu Fehlern führen, die 'PyThreadState' {'struct _ts'} has no member named 'exc_type' ähneln (Einzelheiten finden Sie unter GitHub-Problem 1978). Installieren Sie stattdessen Python 3.7-kompatible Versionen von Python-Paketen.
• Wesentliche Upgrades von Paketen:
  • boto3 auf 1.9.162
  • ipython auf 7.4.0
  • matplotlib auf 3.0.3
  • numpy auf 1.16.2
  • pandas auf 0.24.2
  • pyarrow auf 0.13.0
• Im Vergleich zu Databricks Runtime 5.5 LTS (EoS) sind die folgenden Python-Pakete neu enthalten: asn1crypto, backcall, jedi, kiwisolver, parso und PySocks.
• Im Vergleich zu Databricks Runtime 5.5 LTS (EoS) werden die folgenden Python-Pakete nicht installiert: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson und singledispatch.
• Die display-Funktion für ggplot-Objekte von Python wird nicht mehr unterstützt, da das ggplot-Paket nicht mit einer neueren Version von Pandas kompatibel ist.
• Das Festlegen von PYSPARK_PYTHON auf /databricks/python2/bin/python wird nicht unterstützt, da Databricks Runtime 6.0 Python 2 nicht unterstützt. Ein Cluster mit einer solchen Einstellung kann weiterhin gestartet werden. Python-Notebooks und Python-Befehle funktionieren jedoch nicht, d. h. Python-Befehlszellen schlagen mit einem „Abgebrochen“-Fehler fehl und in den Treiberprotokollen wird ein Python shell failed to start-Fehler angezeigt.
• Wenn PYSPARK_PYTHON auf eine ausführbare Python-Datei zeigt, die sich in einer von Virtualenv verwalteten Umgebung befindet, wird diese Umgebung für Initialisierungsskripts und Notebooks aktiviert. Sie können und python- und pip-Befehle, die in der aktivierten Umgebung definiert sind, direkt verwenden, ohne die absoluten Speicherorte dieser Befehle angeben zu müssen. PYSPARK_PYTHON ist standardmäßig auf /databricks/python3/bin/python festgelegt. Daher zeigt python standardmäßig auf /databricks/python3/bin/python und pip zeigt für /databricks/python3/bin/pip und Notebooks auf . Wenn Ihr PYSPARK_PYTHON auf eine ausführbare Python-Datei verweist, die sich nicht in einer von Virtualenv verwalteten Umgebung befindet, oder wenn Sie ein Initialisierungsskript schreiben, um das von PYSPARK_PYTHON angegebene Python zu erstellen, müssen Sie absolute Pfade verwenden, um auf die richtigen python und pip zuzugreifen. Wenn die Isolation der Python-Bibliothek aktiviert ist (sie ist standardmäßig aktiviert), ist die aktivierte Umgebung immer noch die Umgebung, der PYSPARK_PYTHON zugeordnet ist. Wir empfehlen Ihnen, das Bibliothekshilfsprogramm (dbutils.library) (Legacy) zu verwenden, um die einem Python-Notebook zugeordnete isolierte Umgebung zu ändern.

Scala- und Java-APIs für Delta Lake DML-Befehle

Sie können jetzt Daten in Delta-Tabellen mit programmgesteuerten APIs zum Löschen, Aktualisieren und Zusammenführen ändern. Diese APIs spiegeln die Syntax und Semantik ihrer entsprechenden SQL-Befehle wider und eignen sich hervorragend für viele Workloads, z. B. SCD-Vorgänge (langsam veränderliche Dimensionen), das Zusammenführen von Änderungsdaten für die Replikation und Upserts aus Streamingabfragen.

Ausführliche Informationen finden Sie unter "Was ist Delta Lake in Azure Databricks?"

Scala- und Java-APIs für Delta Lake-Hilfsprogrammbefehle

Databricks Runtime verfügt jetzt über programmgesteuerte APIs für die Hilfsprogrammbefehle vacuum und history. Diese APIs spiegeln die Syntax und Semantik ihrer entsprechenden SQL-Befehle wider, die in früheren Versionen von Databricks Runtime verfügbar waren.

Sie können Dateien bereinigen, die nicht mehr von einer Delta-Tabelle referenziert werden und älter als der Schwellenwert für die Aufbewahrung sind, indem Sie vacuum für die Tabelle ausführen. Wenn Sie den vacuum-Befehl für die Tabelle ausführen, werden die Verzeichnisse, die der Delta-Tabelle zugeordnet sind, rekursiv geleert. Der Standardaufbewahrungsschwellenwert für die Dateien beträgt 7 Tage. Die Möglichkeit, zu einer Version zurückzuspringen, die älter als die Aufbewahrungsfrist ist, geht nach der Ausführung von vacuum verloren. vacuum wird nicht automatisch ausgelöst.

Sie können Informationen zu den Vorgängen, zum Benutzer, zum Zeitstempel usw. für jeden Schreibvorgang in eine Delta-Tabelle abrufen, indem Sie den Befehl history ausführen. Die Vorgänge werden in umgekehrter chronologischer Reihenfolge zurückgegeben. Standardmäßig wird der Tabellenverlauf 30 Tage lang aufbewahrt.

Ausführliche Informationen finden Sie unter "Was ist Delta Lake in Azure Databricks?"

Für Azure Lsv2-Instanzen verfügbares Datenträgercaching

Datenträger-Cache ist jetzt für alle Lsv2-Instanzen standardmäßig aktiviert.

Optimierter Speicher mit APIs für lokale Dateien

APIs für lokale Dateien sind nützlich, da sie Ihnen den Zugriff auf Dateien aus dem zugrunde liegenden verteilten Objektspeicher als lokale Dateien ermöglichen. In Databricks Runtime 6.0 haben wir die FUSE-Einbindung verbessert, mit der APIs für lokale Dateien wichtige Einschränkungen behandeln können. Databricks Runtime 6.0 verbessert die Lese- und Schreibgeschwindigkeit erheblich und unterstützt Dateien, die größer als 2 GB sind. Wenn Sie schnellere und zuverlässigere Lese- und Schreibvorgänge benötigen, z. B. für verteiltes Modelltraining, ist diese Erweiterung besonders nützlich. Darüber hinaus müssen Sie für Ihre Workloads keine Daten in einen lokalen Speicher laden, was sowohl Kosten spart als auch die Produktivität erhöht.

Weitere Informationen finden Sie unter Was ist DBFS?.

Mehrere matplotlib-Plots pro Notebookzelle

Sie können jetzt mehrere matplotlib-Plots pro Notebookzelle anzeigen:

Dienstanmeldeinformationen für mehrere Azure Data Lake Storage Gen1-Konten

Sie können jetzt Dienstanmeldeinformationen für mehrere Azure-Speicherkonten für die Verwendung in einer einzigen Apache Spark-Sitzung einrichten. Fügen Sie hierzu den Konfigurationsschlüsseln account.<account-name> hinzu. Wenn Sie beispielsweise Anmeldeinformationen für die Konten für den Zugriff auf adl://example1.azuredatalakestore.net und adl://example2.azuredatalakestore.net einrichten möchten, können Sie wie folgt vorgehen:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Verbesserungen

• Upgrade des AWS SDK auf 1.11.596.
• Azure Storage SDK im WASB-Treiber hat ein Upgrade auf Version 7.0 erhalten.
• OPTIMIZE bietet jetzt eine Zusammenfassung der Metriken, z. B. Anzahl der hinzugefügten Dateien, Anzahl der entfernten Dateien sowie maximale und minimale Dateigröße. Siehe Optimieren des Datendateilayouts.

Entfernen

Der Databricks ML-Modellexport wird entfernt. Verwenden Sie stattdessen MLeap zum Importieren und Exportieren von Modellen.

Apache Spark

Databricks Runtime 6.0 enthält Apache Spark 2.4.3. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 5.5 LTS (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-27992][SPARK-28881][PYTHON] Python das Verknüpfen mit dem Verbindungsthread erlauben, um Fehler weiterzugeben
• [SPARK-27330][SS] Unterstützung von Taskabbruch in foreach-Writer (6.0, 5.x)
• [SPARK-28642][SQL] Zugangsdaten in SHOW CREATE TABLE verbergen
• [SPARK-28699][CORE] Ausnahmefall für das Abbrechen einer unbestimmten Stufe beheben
• [SPARK-28647][WEBUI] Zusätzliches Metrikfeature wiederherstellen
• [SPARK-28766][R][DOC] Eingehende CRAN-Durchführbarkeitswarnung bei ungültiger URL beheben
• [SPARK-28486][CORE][PYTHON] Ordnen Sie pythonBroadcasts Datendatei einem BroadcastBlock zu, um das Löschen durch GC zu vermeiden
• [SPARK-25035][CORE] Vermeidung von Speicherzuordnungen bei der Replikation von auf Datenträgern gespeicherten Blöcken
• [SPARK-27234][SS][PYTHON] InheritableThreadLocal für die aktuelle Epoche in EpochTracker verwenden (um Python-UDFs zu unterstützen)
• [SPARK-28638][WEBUI] Vorgangszusammenfassung sollte nur die Metriken der erfolgreichen Vorgänge enthalten.
• [SPARK-28153][PYTHON] AtomicReference bei InputFileBlockHolder verwenden (um input_file_name mit Python-UDF zu unterstützen)
• [SPARK-28564][CORE] Die Anwendung für den Zugriffsverlauf verwendet standardmäßig die ID des letzten Versuchs
• [SPARK-28260] Cluster kann automatisch beendet werden, während die Thriftserver-Abfrage noch Ergebnisse abruft
• [SPARK-26152][CORE] Workerbereinigung mit dem Herunterfahren der Worker synchronisieren
• [SPARK-28545][SQL] Größe der Hashzuordnung zum Richtungsprotokoll von ObjectAggregationIterator hinzufügen
• [SPARK-28489][SS] Korrektur eines Fehlers, durch den KafkaOffsetRangeCalculator.getRanges möglicherweise Offsets löscht
• [SPARK-28421][ML] SparseVector.apply-Leistungsoptimierung
• [SPARK-28156][SQL] Selbstverknüpfung sollte die zwischengespeicherte Sicht nicht verpassen
• [SPARK-28152][SQL] ShortType wurde zu SMALLINT und FloatType zu REAL für MsSqlServerDialect zugeordnet
• [SPARK-28054][SQL] Fehler beim dynamischen Einfügen einer partitionierten Hive-Tabelle beheben, bei der der Partitionsname groß geschrieben wird
• [SPARK-27159][SQL] MSSQL Server-Dialekt aktualisieren, um binären Typ zu unterstützen
• [SPARK-28355][CORE][PYTHON] Spark-Konfiguration für den Schwellenwert verwenden, bei dem…
• [SPARK-27989][CORE] Wiederholungsversuche bei der Verbindung mit dem Treiber für k8s hinzugefügt
• [SPARK-27416][SQL] Serialisierung von UnsafeMapData und UnsafeArrayData Kryo…
• [SPARK-28430][UI] Korrigieren des Renderns der Stufentabelle, wenn die Metriken einiger Aufgaben fehlen
• [SPARK-27485] EnsureRequirements.reorder sollte doppelte Ausdrücke ordnungsgemäß behandeln
• [SPARK-28404][SS] Negativen Timeoutwert in RateStreamContinuousPartitionReader beheben
• [SPARK-28378][PYTHON] Verwendung von cgi.escape entfernen
• [SPARK-28371][SQL] Parquet-Filter „StartsWith“ NULL-sicher machen
• [SPARK-28015][SQL] Überprüfung, ob stringToDate() die gesamte Eingabe für die Formate jjjj und jjjj-[m]m verbraucht
• [SPARK-28302][CORE] Generieren einer eindeutigen Ausgabedatei für SparkLauncher unter Windows sicherstellen
• [SPARK-28308][CORE] CalendarInterval-Teil unter einer Sekunde sollte vor der Analyse aufgefüllt werden
• [SPARK-28170][ML][PYTHON] Dokumentation zu Uniform Vectors und Matrix
• [SPARK-28160][CORE] Korrektur eines Fehlers, bei dem die Rückruffunktion hängen bleiben kann, wenn eine ungeprüfte Ausnahme nicht erkannt wird
• [SPARK-27839][SQL] UTF8String.replace() ändern, um mit UTF8-Bytes zu arbeiten
• [SPARK-28157][CORE] KVStore LogInfo für die Einträge auf der Negativliste durch SHS löschen lassen
• [SPARK-28128][PYTHON][SQL] Gruppierte UDFs von Pandas überspringen leere Partitionen
• [SPARK-28012][SQL] Hive UDF unterstützt reduzierbaren Ausdruck vom Typ „struct“
• [SPARK-28164] Beschreibung der Verwendung von start-slave.sh korrigiert
• [SPARK-27100][SQL] Array anstelle von Seq in FilePartition verwenden, um StackOverflowError zu verhindern
• [SPARK-28154][ML] GMM behebt doppeltes Zwischenspeichern

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 6.0-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Scala: 2.11.12
• Python: 3.7.3
• R: R-Version 3.6.1 (2019-07-05)
• Delta Lake: 0.3.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)