Databricks Runtime 4.1 (EoS)

Diese Version wurde von Databricks im Mai 2018 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 4.1 mit Unterstützung durch Apache Spark.

Deltasee

In Databricks Runtime Version 4.1 werden wichtige Qualitätsverbesserungen und Funktionen für Delta Lake hinzugefügt. Databricks empfiehlt allen Delta Lake-Kunden dringend, ein Upgrade auf die neue Runtime durchzuführen. Dieses Release verbleibt in der privaten Vorschau, ist aber ein Releasekandidat in Vorbereitung auf die anstehende Allgemeinverfügbarkeitsversion (GA).

Delta Lake ist jetzt auch in der privaten Vorschauversion für Azure Databricks-Benutzer verfügbar. Wenden Sie sich an Ihren Konto-Manager, oder registrieren Sie sich unter https://databricks.com/product/databricks-delta.

Aktuelle Änderungen

• Databricks Runtime 4.1 enthält Änderungen am Transaktionsprotokoll, um neue Features wie die Validierung zu ermöglichen. Tabellen, die mit Databricks Runtime 4.1 erstellt wurden, verwenden automatisch die neue Version, und ältere Versionen von Databricks Runtime können nicht darin schreiben. Sie müssen vorhandene Tabellen aktualisieren, um diese Verbesserungen nutzen zu können. Um eine vorhandene Tabelle zu aktualisieren, aktualisieren Sie zunächst alle Aufträge, die in die Tabelle schreiben. Führen Sie dann Folgendes aus:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Weitere Informationen finden Sie unter Delta Lake-Featurekompatibilität und -protokolle .

• Schreibvorgänge werden jetzt anhand des aktuellen Schemas der Tabelle überprüft, anstatt wie zuvor automatisch Spalten hinzuzufügen, die in der Zieltabelle fehlen. Um das vorherige Verhalten zu aktivieren, legen Sie die mergeSchema-Option auf true fest.

• Wenn Sie frühere Versionen von Databricks Delta ausführen, müssen Sie alle Aufträge aktualisieren, bevor Sie Databricks Runtime 4.1 verwenden. Wenn einer dieser Fehler angezeigt wird, führen Sie ein Upgrade auf Databricks Runtime 4.1 durch:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tabellen dürfen keine Spalten mehr enthalten, die sich nur nach Groß-/Kleinschreibung unterscheiden.

• Deltaspezifischen Tabellenkonfigurationen muss jetzt das Präfix delta. vorangestellt werden.

Neue Funktionen

• Schemaverwaltung: Databricks Delta überprüft nun Anfügungen und Überschreibungen an eine vorhandene Tabelle, um sicherzustellen, dass das geschriebene Schema mit dem Schema übereinstimmt.

  • Databricks Delta unterstützt weiterhin die automatische Schemaentwicklung.
  • Databricks Delta unterstützt jetzt die folgende DDL zum expliziten Ändern des Schemas:
    • ALTER TABLE ADD COLUMN zum Hinzufügen neuer Spalten zu einer Tabelle
    • ALTER TABLE CHANGE COLUMNS zum Ändern der Spaltenreihenfolge
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Ausführliche Informationen finden Sie unter Schemaerzwingung.

• Verbesserte DDL- und Tabellenunterstützung

  • Vollständige Unterstützung für Tabellen-DDL und saveAsTable(). save() und saveAsTable() verfügen nun über eine identische Semantik.
  • Alle DDL- und DML-Befehle unterstützen sowohl den Tabellennamen als auch delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Detaillierte Tabelleninformationen: Sie können die aktuellen Reader- und Writerversionen einer Tabelle anzeigen, indem Sie DESCRIBE DETAIL ausführen. Siehe Delta Lake Featurekompatibilität und Protokolle.
  • Tabellendetails: Informationen zur Herkunft sind jetzt für jeden Schreibvorgang in eine Tabelle verfügbar. Auf der Seitenleiste „Daten“ werden auch detaillierte Tabelleninformationen und der Verlauf für Databricks Delta-Tabellen angezeigt. Weitere Informationen finden Sie unter Überprüfen der Details der Delta Lake-Tabelle mit Beschreibungsdetails.
  • Streamingtabellen: Streaming-DataFrames können mithilfe von spark.readStream.format("delta").table("<table-name>") erstellt werden.
  • Tabellen, an die nur angefügt werden kann: Databricks Delta unterstützt jetzt grundlegende Datengovernance. Sie können Löschungen und Änderungen in einer Tabelle blockieren, indem Sie die Tabelleneigenschaft auf delta.appendOnly=true festlegen.
  • MERGE INTO Quelle: Erweitert die Unterstützung der Quellabfragespezifikation von MERGE. Beispielsweise können Sie LIMIT, ORDER BY und INLINE TABLE in der Quelle angeben.
  • Vollständige Unterstützung für Tabellen-ACLs.

Leistungsverbesserungen

• Reduzierter Mehraufwand für die Sammlung von Statistiken: Die Effizienz der Statistiksammlung wurde verbessert, und Statistiken werden jetzt nur für eine konfigurierbare Anzahl von Spalten gesammelt, die standardmäßig auf 32 festgelegt ist. Die Schreibleistung von Databricks Delta wurde aufgrund der Reduzierung des Mehraufwands bei der Sammlung von Statistiken bis auf das Doppelte verbessert. Legen Sie die Tabelleneigenschaft auf delta.dataSkippingNumIndexedCols=<number-of-columns> fest, um die Anzahl der Spalten zu konfigurieren.
• Unterstützung für Limitpushdown: Statistiken werden verwendet, um die Anzahl der für Abfragen überprüften Dateien zu begrenzen, die ein LIMIT und Prädikate für Partitionsspalten aufweisen. Dies gilt aufgrund des wirksamen impliziten limit=1000 für alle Notebookbefehle für Abfragen in Notebooks.
• Filterpushdown in der Streamingquelle: Streamingabfragen verwenden jetzt die Partitionierung, wenn ein neuer Stream gestartet wird, um irrelevante Daten zu überspringen.
• Die verbesserte Parallelität für OPTIMIZE - OPTIMIZE wird jetzt als einzelne Spark-Aufgabe ausgeführt und verwendet sämtliche im Cluster verfügbare Parallelität (zuvor galt eine Beschränkung auf 100 komprimierte Dateien gleichzeitig).
• Überspringen von Daten in DML: UPDATE, DELETEund MERGE verwenden jetzt Statistiken beim Suchen von Dateien, die neu geschrieben werden müssen.
• Verringerte Prüfpunktaufbewahrung: Prüfpunkte werden jetzt zwei Tage lang aufbewahrt (der Verlauf wird weiterhin für 30 Tage aufbewahrt), um die Speicherkosten für das Transaktionsprotokoll zu senken.

API-Verhalten

• Das Verhalten von insertInto(<table-name>) in Databricks Delta ist dasselbe wie bei anderen Datenquellen.
  • Wenn kein Modus angegeben oder modeErrorIfExists, Ignore oder Append ist, werden die Daten im DataFrame der Databricks Delta-Tabelle angefügt.
  • Wenn mode gleich Overwrite ist, werden alle Daten in der vorhandenen Tabelle gelöscht. Anschließend werden die Daten aus dem DataFrame in die Databricks Delta-Tabelle eingefügt.
• Wenn die Zieltabelle von MERGE zwischengespeichert ist, muss ihre Zwischenspeicherung manuell aufgehoben werden.

Verbesserungen der Benutzerfreundlichkeit

• Überprüfungen der Workloadmigration: Häufige Fehler bei der Migration von Workloads zu Databricks Delta lösen jetzt eine Ausnahme statt eines Ausfalls aus:
  • Verwenden von format("parquet") zum Lesen oder Schreiben einer Tabelle.
  • Direktes Lesen oder Schreiben auf eine Partition (d. h. /path/to/delta/part=1).
  • Leeren von Unterverzeichnissen einer Tabelle.
  • INSERT OVERWRITE DIRECTORY mit Parquet für eine Tabelle.
• Konfiguration ohne Berücksichtigung der Groß-/Kleinschreibung: Bei den Optionen für den DataFrame-Reader/Writer und Tabelleneigenschaften wird nun die Groß-/Kleinschreibung nicht beachtet (einschließlich Lese- und Schreibpfad).
• Spaltennamen: Tabellenspaltennamen können jetzt Punkte enthalten.

Bekannte Probleme

• Die Einfügungen von Mehrfacheinfügungs-Anweisungen befinden sich eher in unterschiedlichen Arbeitseinheiten als in derselben Transaktion.

Fehlerbehebungen

• Das Auftreten einer Endlosschleife beim Starten eines neuen Streams für eine Tabelle mit schneller Aktualisierung wurde behoben.

Veraltete Funktionen

Strukturiertes Streaming verarbeitet keine Eingabe, die keine Anfügung ist, und löst eine Ausnahme aus, wenn Änderungen an der Tabelle vorgenommen werden, die als Quelle verwendet wird. Zuvor konnten Sie dieses Verhalten mithilfe des ignoreFileDeletion-Flags überschreiben, aber es ist jetzt veraltet. Verwenden Sie stattdessen ignoreDeletes oder ignoreChanges. Siehe Option 2: Streamen aus einer Delta-Tabelle.

Weitere Änderungen und Verbesserungen

• Query Watchdog ist für alle Allzweckcluster aktiviert, die über die Benutzeroberfläche erstellt wurden.
• Verbesserte treiberseitige Leistung für den DBIO-Cache
• Verbesserte Performance für die Parquet-Decodierung durch einen neuen nativen Parquet-Decoder
• Verbesserte Leistung für häufige Teilausdruckslöschung
• Verbesserte Leistung beim Überspringen von Daten für große Tabellen, die kleine Tabellen verknüpfen (Faktendimensionstabellen-Verknüpfungen)
• display() rendert jetzt Spalten, die Bilddatentypen enthalten, als Rich HTML.
• Verbesserungen bei Protokoll-, Lade- und Register-MLflow-Modellen
  • Upgrade von dbml-local auf das neueste Release 0.4.1
  • Fehler bei mit Angabe des threshold-Parameters exportierten Modellen behoben
  • Unterstützung für den Export von OneVsRestModel, GBTClassificationModel hinzugefügt
• Einige installierte Python-Bibliotheken haben ein Upgrade erhalten:
  • pip: von 9.0.1 auf 10.0.0b2
  • setuptools: von 38.5.1 auf 39.0.1
  • tornado: von 4.5.3 auf 5.0.1
  • wheel: von 0.30.0 auf 0.31.0
• Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.
• Azure Data Lake Store SDK wurde von 2.0.11 auf 2.2.8 aktualisiert.
• CUDA wurde von 8.0 auf 9.0 und CUDNN von 6.0 für GPU-Cluster auf 7.0 aktualisiert.

Apache Spark

Databricks Runtime 4.1 enthält Apache Spark 2.3.0. Dieses Release enthält alle Fixes und Verbesserungen, die in Databricks Runtime 4.0 (EoS) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

• [SPARK-24007][SQL] EqualNullSafe für FloatType und DoubleType generiert möglicherweise ein falsches Ergebnis durch Codegen.
• [SPARK-23942][PYTHON][SQL] Führt Sammeln in PySpark als Aktion für einen Abfrage-Executor-Listener aus
• [SPARK-23815][CORE] Der Überschreibungsmodus für dynamische Spark-Writer-Partitionen kann möglicherweise keine Ausgabe auf Partitionen mit mehreren Ebenen schreiben
• [SPARK-23748][SS] Korrektur des Problems, dass der kontinuierliche SS-Prozess "SubqueryAlias" nicht unterstützt.
• [SPARK-23963][SQL] Ordnungsgemäße Verarbeitung einer großen Anzahl von Spalten in Abfragen für textbasierte Hive-Tabellen
• [SPARK-23867][SCHEDULER] Verwendung von droppedCount in logWarning
• SPARK-23816[CORE] Beendete Tasks sollten FetchFailures ignorieren.
• SPARK-23809[SQL] Aktive SparkSession sollte über getOrCreate festgelegt werden
• [SPARK-23966][SS] Umgestaltung aller Prüfpunktdatei-Schreiblogik in einer gemeinsamen CheckpointFileManager-Schnittstelle
• [SPARK-21351][SQL] Aktualisierung der Nullbarkeit basierend auf den Ausgaben der Kind-Elemente
• [SPARK-23847][PYTHON][SQL] Hinzufügen von asc_nulls_first, asc_nulls_last zu PySpark
• SPARK-23822[SQL] Verbesserung der Fehlermeldung bei Abweichungen im Parquet-Schema
• SPARK-23823[SQL] Beibehalten des Ursprungs in transformExpression
• SPARK-23838[WEBUI] Laufende SQL-Abfrage wird auf der SQL-Registerkarte als „abgeschlossen“ angezeigt
• SPARK-23802[SQL] PropagateEmptyRelation kann Abfrageplan in unvollendetem Zustand hinterlassen
• [SPARK-23727][SQL] Unterstützung für Filterpushdown für DateType in Parquet
• [SPARK-23574][SQL] SinglePartition wird in DataSourceV2ScanExec gemeldet, wenn genau 1 Datenleserfabrik vorhanden ist.
• [SPARK-23533][SS] Hinzufügen von Unterstützung für das Ändern des StartOffsets von ContinuousDataReader
• [SPARK-23491][SS] Entfernen des expliziten Auftragsabbruchs aus ContinuousExecution-Neukonfiguration
• SPARK-23040[CORE] Gibt nicht unterbrechbare Iteratoren für den Shuffle-Reader zurück
• SPARK-23827[SS] StreamingJoinExec sollte sicherstellen, dass Eingabedaten in eine spezifische Anzahl von Partitionen partitioniert werden
• SPARK-23639[SQL] Abrufen des Tokens bevor Metastore-Client in der SparkSQL-CLI initialisiert wird
• SPARK-23806 Broadcast.unpersist kann schwerwiegende Ausnahmefehler verursachen bei Verwendung...
• SPARK-23599[SQL] Verwendung von RandomUUIDGenerator in UUID-Ausdrücken
• SPARK-23599[SQL] Hinzufügen eines UUID-Generators aus Pseudo-Zufallszahlen
• SPARK-23759[UI] Spark-Benutzeroberfläche kann nicht an einen bestimmten Hostnamen oder eine IP gebunden werden
• SPARK-23769[CORE] Entfernung von Kommentaren, die Scalastyle unnötigerweise deaktivieren
• SPARK-23614[SQL] Behebung des falschen Wiederverwendungsaustauschs bei Verwendung der Zwischenspeicherung
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs sollte den Zustand des CSE korrekt speichern und wiederherstellen.
• SPARK-23729[CORE] Beachtung von URI-Fragmenten beim Auflösen von globs
• [SPARK-23550][CORE] Bereinigen von Utils
• SPARK-23288[SS] Fehlerbehebung für Ausgabemetriken mit Parquet-Senke
• SPARK-23264[SQL] Fehlerbehebung von scala.MatchError in literals.sql.out
• SPARK-23649[SQL] Überspringen von Zeichen, die in UTF-8 nicht zulässig sind
• SPARK-23691[PYTHON] Verwendung von sql_conf-Hilfsprogramm in PySpark-Tests, wenn möglich
• SPARK-23644[CORE][UI] Verwendung eines absoluten Pfads für REST-Aufruf in SHS
• SPARK-23706[PYTHON] spark.conf.get(value, default=None) sollte die Ausgabe „None“ in PySpark erzeugen
• SPARK-23623[SS] Vermeiden der gleichzeitigen Verwendung zwischengespeicherter Consumer in CachedKafkaConsumer
• [SPARK-23670][SQL] Behebung eines Speicherlecks im SparkPlanGraphWrapper
• SPARK-23608[CORE][WEBUI] Hinzufügen der Synchronisierung der Funktionen attachSparkUI und detachSparkUI in SHS, um das Problem gleichzeitiger Änderungen an Jetty-Handlern zu vermeiden
• SPARK-23671[CORE] Behebung der Bedingung zum Aktivieren des SHS-Threadpools
• SPARK-23658[LAUNCHER] InProcessAppHandle verwendet die falsche Klasse in getLogger
• SPARK-23642[DOCS] Fehlerbehebung der Unterklasse isZero scaladoc von AccumulatorV2
• SPARK-22915[MLLIB] Streamingtests für spark.ml.feature von N bis Z
• SPARK-23598[SQL] Veröffentlichen von Methoden in BufferedRowIterator, um Runtimefehler für eine große Abfrage zu vermeiden
• [SPARK-23546][SQL] Umgestalten zustandsloser Methoden/Werte in CodegenContext
• [SPARK-23523][SQL] Korrigieren des fehlerhaften Ergebnisses aufgrund der Regel OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] Verbesserung der Fehlermeldung für fehlende Felder in StructType
• [SPARK-23624][SQL] Dokumentation der Methode pushFilters in Datasource V2 überarbeiten
• SPARK-23173[SQL] Vermeiden der Erstellung fehlerhafter Parquet-Dateien beim Laden von Daten aus JSON
• SPARK-23436[SQL] Partition nur als Datum ableiten, wenn sie in Datum umgewandelt werden kann
• [SPARK-23406][SS] Aktivieren von Stream-Stream-Selbstjoins
• SPARK-23490[SQL] Überprüfung von storage.locationUri mit vorhandener Tabelle in CreateTable
• SPARK-23524 Große lokale Shuffle-Blöcke sollten nicht auf Fehler überprüft werden.
• [SPARK-23525][SQL] Unterstützung für ALTER TABLE CHANGE COLUMN COMMENT für externe Hive-Tabellen
• SPARK-23434[SQL] Spark sollte das Metadatenverzeichnis nicht für einen HDFS-Dateipfad warnen
• SPARK-23457[SQL] Listener für Abschluss von Tasks zuerst in ParquetFileFormat registrieren
• SPARK-23329[SQL] Fehlerbehebung bei der Dokumentation von trigonometrischen Funktionen
• SPARK-23569[PYTHON] Zulassen der Zusammenarbeit von pandas_udf mit python3-artigen Funktionen mit kommentierten Typen
• SPARK-23570[SQL] Hinzufügen von Spark 2.3.0 in HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Lassen Sie pyspark.util._exception_message die Rückverfolgung von der Java-Seite durch Py4JJavaError erzeugen
• [SPARK-23508][CORE] Korrigieren von BlockmanagerId, falls blockManagerIdCache Arbeitsspeichermangel verursacht
• [SPARK-23448][SQL] Verdeutlichen des JSON- und CSV-Parserverhaltens im Dokument
• [SPARK-23365][CORE] Num-Executors beim Beenden von Executors im Leerlauf nicht anpassen.
• [SPARK-23438][DSTREAMS] Korrektur von DStreams-Datenverlust mit WAL, wenn der Treiber abstürzt
• [SPARK-23475][UI] Auch übersprungene Phasen anzeigen
• [SPARK-23518][SQL] Metastore-Zugriff vermeiden, wenn die Benutzer nur Datenrahmen lesen und schreiben möchten
• [SPARK-23406][SS] Aktivieren von Stream-Stream-Selbstjoins
• [SPARK-23541][SS] Zulassen, dass die Kafka-Quelle Daten mit einer Parallelität liest, die die Anzahl der Artikelpartitionen überschreitet
• [SPARK-23097][SQL][SS] Migrieren der Textsocketquelle zu V2
• [SPARK-23362][SS] Migrieren der Kafka Microbatch-Quelle zu V2
• [SPARK-23445] ColumnStat-Refactoring
• [SPARK-23092][SQL] Migrieren von MemoryStream zu DataSourceV2-APIs
• [SPARK-23447][SQL] Bereinigen der Codegen-Vorlage für das Literal
• [SPARK-23366] Verbessern des heißen Lesepfads in ReadAheadInputStream
• [SPARK-22624][PYSPARK] Verfügbarmachen des Bereichspartitionierungs-Shuffles

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 4.1-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Skala: 2.11.8
• Python: 2.7.12 für Python 2-Cluster und 3.5.2 für Python 3-Cluster.
• R: R-Version 3.4.4 (2018-03-15)
• GPU-Cluster: Die folgenden NVIDIA-GPU-Bibliotheken sind installiert:
  • Tesla-Fahrer 375.66
  • CUDA 9.0
  • cuDNN 7.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)