Databricks Runtime 10.4 LTS (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.4 und Databricks Runtime 10.4 Photon, unterstützt von Apache Spark 3.2.1. Photon ist als Public Preview verfügbar. Diese Version wurde von Databricks im März 2022 veröffentlicht.

Neue Features und Verbesserungen

• Apache Iceberg-zu-Delta-Tabellenkonverter (Public Preview)
• Rollbacks für die automatische Komprimierung sind jetzt standardmäßig aktiviert
• Low-Shuffle-Merge ist jetzt standardmäßig aktiviert
• Tags für die Einfügereihenfolge werden jetzt beibehalten für UPDATEs und DELETEs
• HikariCP ist jetzt der standardmäßige Verbindungspool des Hive-Metastores
• Azure Synapse Connector ermöglicht jetzt das Festlegen der maximalen Anzahl zulässiger abgelehnter Zeilen
• Asynchrone Zustandsprüfpunkte jetzt allgemein verfügbar
• Parameterstandardwerte können jetzt für benutzerdefinierte SQL-Funktionen angegeben werden
• Neue Spark SQL-Funktionen
• Neues Arbeitsverzeichnis für Cluster mit hoher Parallelität
• Unterstützung von Identitätsspalten in Delta-Tabellen jetzt allgemein verfügbar

Apache Iceberg-zu-Delta-Tabellenkonverter (Public Preview)

Convert to Delta unterstützt jetzt das Konvertieren einer Apache Iceberg-Tabelle vor Ort in eine Delta-Tabelle. Dazu werden die nativen Iceberg-Metadaten und -Dateimanifeste verwendet. Weitere Informationen finden Sie unter Konvertieren in Delta Lake.

Rollbacks für die automatische Komprimierung sind jetzt standardmäßig aktiviert

Diese Version verbessert das Verhalten für Delta Lake-Schreibvorgänge, die bei gleichzeitigen Transaktionen für die automatische Komprimierung committet werden. Vor dieser Version wurden solche Schreibvorgänge oft abgebrochen, wenn gleichzeitig Änderungen an einer Tabelle vorgenommen wurden. Schreibvorgänge werden jetzt auch dann erfolgreich durchgeführt, wenn gleichzeitig Transaktionen für die automatische Komprimierung stattfinden.

Low-Shuffle-Merge ist jetzt standardmäßig aktiviert

Der MERGE INTO-Befehl verwendet jetzt immer die neue Low-Shuffle-Implementierung. Dadurch wird die Leistung des MERGE INTO-Befehls für die meisten Workloads erheblich verbessert. Die zuvor zum Aktivieren dieses Features verwendete Konfigurationseinstellung wurde entfernt. Siehe Low-Shuffle-Merge in Azure Databricks.

Tags für die Einfügereihenfolge werden jetzt beibehalten für UPDATEs und DELETEs

Die Befehle UPDATE und DELETE behalten jetzt die vorhandenen Clusterinformationen (einschließlich der Z-Reihenfolge) für Dateien bei, die aktualisiert oder gelöscht werden. Dies ist ein Best-Effort-Ansatz und gilt nicht für Fälle, in denen Dateien so klein sind, dass sie während der Aktualisierung oder beim Löschen kombiniert werden.

HikariCP ist jetzt der standardmäßige Verbindungspool des Hive-Metastores

HikariCP bringt eine Vielzahl von Stabilitätsverbesserungen für den Zugriff auf den Hive-Metastore, während gleichzeitig weniger Verbindungen im Vergleich zur vorherigen Implementierung des BoneCP-Verbindungspools bestehen bleiben. HikariCP ist standardmäßig auf jedem Databricks Runtime-Cluster aktiviert, der den Databricks Hive-Metastore verwendet (z. B. wenn spark.sql.hive.metastore.jars nicht festgelegt ist). Sie können auch explizit zu anderen Verbindungspoolimplementierungen wechseln, z. B. BoneCP, indem Sie spark.databricks.hive.metastore.client.pool.type festlegen.

Azure Synapse Connector ermöglicht jetzt das Festlegen der maximalen Anzahl zulässiger abgelehnter Zeilen

Der Azure Synapse-Connector unterstützt jetzt die Datenrahmenoption maxErrors. Mit diesem Update können Sie die maximale Anzahl abgelehnter Zeilen konfigurieren, die bei Lese- und Schreibvorgängen zulässig sind, bevor der Ladevorgang abgebrochen wird. Alle abgelehnten Zeilen werden ignoriert. Wenn z. B. zwei von zehn Datensätzen Fehler aufweisen, werden nur acht Datensätze verarbeitet.

Diese Option ordnet die Option für die REJECT_VALUECREATE EXTERNAL TABLE Anweisung in PolyBase und der Option für den MAXERRORS Befehl des Azure Synapse-Connectors COPY direkt zu.

Standardmäßig ist der maxErrors-Wert auf 0 festgelegt: Es wird erwartet, dass alle Datensätze gültig sind.

Asynchrone Zustandsprüfpunkte jetzt allgemein verfügbar

Sie können die asynchrone Zustandsüberprüfung in zustandsbehafteten Streamingabfragen mit großen Statusupdates aktivieren. Dies kann die End-to-End-Latenz bei Mikrobatches verringern. Dieses Feature ist jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Asynchrone Zustandsprüfpunkte für zustandsbehaftete Abfragen.

Parameterstandardwerte können jetzt für benutzerdefinierte SQL-Funktionen angegeben werden

Wenn Sie eine benutzerdefinierte SQL-Funktion (SQL UDF) erstellen, können Sie jetzt Standardausdrücke für die Parameter der SQL-UDF angeben. Anschließend können Sie die SQL-UDF aufrufen, ohne Argumente für diese Parameter anzugeben. Databricks füllt die Standardwerte für diese Parameter aus. Siehe CREATE FUNCTION (SQL und Python).

Neue Spark SQL-Funktionen

Die folgenden Spark SQL-Funktionen sind in diesem Release verfügbar:

• try_multiply gibt multiplier multipliziert durch multiplicand oder NULL bei einem Überlauf zurück.
• try_subtract gibt expr2 minus expr1 oder NULL bei einem Überlauf zurück.

Neues Arbeitsverzeichnis für Cluster mit hoher Parallelität

Bei Clustern mit hoher Parallelität, für die entweder die Zugriffssteuerung für Tabellen oder Credential Passthrough aktiviert ist, ist das aktuelle Arbeitsverzeichnis von Notebooks jetzt das Home-Verzeichnis des Benutzers. Zuvor war das Arbeitsverzeichnis /databricks/driver.

Unterstützung von Identitätsspalten in Delta-Tabellen jetzt allgemein verfügbar

Delta Lake unterstützt jetzt Identitätsspalten. Wenn Sie in eine Delta-Tabelle schreiben, die eine Identitätsspalte definiert, und Sie keine Werte für diese Spalte bereitstellen, weist Delta jetzt automatisch einen eindeutigen und statistisch zu- oder abnehmenden Wert zu. Siehe CREATE TABLE [USING].

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:
  • filelock von 3.4.2 auf 3.6.0
• Aktualisierte R-Bibliotheken:
  • brew von 1.0-6 auf 1.0-7
  • broom von 0.7.11 auf 0.7.12
  • cli von 3.1.0 auf 3.2.0
  • clipr von 0.7.1 auf 0.8.0
  • colorspace von 2.0-2 auf 2.0-3
  • crayon von 1.4.2 auf 1.5.0
  • dplyr von 1.0.7 auf 1.0.8
  • dtplyr von 1.2.0 auf 1.2.1
  • evaluate von 0.14 auf 0.15
  • foreach von 1.5.1 auf 1.5.2
  • future von 1.23.0 auf 1.24.0
  • generics von 0.1.1 auf 0.1.2
  • glue von 1.6.0 auf 1.6.1
  • gower von 0.2.2 auf 1.0.0
  • iterators von 1.0.13 auf 1.0.14
  • jsonlite von 1.7.3 auf 1.8.0
  • magrittr von 2.0.1 auf 2.0.2
  • mgcv von 1.8-38 auf 1.8-39
  • pillar von 1.6.4 auf 1.7.0
  • randomForest von Version 4.6-14 auf Version 4.7-1
  • readr von 2.1.1 auf 2.1.2
  • recipes von 0.1.17 auf 0.2.0
  • rlang von 0.4.12 auf 1.0.1
  • rpart von 4.1-15 auf 4.1.16
  • RSQLite von 2.2.9 auf 2.2.10
  • sparklyr von 1.7.4 auf 1.7.5
  • testthat von 3.1.1 auf 3.1.2
  • tidyr von 1.1.4 auf 1.2.0
  • tidyselect von 1.1.1 auf 1.1.2
  • tinytex von 0.36 auf 0.37
  • yaml von 2.2.1 auf 2.3.5
• Aktualisierte Java-Bibliotheken:
  • io.delta.delta-sharing-spark_2.12 von 0.3.0 auf 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS enthält Apache Spark 3.2.1. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 10.3 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-38322] [SQL] In der Supportabfragephase werden Laufzeitstatistiken im formatierten Explain-Modus angezeigt
• [SPARK-38162] [SQL] Einen Zeilenplan im normalen und AQE-Optimierer optimieren
• [SPARK-38229] [SQL] Bei der Analyse sollte visitReplaceTable nicht temp/external/ifNotExists überprüfen
• [SPARK-34183] [SS] DataSource V2: Erforderliche Verteilung und Bestellung bei der Ausführung von Mikrobatches
• [SPARK-37932] [SQL] Auf die Auflösung der fehlenden Attribute warten, bevor Sie DeduplicateRelations anwenden
• [SPARK-37904] [SQL] RebalancePartitions in Regeln des Optimierers verbessern
• [SPARK-38236] [SQL][3.2][3.1] Prüfen Sie, ob der Speicherort der Tabelle absolut ist, indem Sie „new Path(locationUri).isAbsolute“ beim Erstellen/Ändern einer Tabelle verwenden
• [SPARK-38035] [SQL] Docker-Tests für den integrierten JDBC-Dialekt hinzufügen
• [SPARK-38042] [SQL] Sicherstellen, dass ScalaReflection.dataTypeFor bei Arraytypen mit Aliasen funktioniert
• [SPARK-38273] [SQL] decodeUnsafeRowsIteratoren sollten zugrunde liegende Eingabedatenströme schließen
• [SPARK-38311] [SQL] DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite unter ANSI-Modus beheben
• [SPARK-38305] [CORE] Explizit prüfen, ob die Quelle in unpack() existiert, bevor FileUtil-Methoden aufgerufen werden
• [SPARK-38275] [ SS] Schließen Sie die Speicherauslastung von writeBatch als gesamter Speicherauslastung des RocksDB-Zustandsspeichers ein.
• [SPARK-38132] [SQL] Regel NotPropagation entfernen
• [SPARK-38286] [SQL] Union maxRows und maxRowsPerPartition können überlaufen
• [SPARK-38306] [SQL] ExplainSuite,StatisticsCollectionSuite und StringFunctionsSuite unter ANSI-Modus beheben
• [SPARK-38281] [SQL][Tests] AnalysisSuite unter ANSI-Modus beheben
• [SPARK-38307] [SQL][Tests] ExpressionTypeCheckingSuite und CollectionExpressionsSuite unter ANSI-Modus beheben
• [SPARK-38300] [SQL] ByteStreams.toByteArray verwenden, um fileToString und resourceToBytes in catalyst.util zu vereinfachen
• [SPARK-38304] [SQL] Elt() sollte NULL zurückgeben, wenn der Index unter dem ANSI-Modus NULL ist
• [SPARK-38271] PoissonSampler kann mehr Zeilen ausgeben als MaxRows
• [SPARK-38297] [PYTHON] Rückgabewert bei DataFrame.to_numpy in POS explizit umwandeln
• [SPARK-38295] [ SQL][tests] Korrigieren Sie ArithmetischeExpressionSuite im ANSI-Modus.
• [SPARK-38290] [SQL] JsonSuite und ParquetIOSuite unter ANSI-Modus beheben
• [SPARK-38299] [SQL] Veraltete Verwendung von StringBuilder.newBuilder bereinigen
• [SPARK-38060] [SQL] allowNonNumericNumbers beim Analysieren von NaN- und Infinity-Werten in Anführungszeichen im JSON-Leser respektieren
• [SPARK-38276] [SQL] Genehmigte TPCDS-Pläne unter ANSI-Modus hinzufügen
• [SPARK-38206] [SS] Ignorieren der NULL-Zulässigkeit beim Vergleich des Datentyps von Joinschlüsseln beim Stream-Stream-Join
• [SPARK-37290] [SQL] - Exponentielle Planungszeit im Falle einer nicht deterministischen Funktion
• [SPARK-38232] [SQL] Erläuterung: Werte mit Formatierung sammeln keine Unterabfragen unter der Abfragephase in AQE
• [SPARK-38283] [SQL] Ungültige datetime-Analyse unter ANSI-Modus testen
• [SPARK-38140] [SQL] Statistiken der Spalte „Desc“ (min, max) für den Zeitstempeltyp stimmen aufgrund der Zeitzonendifferenz nicht mit den Werten überein
• [SPARK-38227] [SQL][ss] Wenden Sie die strenge Nullierbarkeit der geschachtelten Spalte im Zeitfenster/Sitzungsfenster an.
• [SPARK-38221] [SQL] Eifriges Iterieren über groupingExpressions beim Verschieben komplexer Gruppierungsausdrücke aus einem Aggregatknoten
• [SPARK-38216] [SQL] Frühzeitiger Fehler, wenn beim Erstellen einer Hive-Tabelle alle Spalten partitionierte Spalten sind
• [SPARK-38214] [SS] Keine Notwendigkeit zum Filtern von Fenstern, wenn windowDuration ein Vielfaches von slideDuration ist
• [SPARK-38182] [SQL] NoSuchElementException beheben, wenn der gepushte Filter keine Verweise enthält
• [SPARK-38159] [SQL] Ein neues FileSourceMetadataAttribute zu den versteckten Dateimetadaten hinzufügen
• [SPARK-38123] [SQL] Einheitliche Verwendung von DataType als targetType von QueryExecutionErrors#castingCauseOverflowError
• [SPARK-38118] [SQL] „Func(falscher Datentyp)“ in HAVING-Klausel sollte einen Datenkonfliktfehler auslösen
• [SPARK-35173] [SQL][PYTHON] Unterstützung für mehrere Spalten hinzufügen
• [SPARK-38177] [SQL] transformExpressions-Fehler im Optimierer korrigieren
• [SPARK-38228] [SQL] Legacyspeicherzuweisung sollte unter ANSI-Modus keinen Fehler aufweisen
• [SPARK-38173] [SQL] In Anführungszeichen gesetzte Spalte kann nicht ordnungsgemäß erkannt werden, wenn quotedRegexColumnNa…
• [SPARK-38130] [SQL] Prüfung von bestellbaren array_sort-Einträgen entfernen
• [SPARK-38199] [SQL] Löschen Sie die ungenutzte dataType, die in der Definition von IntervalColumnAccessor angegeben ist.
• [SPARK-38203] [SQL] SQLInsertTestSuite und SchemaPruningSuite unter ANSI-Modus beheben
• [SPARK-38163] [SQL] Fehlerklasse von SparkThrowable beim Erstellen des Funktions-Generators beibehalten
• [SPARK-38157] [SQL] ANSI in „test timestampNTZ/timestamp.sql“ und „SQLQueryTestSuite“ explizit auf „false“ festlegen, um die erwarteten goldenen Ergebnisse zu erzielen
• [SPARK-38069] [SQL][ss] Verbessern der Berechnung des Zeitfensters
• [SPARK-38164] [SQL] Neue SQL-Funktionen: try_subtract und try_multiply
• [SPARK-38176] [SQL] ANSI-Modus: implizites Umwandeln von String in andere einfache Typen zulassen
• [SPARK-37498] [PYTHON] test_reuse_worker_of_parallelize_range schließlich hinzufügen
• [SPARK-38198] [SQL][3.2] QueryExecution.debug#toFile beheben, das die übergebenen maxFields verwendet, wenn explainMode entsprechend CodegenMode ist
• [SPARK-38131] [SQL] Fehlerklassen nur in benutzerseitigen Ausnahmen verwenden
• [SPARK-37652] [SQL] Test für die Optimierung von verzerrtem Join durch Union hinzufügen
• [SPARK-37585] [SQL] InputMetric in DataSourceRDD mit TaskCompletionListener aktualisieren
• [SPARK-38113] [SQL] Fehlerklassen in den Ausführungsfehlern der Pivotierung verwenden
• [SPARK-38178] [SS] Logik zur Messung der Speicherauslastung von RocksDB korrigieren
• [SPARK-37969] [SQL] HiveFileFormat sollte Feldnamen prüfen
• [SPARK-37652] „[SQL] Test für die Optimierung von verzerrtem Join durch Union hinzufügen“ wiederherstellen
• [SPARK-38124] [SQL][ss] StatefulOpClusteredDistribution einführen und auf Stream-Stream-Join anwenden
• [SPARK-38030] [SQL] Kanonisierung sollte NULL-Zulässigkeit von AttributeReference dataType nicht entfernen
• [SPARK-37907] [SQL] InvokeLike unterstützt ConstantFolding
• [SPARK-37891] [CORE] scalastyle-Überprüfung hinzufügen, um scala.concurrent.ExecutionContext.Implicits.global zu deaktivieren
• [SPARK-38150] [SQL] Kommentar von RelationConversions aktualisieren
• [SPARK-37943] [SQL] Fehlerklassen in den Kompilierungsfehlern der Gruppierung verwenden
• [SPARK-37652] [SQL] Test für die Optimierung von verzerrtem Join durch Union hinzufügen
• [SPARK-38056] [Web UI][3.2] Problem beheben, dass Structured Streaming auf dem Verlaufsserver nicht funktioniert, wenn LevelDB verwendet wird
• [SPARK-38144] [CORE] Nicht verwendete spark.storage.safetyFraction-Konfiguration entfernen
• [SPARK-38120] [SQL] HiveExternalCatalog.listPartitions beheben, wenn Partitionsspaltenname groß geschrieben ist und der Partitionswert einen Punkt enthält
• [SPARK-38122] [Docs] App-Schlüssel von DocSearch aktualisieren
• [SPARK-37479] [SQL] Migrieren von DROP NAMESPACE für standardmäßige Verwendung des V2-Befehls
• [SPARK-35703] [SQL] Einschränkung für Bucket-Join lockern und HashClusteredDistribution entfernen
• [SPARK-37983] [SQL] Agg-Metriken zur Erstellungszeit aus dem Sortieraggregat zurückziehen
• [SPARK-37915] [SQL] Union-Instanzen kombinieren, wenn es ein Projekt zwischen ihnen gibt
• [SPARK-38105] [SQL] Fehlerklassen beim Analysieren von Fehlern bei Joins verwenden
• [SPARK-38073] [PYTHON] Atexit-Funktion aktualisieren, um Probleme mit späterer Bindung zu vermeiden
• [SPARK-37941] [SQL] Fehlerklassen in den Kompilierungsfehlern der Umwandlung verwenden
• [SPARK-37937] [SQL] Fehlerklassen beim Analysieren von Fehlern bei seitlichem Join verwenden
• [SPARK-38100] [SQL] Nicht verwendete private Methode in Decimal entfernen
• [SPARK-37987] [SS] Unzuverlässiges StreamingAggregationSuite.changing-Testschema von Zustand beim Neustart der Abfrage beheben
• [SPARK-38003] [SQL] LookupFunctions-Regel sollte nur Funktionen aus der Registrierung von Skalarfunktionen suchen
• [SPARK-38075] [SQL] Fix hasNext im Prozess-Ausgabe Iterator von HiveScriptTransformationExec
• [SPARK-37965] [SQL] Prüffeldname beim Lesen/Schreiben vorhandener Daten in Orc entfernen
• [SPARK-37922] [SQL] Zu einer Umwandlung kombinieren, wenn wir sicher zwei Umwandlungen nach oben übertragen können (für dbr-branch-10.x)
• [SPARK-37675] [SPARK-37793] Überschreiben von zusammengeführten Push-Shuffle-Dateien verhindern, sobald das Mischen abgeschlossen ist
• [SPARK-38011] [SQL] Doppelte und unnötige Konfiguration in ParquetFileFormat entfernen
• [SPARK-37929] [SQL] Überlappungsmodus für dropNamespace-API unterstützen
• [SPARK-37931] [SQL] Bei Bedarf den Spaltennamen in Anführungszeichen setzen
• [SPARK-37990] [SQL] TimestampNTZ in RowToColumnConverter unterstützen
• [SPARK-38001] [SQL] Fehlerklassen im Zusammenhang mit nicht unterstützten Features durch UNSUPPORTED_FEATURE ersetzen
• [SPARK-37839] [SQL] DS V2 unterstützt partiellen Aggregation-Pushdown AVG
• [SPARK-37878] [SQL] Standardmäßig SHOW CREATE TABLE auf den v2-Befehl umstellen
• [SPARK-37731] [SQL] Funktionssuche im Analysator umgestalten und bereinigen
• [SPARK-37979] [SQL] Wechsel zu allgemeineren Fehlerklassen in AES-Funktionen
• [SPARK-37867] [SQL] Aggregatfunktionen des integrierten JDBC-Dialekts kompilieren
• [SPARK-38028] [SQL] Pfeilvektor aus ArrowColumnVector freigeben
• [SPARK-30062] [SQL] IMMEDIATE-Anweisung zur Implementierung von „DB2 dialect truncate“ hinzufügen
• [SPARK-36649] [SQL] Trigger.AvailableNow in Kafka-Datenquelle unterstützen
• [SPARK-38018] [SQL] ColumnVectorUtils.populate beheben, um CalendarIntervalType ordnungsgemäß zu verarbeiten
• [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved sollte ExecutorDecommission als abgeschlossen behandeln
• [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors als deterministisch festlegen
• [SPARK-37957] [SQL] Das deterministische Flag für V2-Skalarfunktionen richtig übergeben
• [SPARK-37985] [SQL] Unzuverlässigen Test für SPARK-37578 beheben
• [SPARK-37986] [SQL] TimestampNTZ in Radix-Sortierung unterstützen
• [SPARK-37967] [SQL] Literal.create-Unterstützung für ObjectType
• [SPARK-37827] [SQL] Einige integrierte Tabelleneigenschaften in V1Table.propertie einfügen, um sie an den V2-Befehl anzupassen
• [SPARK-37963] [SQL] URI der Partition muss nach Umbenennung der Tabelle in InMemoryCatalog aktualisiert werden
• [SPARK-35442] [SQL] Unterstützung der Propagierung einer leeren Relation durch Aggregat/Union
• [SPARK-37933] [SQL] Durchlaufmethode von V2ScanRelationPushDown-Pushdownregeln ändern
• [SPARK-37917] [SQL] Pushdowngrenzwert 1 für rechte Seite von linkem SEMI-/ANTI-Join, wenn die Joinbedingung leer ist
• [SPARK-37959] [ML] UT zur Überprüfung der Norm in KMeans und BiKMeans beheben
• [SPARK-37906] [SQL] spark-sql sollte den letzten Kommentar nicht an Back-End weitergeben
• [SPARK-37627] [SQL] Sortierte Spalte in BucketTransform hinzufügen

Wartungsupdates

Weitere Informationen finden Sie unter Wartungsupdates von Databricks Runtime 10.4 LTS.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.4 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die DBR-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus dem Microsoft CRAN-Snapshot vom 24.02.2022 installiert. Die Momentaufnahme ist nicht mehr verfügbar.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)