Databricks Runtime 15.1 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.1, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Version im April 2024 veröffentlicht.

Aktuelle Änderungen

Der Support für Databricks Runtime 15.0 und Databricks Runtime 15.0 für Machine Learning wird am 31. Mai 2024 eingestellt, da ein Upgrade der Pandas-Bibliothek von 1.5.3 auf 2.0.3 in der Version 15.0 einen Breaking Change in mehreren Apache Spark-APIs zur Folge hatte. Ausführliche Informationen zu den Breaking Changes finden Sie unter Herabstufung der Pandas-Python-Bibliothek auf 1.5.3. Zur Behebung dieser Inkompatibilität wurden Databricks Runtime 15.1 und Databricks Runtime 15.1 für Machine Learning veröffentlicht. Die von diesen Versionen unterstützten Funktionen sind identisch mit dem Release 15.0. Lediglich die Pandas-Version wurde auf 1.5.3 herabgestuft.

Alle bereits vorhandenen Cluster oder Aufträge, die Databricks Runtime 15.0-Releases verwenden, funktionieren weiterhin, erhalten aber keine Produkt- oder Sicherheitsupdates mehr. Über die Databricks-Benutzeroberfläche können keine neuen Computeressourcen mehr konfiguriert werden, die Databricks Runtime 15.0 oder Databricks Runtime 15.0 ML verwenden. Wenn Sie keine Features oder APIs verwenden, die mindestens Pandas 2.0 erfordern, empfiehlt Databricks, diese Workloads auf Databricks Runtime 15.1 umzustellen.

Wenn Sie Features oder APIs verwenden, die erst ab Pandas 2.0 verfügbar sind und keine von dieser Version betroffenen Funktionen verwenden, empfiehlt Databricks, auf Databricks Runtime 15.1 umzustellen und das Pandas-Standardpaket mit Bibliotheken für Cluster oder Notebooks upzugraden. Verwenden Sie beispielsweise den folgenden Befehl, um die Pandas-Bibliothek in einem Databricks-Notebook zu aktualisieren:

%pip install pandas==2.0.3

Die Python-Bibliothek von pandas wurde auf 1.5.3 herabgestuft.

In dieser Version wird die Pandas-Bibliothek von der Version 2.0.3 auf 1.5.3 herabgestuft. Diese Herabstufung war erforderlich, da Inkompatibilitäten in der Pandas-Version 2.0.3 zu Fehlern in einigen Pandas-APIs für Spark-Funktionen geführt haben. Im Anschluss sind die Funktionen aufgeführt, die von der Pandas-Version 2.0.3 betroffen sind:

• pyspark.date_range: Der Parameter closed fehlt, was zu Fehlern führt, wenn diese Funktion von bestehendem Code aufgerufen wird.
• Die Funktionalität von GroupBy mit MultiIndex-Spalten wurde geändert, was zu unerwartetem Verhalten führt.
• Einige datetime-Attribute von DatetimeIndex (z. B. day, month, year usw.) geben int32-Datentypen anstelle von int64-Datentypen zurück.

Die PySpark-Funktion spark.sql() schlägt jetzt für ungültige Argumenttypen fehl

In Databricks Runtime 15.1 und höher muss der args Parameter für benannte oder positionale Parameter, die an die spark.sql()-Funktion übergeben werden, ein Wörterbuch oder eine Liste sein. Wenn ein anderer Objekttyp übergeben wird, wird der folgende Fehler ausgelöst: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Das Speichern von Bibliotheken im DBFS-Root ist veraltet und standardmäßig deaktiviert

Um die Sicherheit von Bibliotheken in einem Azure Databricks-Arbeitsbereich zu verbessern, ist das Speichern von Bibliotheksdateien im DBFS-Stamm ab Databricks Runtime 15.1 standardmäßig veraltet und deaktiviert. Databricks empfiehlt, alle Bibliotheken (einschließlich Python-Bibliotheken, JAR-Dateien und Spark-Connectors) in Arbeitsbereichsdateien oder auf Unity Catalog-Volumes hochzuladen oder ein Paketrepository zu verwenden. Weitere Informationen unter Empfehlungen für das Hochladen von Bibliotheken.

Um das Speichern von Bibliotheken im DBFS-Stamm neu zu aktivieren, legen Sie den folgenden Spark-Konfigurationsparameter fest: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Die Python-Standardversion wird von 3.10 auf 3.11 aktualisiert.

Bei Databricks Runtime 15.1 ist die Python-Standardversion 3.11.0. Die Liste der aktualisierten Python-Bibliotheken finden Sie unter Library Upgrades.

JDK 11 wurde entfernt

Wie bereits angekündigt, wird JDK 11 aus Databricks Runtime 15.1 und höher entfernt. Databricks empfiehlt ein Upgrade auf JDK 17, wenn ein Upgrade auf Databricks Runtime 15.1 oder eine höhere Version durchgeführt wird. Siehe Databricks SDK für Java.

Die Python-REPL wird jetzt ordnungsgemäß beendet.

Mit Databricks Runtime 15.1 wird der Python REPL-Prozess des Notebooks jetzt beim Beenden ordnungsgemäß beendet. Dies sorgt dafür, dass alle atexit-Hooks berücksichtigt werden. Beispielsweise werden in einem Workflow mit mehreren Python-Notebookaufgaben atexit-Hooks, die in der ersten Aufgabe registriert sind, vor der zweiten Python-Notebookaufgabe ausgeführt.

Neue Features und Verbesserungen

• Die * (star) Klausel wird jetzt in der WHERE Klausel unterstützt
• Die spark.sql.json.enablePartialResults-Konfiguration ist jetzt standardmäßig aktiviert
• Clusterbibliotheken unterstützen jetzt requirements.txt-Dateien
• Databricks CLI ist jetzt im Webterminal verfügbar
• Hinzufügen von Standard-Python-Repositorys zu Clusterkonfigurationen
• Webterminal auf Standardclustern verfügbar
• Passthrough für Anmeldeinformationen und die Hive-Metastore-Tabellenzugriffssteuerung sind veraltet

Die * (Stern)-Klausel wird jetzt in der WHERE-Klausel unterstützt.

Sie können nun die Sternklausel (*) in der WHERE-Klausel verwenden, um auf alle Spalten aus der Liste SELECT zu verweisen. Beispiel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Die spark.sql.json.enablePartialResults-Konfiguration ist jetzt standardmäßig aktiviert

Die Spark-Konfiguration spark.sql.json.enablePartialResults ist jetzt standardmäßig aktiviert, sodass der JSON-Parser Analysefehler für komplexe Typen wie Struktur, Zuordnung und Array ordnungsgemäß verarbeitet, ohne die verbleibenden Felder zu löschen. Diese Änderung behebt ein Konsistenzproblem für JSON-Datenquellen mit Spalten-Pruning.

Clusterbibliotheken unterstützen jetzt requirements.txt-Dateien

Sie können jetzt Clusterbibliotheken mithilfe einer requirements.txt-Datei installieren, die in einer Arbeitsbereichsdatei oder einem Unity-Katalogvolume gespeichert ist. In Clustern des dedizierten und Standard-Zugangsmodus kann die Datei auf andere Dateien verweisen. In den Zugriffsmodusclustern Keine Isolation, freigegebenen werden nur PyPI-Pakete unterstützt. Siehe Bibliotheken im Bereich der Computer.

Databricks CLI ist jetzt im Webterminal verfügbar

Sie können nun die Databricks CLI aus dem Webterminal im Notebook verwenden. Das Notizbuch muss an einen Cluster im Modus Dediziert oder Kein isolierter gemeinsam genutzter Zugriff angefügt werden. Ausführliche Informationen finden Sie unter Verwendung des Webterminals und der Databricks CLI.

Hinzufügen von Standard-Python-Repositorys zu Clusterkonfigurationen

In Databricks Runtime 15.1 und höher können Sie globale pip index-url- und extra-index-url-Parameter für die Installation von Cluster- und Notebookbibliotheken konfigurieren, wenn Sie ein Cluster konfigurieren oder eine Clusterrichtlinie definieren. Legen Sie dazu die Umgebungsvariablen DATABRICKS_PIP_INDEX_URL und DATABRICKS_PIP_EXTRA_INDEX_URLfest.

Webterminal auf Standardclustern verfügbar

In Databricks Runtime 15.1 und höher können Sie Webterminal auf Clustern mit Standardzugriffsmodus verwenden.

Passthrough für Anmeldeinformationen und die Hive-Metastore-Tabellenzugriffssteuerung sind veraltet

Passthrough für Anmeldeinformationen und die Hive-Metastore-Tabellenzugriffssteuerung sind Legacymodelle für Daten-Governance. Nehmen Sie ein Upgrade auf Unity Catalog vor, um die Sicherheit und Governance Ihrer Daten durch die Bereitstellung eines zentralen Ortes zum Verwalten und Überwachen des Datenzugriffs über mehrere Arbeitsbereiche in Ihrem Konto hinweg zu vereinfachen. Siehe Was ist Unity Catalog?.

Die Unterstützung für die Passthrough- und Hive-Metastore-Tabellenzugriffssteuerelemente für Anmeldeinformationen wird in einer bevorstehenden DBR-Version entfernt.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • black von 22.6.0 auf 23.3.0
  • boto3 von 1.24.28 auf 1.34.39
  • botocore von 1.27.96 auf 1.34.39
  • certifi von 2022.12.7 auf 2023.7.22
  • cryptography von 39.0.1 auf 41.0.3
  • databricks-sdk von 0.1.6 auf 0.20.0
  • distlib von 0.3.7 auf 0.3.8
  • googleapis-common-protos von 1.62.0 auf 1.63.0
  • grpcio von 1.48.2 auf 1.60.0
  • grpcio-status von 1.48.1 auf 1.60.0
  • importlib-metadata from 4.6.4 auf 6.0.0
  • ipykernel von 6.25.0 auf 6.25.1
  • ipython von 8.14.0 auf 8.15.0
  • ipywidgets von 7.7.2 auf 8.0.4
  • jupyter_core von 5.2.0 auf 5.3.0
  • jupyterlab-widgets von 1.0.0 auf 3.0.5
  • matplotlib von 3.7.0 auf 3.7.2
  • pip von 22.3.1 auf 23.2.1
  • platformdirs von 2.5.2 auf 3.10.0
  • protobuf von 4.24.0 auf 4.24.1
  • pyarrow von 8.0.0 auf 14.0.1
  • Pygments von 2.11.2 auf 2.15.1
  • pyodbc von 4.0.32 auf 4.0.38
  • requests von 2.28.1 auf 2.31.0
  • s3transfer von 0.6.2 auf 0.10.0
  • scikit-learn von 1.1.1 auf 1.3.0
  • scipy von 1.10.0 auf 1.11.1
  • setuptools von 65.6.3 auf 68.0.0
  • statsmodels von 0.13.5 auf 0.14.0
  • tenacity von 8.1.0 auf 8.2.2
  • tornado von 6.1 auf 6.3.2
  • typing_extensions von 4.4.0 auf 4.7.1
  • urllib3 von 1.26.14 auf 1.26.16
  • virtualenv von 20.16.7 auf 20.24.2
  • widgetsnbextension von 3.6.1 auf 4.0.5
  • zipp von 1.0.0 auf 3.11.0
• Aktualisierte R-Bibliotheken:
  • arrow von 12.0.1 auf 14.0.0.2
  • askpass von 1.1 auf 1.2.0
  • base von 4.3.1 auf 4.3.2
  • brew von 1.0-8 auf 1.0-10
  • brio von 1.1.3 auf 1.1.4
  • bslib von 0.5.0 auf 0.6.1
  • cli von 3.6.1 auf 3.6.2
  • commonmark von 1.9.0 auf 1.9.1
  • compiler von 4.3.1 auf 4.3.2
  • config von 0.3.1 auf 0.3.2
  • cpp11 von 0.4.4 auf 0.4.7
  • credentials von 1.3.2 auf 2.0.1
  • curl von 5.0.1 auf 5.2.0
  • data.table von 1.14.8 auf 1.15.0
  • datasets von 4.3.1 auf 4.3.2
  • DBI von 1.1.3 auf 1.2.1
  • dbplyr von 2.3.3 auf 2.4.0
  • desc von 1.4.2 auf 1.4.3
  • digest von 0.6.33 auf 0.6.34
  • dplyr von 1.1.2 auf 1.1.4
  • e1071 von 1.7-13 auf 1.7-14
  • evaluate von 0.21 auf 0.23
  • fansi von 1.0.4 auf 1.0.6
  • fontawesome von 0.5.1 auf 0.5.2
  • fs von 1.6.2 auf 1.6.3
  • future von 1.33.0 auf 1.33.1
  • future.apply von 1.11.0 auf 1.11.1
  • gargle von 1.5.1 auf 1.5.2
  • gert von 1.9.2 auf 2.0.1
  • ggplot2 von 3.4.2 auf 3.4.4
  • glmnet von 4.1-7 auf 4.1-8
  • glue von 1.6.2 auf 1.7.0
  • graphics von 4.3.1 auf 4.3.2
  • grDevices von 4.3.1 auf 4.3.2
  • grid von 4.3.1 auf 4.3.2
  • gtable von 0.3.3 auf 0.3.4
  • hardhat von 1.3.0 auf 1.3.1
  • haven von 2.5.3 auf 2.5.4
  • htmltools von 0.5.5 auf 0.5.7
  • htmlwidgets von 1.6.2 auf 1.6.4
  • httpuv von 1.6.11 auf 1.6.14
  • httr von 1.4.6 auf 1.4.7
  • httr2 von 0.2.3 bis 1.0.0
  • jsonlite von 1.8.7 auf 1.8.8
  • knitr von 1.43 auf 1.45
  • labeling von 0.4.2 auf 0.4.3
  • later von 1.3.1 auf 1.3.2
  • lava von 1.7.2.1 auf 1.7.3
  • lifecycle von 1.0.3 auf 1.0.4
  • listenv von 0.9.0 auf 0.9.1
  • lubridate von 1.9.2 auf 1.9.3
  • markdown von 1.7 auf 1.12
  • methods von 4.3.1 auf 4.3.2
  • openssl von 2.0.6 auf 2.1.1
  • parallel von 4.3.1 auf 4.3.2
  • pkgbuild von 1.4.2 auf 1.4.3
  • pkgload von 1.3.2.1 auf 1.3.4
  • plyr von 1.8.8 auf 1.8.9
  • prettyunits von 1.1.1 bis 1.2.0
  • pROC von 1.18.4 auf 1.18.5
  • processx von 3.8.2 auf 3.8.3
  • prodlim von 2023.03.31 auf 2023.08.28
  • progress von 1.2.2 auf 1.2.3
  • progressr von 0.13.0 auf 0.14.0
  • promises von 1.2.0.1 auf 1.2.1
  • ps von 1.7.5 auf 1.7.6
  • purrr von 1.0.1 auf 1.0.2
  • ragg von 1.2.5 auf 1.2.7
  • Rcpp von 1.0.11 auf 1.0.12
  • RcppEigen von 0.3.3.9.3 auf 0.3.3.9.4
  • readr von 2.1.4 auf 2.1.5
  • recipes von 1.0.6 auf 1.0.9
  • rematch von 1.0.1 auf 2.0.0
  • remotes von 2.4.2 auf 2.4.2.1
  • reprex von 2.0.2 bis 2.1.0
  • rlang von 1.1.1 auf 1.1.3
  • rmarkdown von 2.23 auf 2.25
  • RODBC von 1.3-20 auf 1.3-23
  • roxygen2 von 7.2.3 auf 7.3.1
  • rprojroot von 2.0.3 auf 2.0.4
  • Rserve von 1.8-11 auf 1.8-13
  • RSQLite von 2.3.1 auf 2.3.5
  • sass von 0.4.6 auf 0.4.8
  • scales von 1.2.1 bis 1.3.0
  • shiny von 1.7.4.1 auf 1.8.0
  • sparklyr von 1.8.1 auf 1.8.4
  • splines von 4.3.1 auf 4.3.2
  • stats von 4.3.1 auf 4.3.2
  • stats4 von 4.3.1 auf 4.3.2
  • stringi von 1.7.12 auf 1.8.3
  • stringr von 1.5.0 auf 1.5.1
  • systemfonts von 1.0.4 bis 1.0.5
  • tcltk von 4.3.1 auf 4.3.2
  • testthat von 3.1.10 auf 3.2.1
  • Textshaping von 0.3.6 auf 0.3.7
  • tidyr von 1.3.0 auf 1.3.1
  • timechange von 0.2.0 auf 0.3.0
  • timeDate von 4022.108 auf 4032.109
  • tinytex von 0.45 auf 0.49
  • tools von 4.3.1 auf 4.3.2
  • utf8 von 1.2.3 auf 1.2.4
  • utils von 4.3.1 auf 4.3.2
  • uuid von 1.1-0 auf 1.2-0
  • vctrs von 0.6.3 auf 0.6.5
  • vroom von 1.6.3 auf 1.6.5
  • waldo von 0.5.1 auf 0.5.2
  • withr von 2.5.0 auf 3.0.0
  • xfun von 0.39 auf 0.41
  • xml2 von 1.3.5 auf 1.3.6
  • yaml von 2.3.7 auf 2.3.8
  • zip von 2.3.0 auf 2.3.1
• Aktualisierte Java-Bibliotheken:
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 von 2.15.1 auf 2.16.0
  • com.google.flatbuffers.flatbuffers-java von 1.12.0 auf 23.5.26
  • com.typesafe.config von 1.2.1 auf 1.4.3
  • org.apache.ant.ant von 1.9.16 auf 1.10.11
  • org.apache.ant.ant-jsch von 1.9.16 auf 1.10.11
  • org.apache.ant.ant-launcher von 1.9.16 auf 1.10.11
  • org.apache.arrow.arrow-format von 12.0.1 auf 15.0.0
  • org.apache.arrow.arrow-memory-core von 12.0.1 auf 15.0.0
  • org.apache.arrow.arrow-memory-netty von 12.0.1 auf 15.0.0
  • org.apache.arrow.arrow-vector von 12.0.1 auf 15.0.0
  • org.apache.avro.avro von 1.11.2 auf 1.11.3
  • org.apache.avro.avro-ipc von 1.11.2 auf 1.11.3
  • org.apache.avro.avro-mapred von 1.11.2 auf 1.11.3
  • org.apache.logging.log4j.log4j-1.2-api von 2.20.0 auf 2.22.1
  • org.apache.logging.log4j.log4j-api von 2.20.0 auf 2.22.1
  • org.apache.logging.log4j.log4j-core von 2.20.0 auf 2.22.1
  • org.apache.logging.log4j.log4j-slf4j2-impl von 2.20.0 auf 2.22.1
  • org.postgresql.postgresql von 42.6.0 auf 42.6.1

Apache Spark

Databricks Runtime 15.1 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 14.3 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-45527] [DBRRM-805][es-1073714] Revertieren Sie „[SC-151626][core] Verwenden Sie den Bruchteil, um die Ressourcen zu berechnen“
• [SPARK-47102] [ DBRRM-803][sc-158253][SQL] Hinzufügen des COLLATION_ENABLED Konfigurationsflags
• [SPARK-46973] [SC-158140][dbrrm-777][SQL] Überspringen der V2-Tabellensuche, wenn sich eine Tabelle im V1-Tabellencache befindet
• [SPARK-46808] [SC-154113][python] Fehlerklassen in Python mit automatischer Sortierfunktion verfeinern
• [SPARK-47251] [SC-158291][python] Blockieren ungültiger Typen aus dem args Argument für sql Befehl
• [SPARK-47251] [SC-158121][python] Ungültige Typen aus dem args Argument für sql Befehl blockieren
• [SPARK-47108] [SC-157204][core] Setze derby.connection.requireAuthentication bis false explizit in CLIs
• [SPARK-45599] [SC-157537][Core] Verwenden der Objektgleichheit in OpenHashSet
• [SPARK-47099] [SC-157352][sql] Wird verwendet ordinalNumber , um den Wert paramIndex für die Fehlerklasse einheitlich festzulegen. UNEXPECTED_INPUT_TYPE
• [SPARK-46558] [SC-151363][connect] Extrahieren Sie eine Hilfsfunktion, um den doppelten Code MessageParameters zu eliminieren, der von ErrorParams in GrpcExceptionConverter abgerufen wird.
• [SPARK-43117] [SC-156177][connect] ProtoUtils.abbreviate soll wiederholte Felder unterstützen
• [SPARK-46342] [ SC-150283][sql] Ersetzen IllegalStateException durch SparkException.internalError in sql
• [SPARK-47123] [SC-157412][core] JDBCRDD behandelt Fehler in getQueryOutputSchema nicht ordnungsgemäß.
• [SPARK-47189] [SC-157667][sql] Spaltenfehlernamen und Text anpassen
• [SPARK-45789] [SC-157101][sql] Support DESCRIBE TABLE für das Clustering von Spalten
• [SPARK-43256] [SC-157699][sql] Fehlerklasse _LEGACY_ERROR_TEMP_2021 entfernen
• [SPARK-47201] [ SC-157782][python][CONNECT] sameSemantics überprüft Eingabetypen
• [SPARK-47183] [SC-157660][python] Beheben der Fehlerklasse für sameSemantics
• [SPARK-47179] [SC-157663][sql] Verbessern der Fehlermeldung von SparkThrowableSuite zur besseren Debugbarkeit
• [SPARK-46965] [SC-155791][Kern] logType in Utils.getLog überprüfen
• [SPARK-46832] [SC-156774][sql] Einführung der Ausdrücke Collate und Collation
• [SPARK-46946] [SC-155721][sql] Unterstützen der Übertragung mehrerer Filterschlüssel in DynamicPruning
• [SPARK-47079] [ VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Hinzufügen von Variant-Typinformationen zu PySpark
• [SPARK-47101] [SC-157360][sql] Das Verwenden von Kommas in Spaltennamen der obersten Ebene zulassen und die Überprüfung von geschachtelten Typdefinitionen entfernen HiveExternalCatalog.verifyDataSchema
• [SPARK-47173] [SC-157571][ss][UI] Beheben eines Tippfehlers in der Erklärung der Streaming-UI
• [SPARK-47113] [SC-157348][core] Rückgängigmachung der S3A-Endpunkt-Korrekturlogik von SPARK-35878
• [SPARK-47130] [SC-157462][core] Verwenden von listStatus zum Umgehen von Blockortinformationen beim Bereinigen von Treiberprotokollen
• [SPARK-43259] [SC-157368][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_2024 einen Namen zu
• [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec sollte die unsichere Projektion initialisieren.
• [SPARK-47137] [SC-157463][python][CONNECT] Hinzufügen von getAll zu spark.conf für featureparität mit Scala
• [SPARK-46924] [SC-154905][core] Korrigiert die Load New Schaltfläche in Master/HistoryServer Log UI
• [SPARK-47069] [SC-157370][python][CONNECT] Einführung von spark.profile.show/dump für die SparkSession-basierte Profilerstellung
• [SPARK-46812] [SC-157075][sql][PYTHON] MapInPandas / mapInArrow Support ResourceProfile machen
• [SPARK-46833] [SC-155866][sql] Sortations – Einführung in CollationFactory, das Vergleichs- und Hashregeln für unterstützte Sortierungen bereitstellt
• [SPARK-47057] [SC-157036] [PYTHON] Reeanble MyPy-Datentest
• [SPARK-46934] [SC-157084][sql] Read/write roundtrip für Struct-Typ mit Sonderzeichen mit HMS
• [SPARK-46727] [SC-153472][sql] Port classifyException() in JDBC-Dialekten bei Fehlerklassen
• [SPARK-46964] [SC-155740][sql] Ändern der Signatur des hllInvalidLgK-Abfrageausführungsfehlers zur Annahme einer ganzen Zahl als viertes Argument.
• [SPARK-46949] [SC-155719][sql] Unterstützen Sie CHAR/VARCHAR durch ResolveDefaultColumns
• [SPARK-46972] [SC-155888][sql] Korrektur der asymmetrischen Ersetzung für char/varchar in V2SessionCatalog.createTable
• [SPARK-47014] [SC-156778][python][CONNECT] Implementieren von Methoden dumpPerfProfiles und dumpMemoryProfiles von SparkSession
• [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Unterstützung von v2-Profilerstellung in group/cogroup applyInPandas/applyInArrow
• [SPARK-47040] [SC-156773][connect] Warten des Spark Connect-Serverskripts zulassen
• [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Unterstützung der v2-Profilerstellung in aggregierten Pandas UDFs
• [SPARK-47004] [SC-156499][connect] Zusätzliche Tests zu ClientStreamingQuerySuite hinzugefügt, um die Skala-Clienttestabdeckung zu erhöhen
• [SPARK-46994] [SC-156169][python] Refactor PythonWrite zur Vorbereitung auf die Unterstützung des Python-Datenquellenstreaming-Schreibvorgangs
• [SPARK-46979] [SC-156587][ss] Unterstützung für die separate Angabe von Kodierern für Schlüssel und Werte sowie für jede Spaltenfamilie im RocksDB-Statusspeicher-Anbieter hinzufügen.
• [SPARK-46960] [SC-155940][ss] Testen mehrerer Eingabedatenströme mit transformWithState-Operator
• [SPARK-46966] [SC-156112][python] Fügen Sie UDTF-API für die Methode "analyse" hinzu, um die Teilmenge der auszuwählenden Eingabetabellenspalten anzugeben.
• [SPARK-46895] [SC-155950][core] Timer durch einen geplanten Einzelthread-Executor ersetzen
• [SPARK-46967] [SC-155815][core][UI] Thread Dump und Heap Histogram von Dead Executors in Executors UI ausblenden
• [SPARK-46512] [SC-155826][Core] Optimieren Sie den Lesevorgang beim Shuffle, wenn sowohl Sortieren als auch Kombinieren verwendet werden.
• [SPARK-46958] [SC-155942][sql] Fügen Sie fehlende Zeitzone hinzu, um Standardwerte zu koerzen
• [SPARK-46754] [SC-153830][sql][AVRO] Korrektur der Komprimierungscode-Auflösung in der Avro-Tabellendefinition und den Schreiboptionen
• [SPARK-46728] [SC-154207][python] Pandas-Installation ordnungsgemäß überprüfen
• [SPARK-43403] [SC-154216][ui] Stellen Sie sicher, dass die alte SparkUI im HistoryServer getrennt wurde, bevor eine neue geladen wird.
• [SPARK-39910] [SC-156203][sql] Delegierung der Pfadqualifizierung an das Dateisystem während des DataSource-Dateipfad-Globbing
• [SPARK-47000] [SC-156123] Rückgängigmache von "[SC-156123][core] Use getTotalMemorySize...
• [SPARK-46819] [SC-154560][Core] Verschieben von Fehlerkategorien und -zuständen in JSON
• [SPARK-46997] [SC-156175][core] Standardmäßig aktivieren spark.worker.cleanup.enabled
• [SPARK-46865] [SC-156168][ss] Hinzufügen der Batchunterstützung für den TransformWithState-Operator
• [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate vermeiden unnötige Vorgänge setField
• [SPARK-46970] [SC-155816][core] Umschreiben OpenHashSet#hasher mit pattern matching
• [SPARK-46984] [SC-156024] [PYTHON] Pyspark.copy_func entfernen
• [SPARK-47000] [SC-156123][core] Verwenden Sie getTotalMemorySize in WorkerArguments
• [SPARK-46980] [SC-155914][sql][MINOR] Vermeiden Sie die Verwendung interner APIs in End-to-End-Tests im Dataframe
• [SPARK-46931] Zurücksetzen von "[SC-155661][PS] Implementieren von {Frame, Series}.to_hdf"
• [SPARK-46618] [SC-153828][sql] Verbesserung der Fehlermeldungen für den "DATA_SOURCE_NOT_FOUND" Fehler.
• [SPARK-46849] [SC-154586][sql] Optimierer für CREATE TABLE Spaltenstandardwerte ausführen
• [SPARK-46911] [SC-155724][ss] Hinzufügen von deleteIfExists-Operator zu StatefulProcessorHandleImpl
• [SPARK-43273] [SQL] Unterstützung des lz4raw-Codecs zur Komprimierung für Parquet
• [SPARK-47002] [SC-156223][python] Gibt eine bessere Fehlermeldung zurück, wenn die UDTF-Methode "orderBy" versehentlich eine Liste von Zeichenfolgen zurückgibt.
• [SPARK-46890] [SC-155802][sql] Beheben eines CSV-Analysefehlers mit bestehenden Standardwerten und Beschneiden von Spalten
• [SPARK-46977] [SC-155892][core] Eine fehlgeschlagene Anforderung zum Abrufen eines Tokens von einem NameNode sollte nachfolgende Tokenanforderungen nicht überspringen
• [SPARK-46608] [ SC-151806][sql] Abwärtskompatibilität wiederherstellen JdbcDialect.classifyException
• [SPARK-46908] [SC-155702][sql] Unterstützung der Stern-Klausel in der WHERE-Klausel
• [SPARK-46908] [SC-155702][sql] Unterstützung der Stern-Klausel in der WHERE-Klausel
• [SPARK-46852] [SC-155665][ss] Entfernen Sie die Verwendung expliziter Schlüsselgeber, und übergeben Sie ihn implizit an den Operator für den transformWithState-Operator.
• [SPARK-46864] [SC-155669][ss] Einbindung von Arbitrary StateV2 in das neue Fehlerklassen-Framework
• [SPARK-45807] [SC-155706][sql] Rückgabeansicht nach dem Aufrufen von replaceView(.)
• [SPARK-46899] [SC-154651][core] POST APIs aus MasterWebUI entfernen, wenn spark.ui.killEnabledfalse ist
• [SPARK-46868] [SC-154539][core] Unterstützung für die Spark Worker Log UI
• [SPARK-46931] [SC-155661][ps] Implementieren {Frame, Series}.to_hdf
• [SPARK-46940] [SC-155667][Kern] Nicht verwendete updateSparkConfigFromProperties und isAbsoluteURI entfernen in o.a.s.u.Utils
• [SPARK-46929] [SC-155659][core][CONNECT][ss] Verwenden von ThreadUtils.shutdown zum Schließen von Threadpools
• [SPARK-46400] [SC-155658][core][SQL] Wenn beschädigte Dateien im lokalen Maven-Repository vorhanden sind, überspringen Sie diesen Cache, und versuchen Sie es erneut.
• [SPARK-46932] [SC-155655] Bereinigung der Importe in pyspark.pandas.test_*
• [SPARK-46683] [SC-154120] Schreiben eines Unterabfrage-Generators, der Unterabfragen generiert, um die Testabdeckung zu erhöhen
• [SPARK-46914] [SC-154776][ui] Kürzen des App-Namens in der Zusammenfassungstabelle auf der Verlaufsseite
• [SPARK-46831] [SC-154699][sql] Kollationen - Erweiterung von StringType und PhysicalStringType um das Feld collationId
• [SPARK-46816] [SC-154415] [SS] Hinzufügen der Basisunterstützung für den neuen Operator für die Verwaltung beliebiger Zustände, einzelner valueState-Typen, mehrerer Zustandsvariablen und zugrunde liegende Unterstützung für Spaltenfamilien für RocksDBStateStoreProvider mit/ohne Änderungsprotokollprüfpunkten
• [SPARK-46925] [SC-154890][python][CONNECT] Fügen Sie eine Warnung hinzu, die anweist, memory_profiler für die Speicherprofilerstellung zu installieren.
• [SPARK-46927] [SC-154904] [PYTHON] assertDataFrameEqual ordnungsgemäß zum Laufen bekommen ohne PyArrow
• [SPARK-46021] [SC-148987][core] Unterstützung der Annulierung zukünftiger Jobs, die zu einer Job-Gruppe gehören
• [SPARK-46747] [SC-154789][sql] Vermeide den Scan in "getTableExistsQuery" für JDBC-Dialekte
• [SPARK-46904] [SC-154704] [UI] Beheben des Anzeigeproblems der Verlaufs-UI-Zusammenfassung
• [SPARK-46870] [SC-154541][core] Unterstützung der Spark Master Log UI
• [SPARK-46893] [SC-154780][ui] Entfernen von Inlineskripts aus Benutzeroberflächenbeschreibungen
• [SPARK-46910] [SC-154760][python] Entfernen der JDK-Anforderung in der PySpark-Installation
• [SPARK-46907] [SC-154736][core] Standort des Treiberprotokolls im Spark History Server anzeigen
• [SPARK-46902] [SC-154661][ui] Korrektur der Benutzeroberfläche des Spark History Servers zur Verwendung von nicht exportierten setAppLimit-Einstellungen
• [SPARK-46687] [SC-154725][python][CONNECT] Grundlegende Unterstützung von SparkSession-basierten Speicherprofiler
• [SPARK-46623] [SC-153831][core][MLLIB][sql] Ersetzen Von SimpleDateFormat durch DateTimeFormatter
• [SPARK-46875] [SC-154627][sql] Wenn der mode Null ist, sollte ein NullPointException ausgelöst werden not
• [SPARK-46872] [SC-154543][core] Zurücksetzen log-view.js als Nicht-Modul
• [SPARK-46883] [SC-154629][core] Unterstützung der /json/clusterutilization API
• [SPARK-46886] [SC-154630][core] Standardmäßig aktivieren spark.ui.prometheus.enabled
• [SPARK-46873] [SC-154638] [SS] Neuen StreamingQueryManager für dieselbe Spark-Sitzung nicht neu erstellen
• [SPARK-46829] [SC-154419][core] Remove createExecutorEnv from SparkEnv
• [SPARK-46827] [SC-154280][core] RocksDBPersistenceEngine Den Support für einen symbolischen Link einführen
• [SPARK-46903] [SC-154662][core] Support Spark Historie Server Log UI
• [SPARK-46874] [SC-154646] [PYTHON] Entfernen der pyspark.pandas-Abhängigkeit von assertDataFrameEqual
• [SPARK-46889] [SC-154639][core] Validiere spark.master.ui.decommission.allow.mode Einstellung
• [SPARK-46850] [ SC-154443][sql] Konvertieren _LEGACY_ERROR_TEMP_2102 in UNSUPPORTED_DATATYPE
• [SPARK-46704] [SC-153323][core][UI] Korrektur MasterPage um Running Drivers Tabelle nach Duration Spalte korrekt zu sortieren
• [SPARK-46796] [ SC-154279][ss] Stellen Sie sicher, dass die richtigen Remotedateien (in metadata.ziperwähnt) beim Laden der RocksDB-Version verwendet werden.
• [SPARK-46888] [SC-154636][core] Korrigiert, Masterdass /workers/kill/ Anfragen abgelehnt werden, wenn die Stilllegung deaktiviert ist
• [SPARK-46818] [SC-154422][sql] Verbesserung der Fehlermeldungen für Bereiche mit nicht faltbaren Eingaben
• [SPARK-46898] [SC-154649] [CONNECT] Vereinfachen der Protobuf-Funktionstransformation in Planner
• [SPARK-46828] [SC-154413][sql] Entfernen der ungültigen Assertion des Remotemodus für spark sql shell
• [SPARK-46733] [SC-154274][core] Vereinfachen Sie den BlockManager, indem der Beendigungsvorgang nur vom Interrupt-Thread abhängt.
• [SPARK-46777] [SC-154016][ss] Katalysatorstruktur umgestalten, um mehr im Einklang mit der Version im Batch-Betrieb zu stehen
• [SPARK-46515] [SC-151716] Hinzufügen der MONTHNAME-Funktion
• [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion sollte die Nullbarkeit überprüfen
• [SPARK-46787] [SC-154404] [CONNECT] bloomFilter-Funktion sollte für ungültige Eingaben AnalysisException auslösen
• [SPARK-46779] [SC-154045][sql] InMemoryRelation Instanzen desselben zwischengespeicherten Plans sollten semantisch gleichwertig sein.
• [SPARK-45827] [SC-153973] Partitionierung in Variant-Spalte nicht zulassen
• [SPARK-46797] [ SC-154085][core] Umbenennen spark.deploy.spreadOut in spark.deploy.spreadOutApps
• [SPARK-46094] [SC-153421] Executor JVM Profiling unterstützen
• [SPARK-46746] [SC-153557][sql][AVRO] Fügen Sie Codec-Erweiterung an avro-Datenquellendateien an
• [SPARK-46698] [SC-153288][core] Ersetzen des Timers durch einen zeitgesteuerten Single-Thread-Executor für ConsoleProgressBar.
• [SPARK-46629] [SC-153835] Fix für STRUCT-Typ DDL ohne Nullbarkeit und Kommentar
• [SPARK-46750] [ SC-153772][connect][PYTHON] DataFrame-APIs-Code bereinigen
• [SPARK-46769] [SC-153979][sql] Zeitstempelbezogenes Schema verfeinern
• [SPARK-46765] [SC-153904][python][CONNECT] Geben Sie shuffle den Datentyp von seed
• [SPARK-46579] [SC-151481][sql] Redact JDBC url in Fehlern und Protokollen
• [SPARK-46686] [SC-153875][python][CONNECT] Grundlegende Unterstützung von SparkSession-basierten Python-UDF-Profilern
• [SPARK-46748] Revert "[SC-153800][core] Entfernen von *slav**.sh scri...
• [SPARK-46707] [SC-153833][sql] Feld „throwable“ zu Ausdrücken hinzugefügt, um den Prädikat-Pushdown zu verbessern
• [SPARK-46519] [SC-151278][sql] Löschen nicht verwendeter Fehlerklassen aus error-classes.json Datei
• [SPARK-46677] [SC-153426][sql][CONNECT] Fix dataframe["*"] Auflösung
• [SPARK-46317] [SC-150184][PYTHON][CONNECT] Abgleich mit dem Mindestverhalten in SparkSession bei vollständiger Testabdeckung
• [SPARK-46748] [SC-153800][core] *slav**.sh Skripte entfernen
• [SPARK-46663] [SC-153490] [PYTHON] Deaktivieren des Speicherprofilers für Pandas UDFs mit Iteratoren
• [SPARK-46410] [SC-150776][sql] Zuweisung von Fehlerklassen/Unterklassen zu JdbcUtils.classifyException
• [SPARK-46277] [SC-150126][python] Überprüfen der Start-URLs mit der festgelegten Konfiguration
• [SPARK-46612] [SC-153536][sql] Die von einem JDBC-Treiber abgerufene Array-Typ-Zeichenfolge nicht konvertieren.
• [SPARK-46254] [SC-149788] [PYTHON] Entfernen veralteter Python 3.8/3.7 Versionsprüfung
• [SPARK-46490] [SC-151335][sql] Erfordern Fehlerklassen in SparkThrowable Unterklassen
• [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Reduzieren der Treiber Heap-Nutzung durch Reduzierung der Lebensdauer von TaskInfo.accumulables()
• [SPARK-46541] [SC-153109][sql][CONNECT] Beheben Sie den mehrdeutigen Spaltenverweis bei der Selbstverknüpfung
• [SPARK-46381] [SC-150495][sql] Migrieren von Unterklassen AnalysisException zu Fehlerklassen
• [SPARK-46351] [SC-150335][sql] Erfordert eine Fehlerklasse in AnalysisException
• [SPARK-46220] [ SC-149689][sql] Einschränken von Zeichenmengen in decode()
• [SPARK-46369] [SC-150340][core] Link kill von RELAUNCHING Treibern in MasterPage entfernen
• [SPARK-46052] [SC-153284][core] Funktion TaskScheduler.killAllTaskAttempts entfernen
• [SPARK-46536] [SC-153164][sql] Unterstützung GROUP BY calendar_interval_type
• [SPARK-46675] [SC-153209][sql] Entfernung des nicht verwendeten inferTimestampNTZ in ParquetReadSupport
• [SPARK-46717] [SC-153423][core] Vereinfachung ReloadingX509TrustManager durch die Exit-Operation nur von Interrupt-Thread abhängig.
• [SPARK-46722] [SC-153438][connect] Fügen Sie einen Test zur Abwärtskompatibilitätsprüfung für StreamingQueryListener in Spark Connect (Scala/PySpark) hinzu.
• [SPARK-46187] [SC-149580][sql] Ausrichten von codegener und nicht-codegener Implementierung von StringDecode
• [SPARK-46258] [SC-149799][core] Hinzufügen von RocksDBPersistenceEngine
• [SPARK-46216] [SC-149676][core] Verbessern FileSystemPersistenceEngine um Datenkomprimierungen zu unterstützen
• [SPARK-46189] [SC-149567][ps][SQL] Führen Sie Vergleiche und Arithmetik zwischen denselben Typen in verschiedenen Pandas-Aggregatfunktionen durch, um Fehler im interpretierten Modus zu vermeiden
• [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Reduzieren der Stapeltiefe, indem Option.isDefined durch Option.isEmpty ersetzt wird.
• [SPARK-46700] [SC-153329][core] Zählen der letzten Verschüttung für die Metrik der Verschüttung von Datenträgern in Bytes
• [SPARK-45642] [SC-150286][core][SQL] Behebung FileSystem.isFile & FileSystem.isDirectory is deprecated
• [SPARK-46640] [SC-153272][sql] Fix RemoveRedundantAlias durch Ausschließen von Unterabfrageattributen
• [SPARK-46681] [SC-153287][Core] ExecutorFailureTracker#maxNumExecutorFailures umgestalten, um die Berechnung von defaultMaxNumExecutorFailures zu vermeiden, wenn MAX_EXECUTOR_FAILURES konfiguriert ist
• [SPARK-46695] [SC-153289][sql][HIVE] hive.execution.engine immer auf 'mr' festlegen
• [SPARK-46325] [SC-150228][connect] Entfernen unnötiger überschreibender Funktionen beim Konstruieren WrappedCloseableIterator in ResponseValidator#wrapIterator
• [SPARK-46232] [SC-149699][python] Alle verbleibenden ValueError in das PySpark-Fehlerframework migrieren.
• [SPARK-46547] [SC-153174] [SS] Verschwinden lassen einer nicht schwerwiegenden Ausnahme bei Wartungsaufgaben, um Deadlock zwischen Wartungsthread und Streamingaggregationsoperator zu vermeiden
• [SPARK-46169] [SC-149373][ps] Weisen Sie geeignete JIRA-Nummern für fehlende Parameter aus der DataFrame API zu.
• [SPARK-45857] [SC-148096][sql] Erzwingt die Fehlerklassen in Unterklassen von AnalysisException

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 15.1-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Skala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)