Databricks Runtime 13.3 LTS

Die folgenden Versionshinweise enthalten Informationen zur Databricks Runtime-Version 13.3 LTS, die von Apache Spark 3.4.1 unterstützt wird.

Diese Version wurde von Databricks im August 2023 veröffentlicht.

Neue Features und Verbesserungen

• Scala-Unterstützung für freigegebene Cluster
• Die Zulassungsliste für init-Skripts, JARs und Maven-Koordinaten für Unity-Katalog-Standardcluster (ehemals freigegebene Cluster) befindet sich in der öffentlichen Vorschau
• Volumes unterstützen Initialisierungsskripts und JARs in Public Preview
• Sichere Umwandlungen sind für Delta Lake-Vorgänge standardmäßig aktiviert
• Einführung von Tags mit Unity Catalog
• Databricks Runtime gibt einen Fehler zurück, wenn eine Datei zwischen Abfrageplanung und -aufrufung geändert wird
• Überschreiben des Blockschemas bei Verwendung von dynamischen Partitionsüberschreibungen
• Integrieren der copyFile-API in dbutils.fs.cp
• Databricks ODBC/JDBC-Treiberunterstützung
• Unterstützung für nicht benannte (positionale) Parametermarker
• Aktivieren der Bezeichnung von Zeitreihenspalten
• Neue Bitmap SQL-Funktionen
• Verbesserte Verschlüsselungsfunktionen
• Unity-Katalogunterstützung für REFRESH FOREIGN
• INSERT NACH NAME
• Freigeben materialisierter Ansichten mit Delta Sharing

Scala-Unterstützung für freigegebene Cluster

Freigegebene Cluster mit Unity Catalog-Unterstützung unterstützen jetzt Scala, wenn Databricks Runtime 13.3 und höher verwendet wird.

Die Zulassungsliste für init-Skripts, JARs und Maven-Koordinaten für Unity-Katalog-Standardcluster (ehemals freigegebene Cluster) befindet sich in der öffentlichen Vorschau

Sie können jetzt den Unity-Katalog allowlist verwenden, um die Installation von Init-Skripts, JARs und Maven-Koordinaten für die Berechnung mit standardzugriffsmodus zu steuern, in dem Databricks Runtime 13.3 und höher ausgeführt wird. Weitere Informationen finden Sie unter Setzen von Bibliotheken und Inititalisierungsskripts auf Computeressourcen im Standardzugriffsmodus (ehemals freigegebener Zugriffsmodus) auf die Positivliste.

Volumes unterstützen Initialisierungsskripts und JARs in Public Preview

Sie können jetzt Unity-Katalogvolumes verwenden, um init-Skripts und JARs auf compute mit dedizierten oder standardzugriffsmodi zu speichern, die Databricks Runtime 13.3 und höher ausführen. Weitere Informationen finden Sie unter Wo können Initialisierungsskripts installiert werden? und Bibliotheken im Computebereich.

Sichere Umwandlungen sind für Delta Lake-Vorgänge standardmäßig aktiviert

Delta-UPDATE- und MERGE-Vorgänge führen jetzt zu einem Fehler, wenn Werte nicht sicher in den Typ im Schema der Zieltabelle umgewandelt werden können. Alle impliziten Umwandlungen in Delta folgen jetzt spark.sql.storeAssignmentPolicy statt spark.sql.ansi.enabled. Weitere Informationen finden Sie unter ANSI-Konformität in Databricks Runtime.

Einführung von Tags mit Unity Catalog

Mit Databricks Runtime 13.3 LTS und höher können Sie Tags auf Ihre sicherungsfähigen Objekte anwenden. Tags helfen Ihnen dabei, sicherungsfähige Objekte zu organisieren und die Suche und Ermittlung Ihrer Datenressourcen zu vereinfachen. Weitere Informationen finden Sie unter Anwenden von Tags auf sicherungsfähige Unity Catalog-Objekte.

Databricks Runtime gibt einen Fehler zurück, wenn eine Datei zwischen Abfrageplanung und -aufrufung geändert wird

Databricks Runtime-Abfragen geben jetzt einen Fehler zurück, wenn eine Datei zwischen Abfrageplanung und Aufruf aktualisiert wird. Vor dieser Änderung las Databricks Runtime eine Datei zwischen diesen Phasen, was gelegentlich zu unvorhersehbaren Ergebnissen führte.

Überschreiben des Blockschemas bei Verwendung von dynamischen Partitionsüberschreibungen

Sie können overwriteSchema in Kombination mit dynamischen Partitionsüberschreibungen in Delta Lake nicht auf true festlegen. Dadurch wird eine mögliche Tabellenbeschädigung aufgrund von Schemakonflikten verhindert. Weitere Informationen finden Sie unter dynamische Partitionsüberschreibungen.

Integrieren der copyFile-API in dbutils.fs.cp

Der Befehl dbutils copy, dbutils.fs.cp, ist jetzt für schnelleres Kopieren optimiert. Mit dieser Verbesserung können Kopiervorgänge je nach Dateigröße bis zu 100-mal schneller sein. Das Feature ist für alle Dateisysteme verfügbar, auf die in Azure Databricks zugegriffen werden kann, einschließlich für Unity-Katalogvolumes und Databricks File System-Einbindungen.

Databricks ODBC/JDBC-Treiberunterstützung

Azure Databricks unterstützt ODBC- und JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie den neuesten Treiber unter ODBC-Treiber herunterladen und JDBC-Treiber herunterladen herunter.

Unterstützung für nicht benannte (positionale) Parametermarker

Die SparkSession.sql()-API unterstützt jetzt parametrisierte Abfragen mithilfe der ?-Syntax zusätzlich zu parametrisierten Abfragen mithilfe der :parm-Syntax. Weitere Informationen finden Sie unter Parametermarker.

Aktivieren der Bezeichnung von Zeitreihenspalten

Sie können jetzt Zeitreihenspalten bezeichnen, wenn Sie Primärschlüsseleinschränkungen erstellen.

Neue Bitmap SQL-Funktionen

Azure Databricks hat jetzt eine Reihe von Funktionen bereitgestellt, mit denen integrale numerische Werte einer Bitmap zugeordnet und aggregiert werden können. Dies kann verwendet werden, um die Anzahl unterschiedlicher Werte vorab zu berechnen.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Verbesserte Verschlüsselungsfunktionen

Die Funktionen aes_encrypt, aes_decrypt und try_aes_decrypt wurden mit Unterstützung für Initialisierungsvektoren (IV) und authentifizierte zusätzliche Daten (AAD) verbessert.

Unity-Katalogunterstützung für REFRESH FOREIGN

Sie können jetzt fremde Kataloge, Schemas und Tabellen in Unity Catalog mithilfe von REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA und REFRESH FOREIGN TABLE aktualisieren. Siehe REFRESH FOREIGN (CATALOG, SCHEMAund TABLE).

INSERT NAMENTLICH

Wenn Sie Zeilen in eine Tabelle einfügen, können Sie jetzt Azure Databricks die Spalten und Felder in der Quellabfrage automatisch anhand ihrer Namen den Spalten der Tabelle zuordnen lassen. Siehe INSERT INTO.

Freigeben materialisierter Ansichten mit Delta Sharing

Die ALTER SHARE Anweisung unterstützt jetzt materialisierte Ansichten.

Aktuelle Änderungen

Änderungen an impliziter Umwandlung beim Speichern von Zeilen in einer Tabelle mit MERGE INTO und UPDATE

Azure Databricks folgt nun der Konfiguration „spark.sql.storeAssignmentPolicy“ für die implizite Umwandlung beim Speichern von Zeilen in einer Tabelle. Der Standardwert „ANSI“ löst einen Fehler aus, wenn Werte gespeichert werden, die überlaufen. Zuvor wurden Werte standardmäßig als NULL gespeichert.

Wie im folgenden Beispiel können Sie Überläufe beheben, indem Sie die Tabelle umschreiben, um einen breiteren Typ für die Spalte zu verwenden, die den Fehler verursacht.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet Schema Rückschlussänderungen

Beim Ableiten von Schemas aus Parquet-Dateien, die nicht von Spark geschrieben wurden, werden int64 Zeitstempelspalten, die mit isAdjustedToUTC=false Anmerkungen versehen sind, jetzt standardmäßig als TIMESTAMP_NTZ Typ festgelegt. Bisher wurden diese als TIMESTAMP Typ abgeleitet. Dieses Update verbessert die Genauigkeit der Zuordnung von Parquet-Typen zu Spark SQL-Typen.

Daher kann das Lesen von Daten aus externen Parquet-Dateien in eine Delta-Tabelle zu einem Fehler führen, wenn das timestampNtz Feature nicht aktiviert ist. Der Fehler wird wie folgt angezeigt:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Um das vorherige Verhalten beizubehalten und diesen Fehler zu verhindern, können Sie den Spark-Konfigurationsparameter von spark.sql.parquet.inferTimestampNTZ.enabled auf false setzen.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • debugpy von 1.5.1 auf 1.6.0
  • distlib von 0.3.6 auf 0.3.7
  • fastjsonschema von 2.16.3 auf 2.18.0
  • filelock von 3.12.0 auf 3.12.2
• Aktualisierte R-Bibliotheken:
  • SparkR von 3.4.0 auf 3.4.1
• Aktualisierte Java-Bibliotheken:
  • org.apache.orc.orc-core von 1.8.3-shaded-protobuf auf 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce von 1.8.3-shaded-protobuf auf 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims von 1.8.3 auf 1.8.4
  • org.eclipse.jetty.jetty-client von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet von 9.4.50.v20221201 auf 9.4.51.v20230217
  • org.xerial.snappy.snappy-java von 1.1.8.4 auf 1.1.10.1

Apache Spark

Databricks Runtime 13.3 enthält Apache Spark 3.4.1. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 13.2 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen, die an Spark vorgenommen wurden:

• Sie können jetzt die Clusterumgebungsvariable SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 festlegen, um Spark-snowflake-Connector v2.12.0 zu verwenden.
• [SPARK-43380] [DBRRM-383] Revert "[SC-133100][sql] Fix Avro-Datentypenkonvertierung..."
• [SPARK-44504] [Backport][13.2][13.x][13.3] Entladen des Anbieters, wodurch die DB-Instanz zum Schließen und Freigeben von Ressourcen bei Wartungsaufgabenfehler gezwungen wird
• [SPARK-44059] [SC-137023] Hinzufügen der Analyseunterstützung benannter Argumente für integrierte Funktionen
• [SPARK-44485] [SC-137653][sql] Optimize TreeNode.generateTreeString
• [SPARK-42944] [ SC-137164][ss][PYTHON] Streaming ForeachBatch in Python
• [SPARK-44446] [ SC-136994][python] Fügen Sie Überprüfungen für erwartete Listentyp-Sonderfälle hinzu.
• [SPARK-44439] [SC-136973][connect][SS] Problem mit listListeners behoben, sodass nur IDs an den Client zurückgesendet werden.
• [SPARK-44216] [SC-136941] [PYTHON] AssertSchemaEqual-API öffentlich machen
• [SPARK-44201] [SC-136778][connect][SS]Unterstützung für Streaming Listener in Scala für Spark Connect hinzufügen
• [SPARK-43915] [SC-134766][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2438-2445] zu.
• [SPARK-43798] Rückgängig machen von “[SC-133990][sql][PYTHON] Unterstützung von benutzerdefinierten Python-Tabellenfunktionen”
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch-API
• [SPARK-44476] [SC-137169][core][CONNECT] Fehler bei der Befüllung von Artefakten für einen JobArtifactState ohne zugehörige Artefakte beheben.
• [SPARK-44269] [SC-135817][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2310-2314] zu.
• [SPARK-44395] [SC-136744][sql] Aktualisierung der TVF-Argumente, sodass Klammern um den Bezeichner nach dem Schlüsselwort erforderlich sind.
• [SPARK-43915] [SC-134766][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2438-2445] zu.
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Hinzufügen von Unterstützung für UDFRegistration zum Connect Scala Client
• [SPARK-44109] [SC-134755][core] Entfernen der doppelt vorhandenen bevorzugten Speicherorte jeder RDD-Partition
• [SPARK-44169] [SC-135497][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2300-2304] zu.
• [SPARK-41487] [SC-135636][sql] Weisen Sie _LEGACY_ERROR_TEMP_1020 einen Namen zu
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch-API
• [SPARK-44153] [SC-134977][core][UI] Heap Histogram Spalte im Executors Tab unterstützen
• [SPARK-44044] [ SC-135695][ss] Fehlermeldung für Fensterfunktionen mit Streaming verbessern
• [SPARK-43914] [SC-135414][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2433-2437] zu.
• [SPARK-44217] [ SC-136805][python] Zulassen der benutzerdefinierten Genauigkeit für die ca. Gleichheit von fp
• [SPARK-44370] [SC-136575][connect] Migration der Buf-Remotegeneration-Alpha zu Remote-Plugins
• [SPARK-44410] [SC-136930][python][CONNECT] Aktive Sitzung beim Erstellen festlegen, nicht nur bei getOrCreate.
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Test_Artifact mit relevanten Änderungen wieder aktivieren
• [SPARK-44145] [ SC-136698][sql] Rückruf, wenn sie zur Ausführung bereit ist
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler-Klasse
• [SPARK-43986] [SC-135623][sql] Fehlerklassen für HyperLogLog-Funktionsaufruffehler erstellen
• [SPARK-44139] [ SC-134967][sql] Verwerfen vollständig heruntergedrückter Filter in gruppenbasierten MERGE-Vorgängen
• [SPARK-44338] [SC-136718][sql] Fehlermeldung für Ansichtsschema-Mismatch beheben
• [SPARK-44208] [SC-135505][Core][SQL] Weisen Sie eindeutige Fehlerklassennamen für eine Logik zu, die direkt Ausnahmen verwendet
• [SPARK-44364] [SC-136773] [PYTHON] Hinzufügen der Unterstützung für den Datentyp List[Row] für erwartet
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils sollte ResolveTimeZone anwenden
• [SPARK-43389] [SC-136772][sql] Es wurde eine NULL-Prüfung für lineSep-Option hinzugefügt.
• [SPARK-44388] [SC-136695][connect] Behebung eines Protobuf-Konvertierungsproblems bei Aktualisierung der UDF-Instanz
• [SPARK-44352] [ SC-136373][connect] Setzen Sie sameType und Freunde in DataType zurück.
• [SPARK-43975] [SC-134265][sql] DataSource V2: Umgang mit UPDATE Befehlen für gruppenbasierte Quellen
• [SPARK-44360] [SC-136461][sql] Unterstützung der Schemabereinigung in deltabasierten MERGE-Vorgängen
• [SPARK-44138] [SC-134907][sql] Verbieten von nicht deterministischen Ausdrücken, Unterabfragen und Aggregaten in MERGE-Bedingungen
• [SPARK-43321] [SC-136678][connect][Followup] Bessere Namen für APIs, die in Scala Client joinWith verwendet werden
• [SPARK-44263] [SC-136447][connect] Unterstützung für Custom Interceptors
• [SPARK-39851] [SC-123383][sql] Verbesserung der Join-Statistiken, wenn eine Seite die Einzigartigkeit beibehalten kann
• [SPARK-44390] [ SC-136677][core][SQL] Umbenennen SparkSerDerseUtils in SparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] Namen zuweisen und Fehlermeldung für häufige LEGACY-Fehler verbessern.
• [SPARK-44322] [SC-136204][connect] Parser so ändern, dass SqlApiConf statt SQLConf verwendet wird.
• [SPARK-44271] [SC-136347][sql] Verschieben von Standardwertfunktionen von StructType zu ResolveDefaultColumns
• [SPARK-44332] [SC-136413][core][WEBUI] Behebung des Sortierfehlers in der Executor-ID-Spalte auf der Executors-Benutzeroberflächenseite
• [SPARK-44282] [SC-135948][connect] Vorbereiten der DataType-Analyse für die Verwendung in Spark Connect Scala Client
• [SPARK-44349] [ SC-136581][r] Hinzufügen mathematischer Funktionen zu SparkR
• [SPARK-44397] [SC-136647][python] assertDataFrameEqual in pyspark.testing.utils verfügbar machen
• [SPARK-42981] [ SC-136620][connect] Direkte Pfeil serialisierung hinzufügen
• [SPARK-44373] [SC-136577][sql] Mit 'withActive' die Dataset-API mit Parse-Logik umschließen, um parserbezogene Konfigurationen funktionsfähig zu machen.
• [SPARK-44340] [SC-136574][sql] Definieren der Computerlogik über die PartitionEvaluator-API und verwenden sie in WindowGroupLimitExec
• [SPARK-43665] [SC-136573][connect][PS] Aktivieren Von PandasSQLStringFormatter.vformat für die Arbeit mit Spark Connect
• [SPARK-44325] [SC-136572][sql] Verwenden der PartitionEvaluator-API in SortMergeJoinExec
• [SPARK-44315] [SC-136171][sql][CONNECT] Verschiebe DefinedByConstructorParams zu sql/api
• [SPARK-44275] [SC-136184][connect] Hinzufügen eines konfigurierbaren Wiederholungsmechanismus zu Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] Verschiebe Hilfsprogramme, die vom Scala-Client verwendet werden, in die gemeinsamen Module.
• [SPARK-43321] [ SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][connect] Bereite ScalaReflection auf den Wechsel zu SQL/API vor
• [SPARK-44313] [SC-136081][sql] Korrigieren der Überprüfung des generierten Spaltenausdrucks, wenn im Schema eine Char/Varchar-Spalte vorhanden ist
• [SPARK-43963] [SC-134145][sql] DataSource V2: Behandeln von MERGE-Befehlen für gruppenbasierte Quellen
• [SPARK-44363] [SC-136433] [PYTHON] Anzeigen in Prozent der ungleichen Zeilen im DataFrame-Vergleich
• [SPARK-44251] [SC-136432][sql] Setzen Sie die Nullfähigkeit für den koaleszierten Join-Schlüssel in einer vollständigen Outer-USING-Verknüpfung korrekt fest.
• [SPARK-43948] [SC-133366][sql] Namen der Fehlerklasse LEGACY_ERROR_TEMP[0050|0057|0058|0059] zuweisen
• [SPARK-44329] [SC-136326][connect][PYTHON] Hinzufügen von hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt zu Scala und Python
• [SPARK-44351] [ SC-136353][sql] Machen Sie eine syntaktische Vereinfachung
• [SPARK-44281] [SC-135963][sql] Verschiebe den von DataType verwendeten QueryCompilation-Fehler zu sql/api als DataTypeErrors.
• [SPARK-44283] [SC-136109][connect] Ursprung in SQL/API verschieben
• [SPARK-43926] [SC-135590][connect][PYTHON] Add arrayagg, array_size, Kardinalität, count_min_sketch,mask,named_struct,json* to Scala and Python
• [SPARK-44327] [SC-136187][sql][CONNECT] Funktionen any und len zu Scala hinzufügen
• [SPARK-44290] [ SC-136300][connect] Sitzungsbasierte Dateien und Archive in Spark Connect
• [SPARK-44061] [ SC-136299][python] Funktion "assertDataFrameEqual util" hinzufügen
• [SPARK-44331] [SC-136324][connect][PYTHON] Hinzufügen von Bitmapfunktionen zu Scala und Python
• [SPARK-44342] [SC-136334][sql] Ersetzen von SQLContext durch SparkSession für GenTPCDSData
• [SPARK-42583] [SC-124190][sql] Entfernen Sie die äußere Verknüpfung, wenn sie alle unterschiedlichen Aggregatfunktionen sind
• [SPARK-44333] [SC-136206][connect][SQL] Verschieben von EnhancedLogicalPlan aus ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_128[1-2] zu.
• [SPARK-43939] [SC-134602][connect][PYTHON] Fügen Sie try_* Funktionen zu Scala und Python hinzu
• [SPARK-44193] [SC-135886][connect] Implementierung des Abfangens von GRPC-Ausnahmen für die Konvertierung
• [SPARK-44284] [SC-136107][connect] Erstellen eines einfachen Konf-Systems für sql/api
• [SPARK-43913] [SC-133368][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2426-2432] zu.
• [SPARK-44291] Änderung rückgängig machen “[SC-135924][spark-43416][CONNECT] Korrigieren eines falschen Schemas für die Bereichsabfrage”
• [SPARK-44312] [SC-136185][connect][PYTHON] Zulassen, dass ein Benutzer-Agent mit einer Umgebungsvariablen festgelegt werden kann
• [SPARK-44154] [SC-136060] Implementieren von Bitmapfunktionen
• [SPARK-43885] [SC-133996][sql] DataSource V2: Behandeln von MERGE-Befehlen für deltabasierte Quellen
• [SPARK-43924] [SC-135161][connect][PYTHON] Hinzufügen von misc-Funktionen zu Scala und Python
• [SPARK-43969] [SC-134556][sql] Umgestalten und Zuweisen von Namen zur Fehlerklasse _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] Behebung der inkonsistenten Pfadqualifizierung zwischen Katalog- und Datenvorgängen
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Datums- und Zeitfunktionen hinzufügen zu Scala, Python und Connect - Teil 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Hinzufügen von Zeichenfolgenfunktionen zu Scala und Python – Teil 1
• [SPARK-44266] [SC-135813][sql] Verschieben Util.truncatedString nach sql/api
• [SPARK-44195] [ SC-135722][r] Hinzufügen von JobTag-APIs zu SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] Unterstützungsargumentparserregel TABLE für TableValuedFunction
• [SPARK-44254] [SC-135709][sql] Verschiebe QueryExecutionErrors, die von DataType verwendet werden, in sql/api als DataTypeErrors.
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] Korrigieren eines falschen Schemas für die Bereichsabfrage
• [SPARK-43922] [SC-135612][sql] Hinzufügen der Unterstützung benannter Parameter in Parser für Funktionsaufrufe
• [SPARK-44300] [SC-135882][connect] Korrektur der Artefaktbereinigung, um den Löschbereich auf sitzungsspezifische Artefakte zu beschränken
• [SPARK-44293] [SC-135849][connect] Beheben ungültiger URI für benutzerdefinierte JARs in Spark Connect
• [SPARK-44215] [SC-135850][shuffle] Wenn die Anzahl der Blöcke 0 ist, sollte der Server eine RuntimeException auslösen.
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests sollten nur illustrativ sein
• [SPARK-44274] [SC-135814][connect] Verschieben von Hilfsfunktionen, die vom ArtifactManager verwendet werden, zu common/utils.
• [SPARK-44194] [SC-135815][python][CORE] Hinzufügen von JobTag-APIs zu PySpark SparkContext
• [SPARK-42828] [SC-135733][python][SQL] Explizitere Python-Typanmerkungen für GroupedData
• [SPARK-44079] [SC-135486][sql] Fehler beheben ArrayIndexOutOfBoundsException, wenn Arrays im PERMISSIVE-Modus mit fehlerhaften Datensätzen verarbeitet werden
• [SPARK-44255] [SC-135809][sql] Verschieben von StorageLevel auf gemeinsame/utils
• [SPARK-42169] [SC-135795] [SQL] Implementieren der Codegenerierung für to_csv-Funktion (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refactor PythonUDTFRunner, um den Rückgabetyp separat zu senden
• [SPARK-43353] [SC-132734][python] Migriere verbleibende Sitzungsfehler in Fehlerklasse
• [SPARK-44211] [ SC-135718][python][CONNECT] Implementieren von SparkSession.is_stopped
• [SPARK-42784] [SC-135691] sollte weiterhin subDir erstellen, wenn die Anzahl von subDir im Mergeverzeichnis kleiner ist als conf
• [SPARK-41599] [SC-135616] Speicherverlust in FileSystem.CACHE beim Übermitteln von Apps an einen sicheren Cluster mithilfe von InProcessLauncher
• [SPARK-44241] [SC-135613][Core] Legen Sie "io.connectionTimeout/connectionCreationTimeout" auf Null oder negativ fest, was zu unauffälligen Vollstreckungsausführern führt.
• [SPARK-44133] [ SC-134795][13.x][PYTHON] Upgrade MyPy von 0.920 auf 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde im JSON-Format
• [SPARK-44188] [SC-135173][Core] Entfernen sie nutzlose resetAllPartitions Methode in ActiveJob
• [SPARK-43757] [SC-135418][connect] Ändern der Kundenkompatibilität von der Erlaubnisliste zum Ablehnungsregister
• [SPARK-43474] [SC-135521] [SS] [CONNECT] Hinzufügen eines Spark Connect-Zugriffs auf Laufzeitdatenframes nach ID.
• [SPARK-44183] [ SC-135209][python] Mindestversion auf PyArrow 4.0.0 erhöhen
• [SPARK-44248] [SC-135554][ss][SQL][kafka] Hinzufügen eines bevorzugten Speicherorts in der Kafka-Quelle v2
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Hinzufügen von Datumszeitfunktionen zu Scala, Python und Connect API – Teil 1
• [SPARK-44161] [SC-135326][connect] Verarbeitung von Zeileninput für UDFs
• [SPARK-44227] [SC-135520][sql] Extrahieren von SchemaUtils aus StructField
• [SPARK-44064] [SC-135116][Core][SQL] Hinzufügen einer neuen apply Funktion zu NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] Weisen Sie der Fehlerklasse Namen LEGACY_ERROR_TEMP[2279-2282] zu und löschen Sie einige nicht verwendete Fehlerklassen.
• [SPARK-44056] [SC-134758][sql] Schließen Sie UDF-Namen in UDF-Ausführungsfehlerfehlermeldung ein, wenn verfügbar
• [SPARK-44205] [ SC-135422][sql] Katalysatorcode aus DecimalType extrahieren
• [SPARK-44220] [ SC-135484][sql] StringConcat in sql/api verschieben
• [SPARK-44146] [SC-135230][connect] Isolieren von Spark Connect Session Jars und Classfiles
• [SPARK-44206] [ SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][sql] Behebung des Testfalls, dass interpretierte Abfragen Codegen ausführen können
• [SPARK-44204] [SC-135253][sql][HIVE] Fügen Sie fehlenden recordHiveCall für getPartitionNames hinzu.
• [SPARK-44237] [ SC-135485][core] Vereinfachen der DirectByteBuffer-Konstruktor-Suchlogik
• [SPARK-44189] [ SC-135170][connect][PYTHON] Unterstützen Positionsparameter nach sql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Unterstützen Positionsparameter in Python sql()
• [SPARK-44164] [SC-135158][sql] Extrahiere die Methode toAttribute von StructField in die Util-Klasse
• [SPARK-44178] [SC-135113][connect] Positionsparameter unterstützen in sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader sollte die Barriereklasse InputStream nach dem Lesen schließen
• [SPARK-43063] [SC-128382][sql] df.show handle null sollte NULL statt null anzeigen
• [SPARK-42539] [SC-124464][sql][HIVE] Entfernen Sie den separaten Classloader bei Verwendung der "builtin"-Version von Hive für den Metadatenclient
• [SPARK-43992] [ SC-133645][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listFunctions hinzu.
• [SPARK-44066] [SC-134878][sql] Unterstützen von Positionsparametern in Scala/Java sql()
• [SPARK-44078] [SC-134869][connect][CORE] Unterstützung für Classloader-/Ressourcen-Isolation hinzufügen
• [SPARK-43470] [SC-135187][core] Hinzufügen von Betriebssystem-, Java- und Python-Versionsinformationen zum Anwendungsprotokoll
• [SPARK-43136] [SC-135238][connect][Followup] Hinzufügen von Tests für KeyAs
• [SPARK-39740] [SC-135093][ui]: Aktualisiere vis timeline auf 7.7.2, um CVE-2020-28487 zu beheben
• [SPARK-42298] [SC-133952][sql] Name zuweisen für _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listTables hinzu.
• [SPARK-44026] [SC-135181] Bereitstellen des Anfangswerts für SQLMetrics zulassen
• [SPARK-44202] [SC-135244][core] Hinzufügen von JobTag-APIs zu JavaSparkContext
• [SPARK-44030] [SC-135237][sql] Implementieren von DataTypeExpression zum Anbieten von "Unapply" für Ausdrücke
• [SPARK-43876] "[SC-134603][sql] Schnelle Hashmap für unterschiedliche Abfragen aktivieren" wiederherstellen
• [SPARK-40082] [SC-126437] MergeFinalize planen, wenn Pushen der Zusammenführung von shuffleMapStage neu versucht wird, aber keine ausgeführten Tasks vorhanden sind
• [SPARK-43888] [SC-132893][core] Verlagern der Protokollierung zu gemeinsamen Dienstprogrammen
• [SPARK-43474] [SC-134400] [SS] [CONNECT] Hinzufügen von SessionHolder zu SparkConnectPlanner
• [SPARK-43944] [SC-134490][connect][PYTHON] Hinzufügen von Zeichenfolgenfunktionen zu Scala und Python – Teil 2
• [SPARK-44134] [SC-134954][core] Behebt das Festlegen der Ressourcen (GPU/FPGA) auf 0, wenn sie in spark-defaults.conf eingestellt sind.
• [SPARK-44142] [SC-134947][python] Ersetzen Sie den Typ durch tpe im Hilfsprogramm, um Python-Typen in Spark-Typen zu konvertieren.
• [SPARK-43952] [SC-134695][core][CONNECT][sql] Fügen Sie SparkContext-APIs für die Abbruch von Abfragen nach Tag hinzu
• [SPARK-44000] [SC-133634][sql] Hinzufügen eines Hinweises zur Vermeidung der Übertragung und Replikation einer Seite der Verknüpfung
• [SPARK-43937] [SC-134362][connect][PYTHON] Fügen Sie ifnull,isnotnull,equal_null,nullif,nvl,nvl,nvl,nvl2 zu Scala und Python hinzu.
• [SPARK-43624] [13.x][sc-134557][PS][connect] Zu SparkConnectPlanner hinzufügen EWM .
• [SPARK-44040] [SC-134366][sql] Berechnung von Statistiken korrigieren, wenn der AggregateExec-Knoten über dem QueryStageExec liegt
• [SPARK-43485] [SC-131264][sql] Beheben Sie die Fehlermeldung für das unit Argument der Datetime-Add-/Diff-Funktionen.
• [SPARK-43794] [SC-132561][sql] Ordnen Sie der Fehlerklasse mit dem Namen _LEGACY_ERROR_TEMP_1335 einen neuen Namen zu.
• [SPARK-43511] [SC-134749][connect][SS]Implementierte MapGroupsWithState- und FlatMapGroupsWithState-APIs für Spark Connect
• [SPARK-43529] [SQL] Unterstützung von CREATE/REPLACE TABLE OPTIONS-Ausdrücken + Codebereinigung
• [SPARK-44106] [SC-134750][python][CONNECT] Einfügen __repr__ für GroupedData
• [SPARK-42299] [SC-133190] Name für _LEGACY_ERROR_TEMP_2206 zuweisen
• [SPARK-43290] [SC-134388][sql] Fügt Unterstützung für aes_encrypt IVs und AAD hinzu
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Fügen Sie current ähnliche Funktionen zu Scala und Python hinzu
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Fügen Sie regexp_*-Funktionen zu Scala und Python hinzu.
• [SPARK-44107] [SC-134746][connect][PYTHON] Ausblenden nicht unterstützter Spaltenmethoden aus automatischer Vervollständigung
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde im JSON-Format
• [SPARK-43773] [SC-132659][connect][PYTHON] Implementieren von Funktionen von "levenshtein(str1, str2[, threshold])" in Python-Client
• [SPARK-44125] [SC-134745][r] Unterstützung von Java 21 in SparkR
• [SPARK-43919] [SC-133374][sql] Extrahierung der JSON-Funktionalität aus Zeile
• [SPARK-43769] [SC-132520][connect] Implementieren von Funktionen "levenshtein(str1, str2[, threshold])"
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer zum Drucken eines Lesestatus
• [SPARK-43876] [SC-134603][sql] Schnelle Hashmap für unterschiedliche Abfragen aktivieren
• [SPARK-44024] [SC-134497][sql] Ändern, um map zu verwenden, wenn unzip nur zum Extrahieren eines einzelnen Elements verwendet wird
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Fügen Sie Bitvorgänge zu Scala, Python und Connect-API hinzu
• [SPARK-44092] [ SC-134506][core] Hinzufügen Utils.isJavaVersionAtLeast21 und Erstellen eines core Moduldurchlaufs mit Java 21
• [SPARK-44018] [SC-134512][sql] Verbessern Sie den HashCode und toString für einige DS V2-Ausdrücke
• [SPARK-44105] [SC-134582][sql] LastNonNull sollte träge aufgelöst werden
• [SPARK-44081] [SC-134434] Gewisse Vereinfachung der PartitionedFileUtil-API
• [SPARK-43791] [SC-132531][sql] Fehlerklasse _LEGACY_ERROR_TEMP_1336 einen Namen zuweisen.
• [SPARK-44071] [SC-134435] Definieren und Verwenden von Unresolved[Leaf|Unary]Node-Eigenschaften.
• [SPARK-43852] [ SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_2418-2425 zu.
• [SPARK-43742] [ SC-132684][sql] Standardspaltenwertauflösung umgestalten
• [SPARK-43493] [SC-132063][sql] Fügen Sie der Funktion levenshtein() ein Argument für den maximalen Abstand hinzu.
• [SPARK-44075] [SC-134382][connect] Faul machen transformStatCorr
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Fügen Sie some, bool_or, bool_and, every zu Scala, Python und Connect hinzu.
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Fügen Sie make_*-Funktionen zu Scala und Python hinzu.
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_24[06-10] zu.
• [SPARK-43962] [SC-133367][sql] Verbessern von Fehlermeldungen: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [ SC-133887][connect][PYTHON] Fügen Sie to_*-Funktionen zu Scala und Python hinzu.
• [SPARK-44055] [ SC-134321][Kern] Entfernen redundanter override Funktionen aus CheckpointRDD
• [SPARK-43802] [SC-132597][sql] Fixcodegen für unhex und unbase64 mit failOnError=true
• [SPARK-43798] [SC-133990][sql][PYTHON] Unterstützen von benutzerdefinierten Python-Tabellenfunktionen
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Fügen Sie any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduce zur Scala-, Python- und Connect-API hinzu.
• [SPARK-43380] [SC-133100][sql] Beheben von Avro-Datentypkonvertierungsproblemen, um falsche Ergebnisse zu vermeiden
• [SPARK-43803] [SC-133729] [SS] [CONNECT] Verbessern von awaitTermination(), um client disconnects () zu verarbeiten
• [SPARK-43179] [SC-129070][shuffle] Ermöglicht es Anwendungen, zu steuern, ob ihre Metadaten durch den External Shuffle Service in der Datenbank gespeichert werden.

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 13.3 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.2 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die DBR-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu 8.70.0.23-CA-linux64
• Skala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus dem CRAN-Snapshot des Posit-Paket-Managers am 2023-02-10 installiert: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)