Databricks Runtime 16.2 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.2, unterstützt von Apache Spark 3.5.2.

Databricks hat diese Version im Februar 2025 veröffentlicht.

Verhaltensänderungen

ANALYZE überspringt jetzt Spalten mit nicht unterstützten Typen.

ANALYZE TABLE führt nicht mehr zu einer Fehlermeldung, wenn sie in einer Tabelle mit nicht unterstützten Typen ausgeführt wird, z ARRAY . B. oder MAP. Nicht unterstützte Spalten werden jetzt automatisch übersprungen. Benutzer, die Logik implementiert haben, die diese Fehler erwartet, sollten ihren Code aktualisieren.

Bei Delta Sharing ist der Tabellenverlauf standardmäßig aktiviert.

Für Freigaben, die mit dem SQL-Befehl ALTER SHARE <share> ADD TABLE <table> erstellt werden, ist jetzt die Freigabe des Verlaufs (WITH HISTORY) standardmäßig aktiviert. Siehe ALTER SHARE.

SQL-Anweisungen für Anmeldeinformationen geben einen Fehler zurück, wenn der Typ der Anmeldeinformationen nicht übereinstimmt

Wenn der in einer SQL-Anweisung für die Anmeldeinformationsverwaltung angegebene Anmeldeinformationstyp mit dieser Version nicht mit dem Typ des Arguments für Anmeldeinformationen übereinstimmt, wird ein Fehler zurückgegeben, und die Anweisung wird nicht ausgeführt. Bei der Anweisung DROP STORAGE CREDENTIAL 'credential-name' tritt beispielsweise ein Fehler auf, wenn das credential-name-Element keine Speicheranmeldeinformationen darstellt.

Diese Änderung wird vorgenommen, um Benutzerfehler zu vermeiden. Zuvor wurden diese Anweisungen erfolgreich ausgeführt, selbst wenn ein Berechtigungsnachweis übergeben wurde, der nicht dem angegebenen Berechtigungstyp entsprach. Beispielsweise würde die folgende Anweisung storage-credentialerfolgreich löschen: DROP SERVICE CREDENTIAL storage-credential.

Diese Änderung wirkt sich auf folgende Anweisungen aus:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… AUF... BERECHTIGUNGSNACHWEIS
• REVOKE… AUF... BERECHTIGUNGSNACHWEIS
• SHOW GRANTS AUF... BERECHTIGUNGSNACHWEIS

Neue Features und Verbesserungen

• Erstellen benutzerdefinierter zustandsbehafteter Anwendungen mit transformWithState
• Authentifizieren beim Cloudobjektspeicher mit Dienstanmeldeinformationen
• Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mit Dienstanmeldeinformationen ist jetzt allgemein verfügbar
• Notizbücher werden als Arbeitsbereichsdateien unterstützt
• Verwenden von timestampdiff & timestampadd in generierten Spaltenausdrücken
• Unterstützung für sql-Pipelinesyntax
• HTTP-Anforderung mithilfe der http_request Funktion durchführen
• Aktualisieren, um DESCRIBE TABLE Metadaten als strukturiertes JSON zurückgibt
• Nachfolgende leere Nichtsensitive Sortierungen
• Konvertieren von Apache Iceberg-Tabellen mit Bucketpartitionierung in nicht partitionierte Delta-Tabellen
• Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus) unterstützt jetzt die Spark Scala-Methoden foreach, foreachBatchund flatMapGroupsWithState

Erstellen benutzerdefinierter zustandsbehafteter Anwendungen mit transformWithState

Sie können nun apIs verwenden transformWithState und damit verbundene APIs verwenden, um benutzerdefinierte zustandsbehaftete Anwendungen als Teil von Strukturierten Streaming-Abfragen zu implementieren. Siehe Erstellen einer benutzerdefinierten zustandsbehafteten Anwendung.

Authentifizieren beim Cloudobjektspeicher mit Dienstanmeldeinformationen

Sie können jetzt Databricks-Dienstanmeldeinformationen verwenden, um sich beim Cloudobjektspeicher mit auto Loader zu authentifizieren. Siehe Konfigurieren von Datenströmen für das automatische Laden im Dateibenachrichtigungsmodus.

Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mit Dienstanmeldeinformationen ist jetzt GA

Dienstanmeldeinformationen ermöglichen die einfache und sichere Authentifizierung mit den Diensten Ihres Cloudmandanten von Azure Databricks. Mit Databricks Runtime 16.2 sind Dienstanmeldeinformationen allgemein verfügbar und unterstützen jetzt Scala SDKs zusätzlich zum Python SDK, das in der public Preview unterstützt wurde. Siehe Erstellen von Dienstanmeldeinformationen.

Notizbücher werden als Arbeitsbereichsdateien unterstützt

In Databricks Runtime 16.2 und höher werden Notizbücher als Arbeitsbereichsdateien unterstützt. Sie können jetzt programmgesteuert von überall aus mit Notizbüchern interagieren, die das Arbeitsbereichsdateisystem verfügbar ist, einschließlich Schreiben, Lesen und Löschen von Notizbüchern wie jeder anderen Datei. Weitere Informationen finden Sie unter Programmgesteuertes Erstellen, Aktualisieren und Löschen von Dateien und Verzeichnissen.

Verwenden Sie timestampdiff & timestampadd in generierten Spaltenausdrücken

In Databricks Runtime 16.2 und höher können Sie die zeitstempeldiff - und timestampadd-Funktionen in delta Lake generierten Spaltenausdrücken verwenden. Siehe Verwenden der von Delta Lake generierten Spalten.

Unterstützung für SQL-Pipeline-Syntax

In Databricks Runtime 16.2 und höher können Sie SQL-Pipelines verfassen. Eine SQL-Pipeline strukturiert eine Standardabfrage, z. B. SELECT c2 FROM T WHERE c1 = 5, in eine Schritt-für-Schritt-Sequenz, wie im folgenden Beispiel gezeigt:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Informationen zur unterstützten Syntax für SQL-Pipelines finden Sie unter SQL-Pipelinesyntax.

Hintergrundinformationen zu dieser branchenübergreifenden Erweiterung finden Sie unter SQL Has Problems. Wir können sie beheben: Pipe-Syntax in SQL (von Google Research).

HTTP-Anforderung mithilfe der http_request-Funktion durchführen

In Databricks Runtime 16.2 und höher können Sie HTTP-Verbindungen erstellen und über sie HTTP-Anforderungen mithilfe der http_request-Funktion vornehmen.

Aktualisieren auf DESCRIBE TABLE Gibt Metadaten als strukturiertes JSON zurück.

In Databricks Runtime 16.2 und höher können Sie den DESCRIBE TABLE AS JSON Befehl verwenden, um Tabellenmetadaten als JSON-Dokument zurückzugeben. Die JSON-Ausgabe ist strukturierter als der vom Benutzer lesbare Standardbericht und kann zum programmgesteuerten Interpretieren des Schemas einer Tabelle verwendet werden. Weitere Informationen finden Sie unter DESCRIBE TABLE AS JSON.

Sortierungen ohne Beachtung nachstehender Leerzeichen

Databricks Runtime 16.2 fügt Unterstützung für nachfolgende leere Sortierungen hinzu und fügt der Sortierunterstützung hinzu, die in Databricks Runtime 16.1 hinzugefügt wurde. Beispielsweise behandeln diese Sortierungen 'Hello' und 'Hello ' gleich. Weitere Informationen finden Sie unter RTRIM-Sortierung.

Konvertieren von Apache Iceberg-Tabellen mit Bucketpartitionierung in nicht partitionierte Delta-Tabellen

Die CONVERT TO DELTA Anweisungen CREATE TABLE CLONE unterstützen jetzt das Konvertieren einer Apache Iceberg-Tabelle mit Bucketpartitionierung in eine nicht partitionierte Delta-Tabelle.

Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus) unterstützt jetzt die Spark Scala-Methoden foreach, foreachBatchund flatMapGroupsWithState

In Databricks Runtime 16.2 und höher unterstützt die Standardzugriffsmodusberechnung jetzt die Scala-Methoden und DataStreamWriter.foreachBatch-MethodenKeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 und höher unterstützt die Standardzugriffsmodusberechnung jetzt die Scala-Methode DataStreamWriter.foreach.

Fehlerkorrekturen

Verbesserte inkrementelle Klonverarbeitung

Diese Version enthält einen Fix für einen Randfall, bei dem ein inkrementelles CLONE möglicherweise Dateien, die bereits aus einer Quelltabelle kopiert wurden, in eine Zieltabelle erneut kopieren kann. Siehe Klonen einer Tabelle in Azure Databricks.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • org.json4s.json4s-ast_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-core_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-jackson_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-scalap_2.12 von 3.7.0-M11 bis 4.0.7

Apache Spark

Databricks Runtime 16.2 umfasst Apache Spark 3.5.2. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 16.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-49966] Wiederherstellen von "[SC-179501][sql] Verwendung Invoke zur Implementierung JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Beheben der Abfrageausführung des Sortierungsausdrucks walker
• [SPARK-49666] [SQL] Aktivieren von Kürzungstests für inSet-Ausdruck
• [SPARK-50669] [SC-184566][es-1327450][SQL] Ändern der Signatur des TimestampAdd-Ausdrucks
• [SPARK-50795] [16.x][sc-186719][SQL] Speicherzeitstempel als long Typ in describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Fügen Sie die Zeitzone beim Umwandeln in den Zeitstempel in V2ScanRelationPushDown hinzu.
• [SPARK-50735] [SC-186944][connect] Fehler in ExecuteResponseObserver führt zu unendlichen Reattachingsanforderungen.
• [SPARK-50522] [SC-186500][sql] Unterstützung für unbestimmte Sortierung
• [SPARK-50525] [SC-186058][sql] Definieren der InsertMapSortInRepartitionExpressions Optimierungsregel
• [SPARK-50679] [SC-184572][sql] Duplizierte gemeinsame Ausdrücke in unterschiedlichen "Mit" sollten nur einmal projiziert werden.
• [SPARK-50847] [SC-186916] [SQL] Deny ApplyCharTypePadding für bestimmte In-Ausdrücke anwenden
• [SPARK-50714] [SC-186786][sql][SS] Aktivieren der Schemaentwicklung für TransformWithState bei Verwendung der Avro-Codierung
• [SPARK-50795] [SC-186390][sql] Alle BESCHREIBEN ALS JSON-Datumsangaben im ISO-8601-Format und -Typen anzeigen als dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Verbessern des Koersions- und Grenzüberprüfungstyps für UNIFORM SQL-Funktion
• [SPARK-50700] [ SC-184845][sql] spark.sql.catalog.spark_catalog unterstützt builtin magischen Wert
• [SPARK-50831] [SC-186736][sql] Standardmäßiges Kürzen der Sortierung aktivieren
• [SPARK-50263] [SC-186793][connect] Ersetzen durch System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementieren von CreateSQLFunctionCommand für SQL Scalar- und Tabellenfunktionen
• [SPARK-50830] [SC-186718] [SQL] Zurückgeben eines Einzeldurchlaufergebnisses als Ergebnis der Dual-Run-Analyse
• [SPARK-50707] [ SC-186098][sql] Aktivieren der Umwandlung in/von char/varchar
• [SPARK-49490] [ SC-182137][sql] Fügen Sie Benchmarks für initCap hinzu
• [SPARK-50529] [SC-184535][sql] Ändern des Zeichen-/Varchar-Verhaltens unter der spark.sql.preserveCharVarcharTypeInfo Konfiguration
• [SPARK-49632] [SC-184179][sql] Entfernen Sie den ANSI-Konfigurationsvorschlag in CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Behebung eines Fehlers, bei dem das Übergeben von NULL-Varianten in createDataFrame bewirkt, dass dies fehlschlägt und die Variant-Unterstützung in createDataFrame in Spark Connect hinzufügt.
• [SPARK-50828] [ SC-186493][python][ML][connect] Veraltet pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Set für Analysefehler analysiert
• [SPARK-50824] [ SC-186472][python] Vermeiden Sie das Importieren optionaler Python-Pakete zur Überprüfung
• [SPARK-50755] [SC-185521][sql] Hübsche Plananzeige für InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Die Eingaben für eingegebene Aggregationen sollten analysiert werden.
• [SPARK-50791] [SC-185867][sc-186338][SQL] Beheben von NPE im Zustandsspeicher-Fehlerbehandlung
• [SPARK-50801] [SC-186365] [SQL] Verbessern PlanLogger.logPlanResolution , sodass es nur ungelöste und aufgelöste Pläne anzeigt
• [SPARK-50749] [SC-185925][sql] Beheben des Sortierfehlers in der CommutativeExpression.gatherCommutative-Methode
• [SPARK-50783] [ SC-186347] Canonicalize JVM profiler results file name and layout on DFS
• [SPARK-50790] [SC-186354][python] Implementieren von parse json in pyspark
• [SPARK-50738] [ SC-184856][python] Upgrade schwarz auf 23.12.1
• [SPARK-50764] [ SC-185930][python] Verfeinern der Docstring von xpath-verwandten Methoden
• [SPARK-50798] [ SC-186277][sql] Verbessern NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 Integration mit RocksDB und RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Hinzufügen eines Featurekennzeichnungs für Sortierungen auf Objektebene
• [SPARK-50778] [SC-186183][python] Hinzufügen von metadataColumn zu PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Verbessern automatisch generierter Ausdrucksaliasen mit Pipe-SQL-Operatoren
• [SPARK-50541] [16.x][sc-184937] Beschreiben der Tabelle als JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Aufbewahren von Tabellenaliasen nach SET, EXTEND- und DROP-Operatoren
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogrammNumeric
• [SPARK-49025] [ SC-174667] Synchronisierungsdeltacode-Diff zu DBR
• [SPARK-50752] [SC-185547][python][SQL] Einführen von Konfigurationen für die Optimierung von Python-UDF ohne Pfeil
• [SPARK-50705] [SC-185944][sql] Sperrfrei machen QueryPlan
• [SPARK-50690] [16.x][sc-184640][SQL] Beheben von Diskrepanzen in DESCRIBE TABLE Abfrageausgabespalten, die in der Ansicht angegeben werden
• [SPARK-50746] [ SC-184932][sql] Ersetzen Sie entweder durch VariantPathSegment.
• [SPARK-50715] [ SC-185546][python][CONNECT] SparkSession.Builder legt die Konfigurationen im Batch fest.
• [SPARK-50480] [SC-183359][sql] Erweitern von CharType und VarcharType von StringType
• [SPARK-50675] [ SC-184539][sql] Unterstützung von Tabellen- und Ansichtsebenen
• [SPARK-50409] [ SC-184516][sql] Fix set statement to ignore ; at the end of SET;, SET -v; and SET key;
• [SPARK-50743] [SC-185528][sql] Normalize CTERelationDef und CTERelationRef IDs
• [SPARK-50693] [ SC-184684][connect] Die Eingaben für TypedScalaUdf sollten analysiert werden.
• [SPARK-50744] [SC-184929][sql] Fügen Sie einen Testfall für die Ansichts-/CTE-Namensauflösungsrangfolge hinzu.
• [SPARK-50710] [SC-184767][connect] Hinzufügen der Unterstützung für optionale Clientverbindung zu Sitzungen nach der Veröffentlichung
• [SPARK-50703] [ SC-184843][python] Verfeinern der Docstring von regexp_replace, regexp_substr und regexp_instr
• [SPARK-50716] [SC-184823][Kern] Beheben der Bereinigungslogik für symbolische Verknüpfungen in JavaUtils.deleteRecursivelyUsingJavaIO der Methode
• [SPARK-50630] [SC-184443][sql] Fehlerbehebung bei der Ordnungsunterstützung für Pipe-SQL-AGGREGAT-Operatoren.
• [SPARK-50614] [SC-184729][sql] Hinzufügen von Variant-Streuunterstützung für Parkett
• [SPARK-50661] [SASP-4936] Hinzufügen der Abwärtskompatibilität für alte Client-FEB.
• [SPARK-50676] [ SC-184641][sql] Nicht verwendet private lazy val mapValueContainsNull aus ElementAt
• [SPARK-50515] [SC-183813][core] Hinzufügen einer schreibgeschützten Schnittstelle zu SparkConf
• [SPARK-50697] [ SC-184702][sql] Aktivieren der Tail-Rekursion nach Möglichkeit
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Beheben des Statusschemas für FlatMapGroupsWithState in Spark Connect, wenn kein Anfangszustand vorhanden ist
• [SPARK-50701] [ SC-184704][python] Festlegen der Zeichnungsanforderung für die minimale Plotversion
• [SPARK-50702] [ SC-184727][python] Verfeinern der Docstring von regexp_count, regexp_extract und regexp_extract_all
• [SPARK-50499] [SC-184177][python] Verfügbarmachen von Metriken von BasePythonRunner
• [SPARK-50692] [ SC-184705][16.x] Hinzufügen der RPAD-Pushdownunterstützung
• [SPARK-50682] [SC-184579][sql] Innerer Alias sollte kanonisch sein
• [SPARK-50699] [ SC-184695][python] Analysieren und Generieren einer DDL-Zeichenfolge mit einer angegebenen Sitzung
• [SPARK-50573] [SC-184568][ss] Hinzufügen der Statusschema-ID zu Statuszeilen zur Schemaentwicklung
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Behebung der Spark Connect Scala foreachBatch-Implementierung. zur Unterstützung von Dataset[T].
• [SPARK-50689] [SC-184591][sql] Deterministische Sortierung in LCA-Projektlisten erzwingen
• [SPARK-50696] [SC-184667][python] Optimieren des Py4J-Aufrufs für die DDL-Analysemethode
• [SPARK-49670] [SC-182902][sql] Aktivieren der Kürzungssortierung für alle Passthroughausdrücke
• [SPARK-50673] [SC-184565][ml] Vermeiden Sie das Durchlaufen von Modellkoeffizienten zweimal im Word2VecModel Konstruktor.
• [SPARK-50687] [SC-184588][python] Optimieren Der Logik zum Abrufen von Stapelablaufverfolgungen für DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Zwischenspeichern des analysierten Schemas für MapInXXX und ApplyInXXX
• [SPARK-50674] [SC-184589][python] Fixüberprüfung auf das Vorhandensein der "terminate"-Methode in der UDTF-Auswertung
• [SPARK-50684] [SC-184582][python] Verbessern der Py4J-Leistung in DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Fügen Sie Unterstützung für neue Versionen von Statusmetadaten für TransformWithStateInPandas hinzu.
• [SPARK-50602] [SC-184439][sql] Fixtransponierung, um eine ordnungsgemäße Fehlermeldung anzuzeigen, wenn ungültige Indexspalten angegeben werden
• [SPARK-50650] [ SC-184532][sql] Verbessern der Protokollierung in single-pass Analyzer
• [SPARK-50665] [SC-184533][sql] Ersetzen Von LocalRelation mit "ComparableLocalRelation" in NormalizePlan
• [SPARK-50644] [SC-184486][sql] Lesevarianten-Anweisung im Parkettleser.
• [SPARK-49636] [SC-184089][sql] Entfernen Sie den ANSI-Konfigurationsvorschlag in INVALID_ARRAY_INDEX und INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Ausgabeberechnung der Union umgestalten, um sie im Single-Pass Analyzer wiederzuverwenden
• [SPARK-50659] [SC-184512][sql] Verschieben von Union-bezogenen Fehlern in QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Beheben ungültiger kontextbezogener Zeichenfolgentypen
• [SPARK-50546] [SC-183807][sql] Hinzufügen der Unterstützung von Unterabfragen zur Koersion des Sortiertyps
• [SPARK-50405] [SC-182889][sql] Behandeln der Sortiertypkoersion komplexer Datentypen ordnungsgemäß
• [SPARK-50637] [SC-184434][sql] Fixcodeformat für den Single Pass Analyzer
• [SPARK-50638] [SC-184435][sql] Umgestalten Sie die Ansichtsauflösung in die separate Datei, um sie im Single Pass Analyzer wiederzuverwenden.
• [SPARK-50615] [SC-184298][sql] Pushvariante in Scan.
• [SPARK-50619] [SC-184210][sql] Refactor VariantGet.cast zum Packen der Umwandlungsargumente
• [SPARK-50599] [SC-184058][sql] Erstellen Sie die DataEncoder-Eigenschaft, die Avro- und UnsafeRow-Codierung ermöglicht
• [SPARK-50076] [ SC-183809] Beheben von Protokollschlüsseln
• [SPARK-50597] [ SC-183972][sql] Batcherstellung in Optimizer.scala und SparkOptimizer.scala
• [SPARK-50339] [ SC-183063][spark-50360][SS] Aktivieren des Änderungsprotokolls zum Speichern von Zeileninformationen
• [SPARK-50526] [SC-183811][ss] Hinzufügen des Speichercodierungsformats zu Offsetprotokollen und Blockieren nicht unterstützter zustandsbehafteter Operatoren bei der Verwendung von avro
• [SPARK-50540] [SC-183810][python][SS] Fixzeichenfolgenschema für StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Verwenden von SQLConf, das von SparkSession zuerst bereitgestellt wird.
• [SPARK-48898] [SC-183793][sql] Legen Sie die Nullierbarkeit im Variant-Schema richtig fest.
• [SPARK-50559] [SC-183814][sql] Speichere die Ausgaben von Except, Intersect und Union als lazy vals
• [SPARK-48416] [SC-183643][sql] Unterstützung geschachtelt mit Ausdruck
• [SPARK-50428] [SC-183566][ss][PYTHON] Unterstützen TransformWithStateInPandas in Batchabfragen
• [SPARK-50063] [SC-183350][sql][CONNECT] Hinzufügen von Unterstützung für Variant im Spark Connect Scala-Client
• [SPARK-50544] [ SC-183569][python][CONNECT] Implementieren StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Beheben von Maven-Buildfehlern, die von Guava-Cache in RocksDBStateStoreProvider eingeführt wurden
• [SPARK-50491] [SC-183434][sql] Fehler beheben, bei dem leere BEGIN-END-Blöcke einen Fehler auslösen
• [SPARK-50536] [SC-183443][core] Archivdateigrößen in SparkContext und Executor
• [SPARK-45891] [SC-183439][sql] Variant-Binärdatei aus geschredderten Daten neu erstellen.
• [SPARK-49565] [SC-183465][sql] Hinzufügen der SQL-Pipesyntax für den FROM-Operator
• [SPARK-50497] [SC-183338][sql] Abfragen mit einer eindeutigen Meldung fehlschlagen lassen, wenn MultiAlias eine Nicht-Generator-Funktion enthält
• [SPARK-50460] [SC-183375][python][CONNECT] Verallgemeinern und Vereinfachen der Ausnahmebehandlung von Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Fixkomprimierungsoption, die überschrieben wird df.write.parquet
• [SPARK-50329] [SC-183358][sql] fix InSet$toString
• [SPARK-50524] [SC-183364][sql] Niedrigere RowBasedKeyValueBatch.spill Warnmeldung zum Debuggen
• [SPARK-50528] [ SC-183385][connect] Wechseln InvalidCommandInput zum gemeinsamen Modul
• [SPARK-50017] [ SC-182438][ss] Unterstützen der Avro-Codierung für den TransformWithState-Operator
• [SPARK-50463] [SC-182833][sql] Korrektur bei der Umwandlung von Spaltenar zu Zeilen
• [SPARK-50235] [SC-180786][sql] Aufräumen der ColumnVector-Ressource nach der Verarbeitung aller Zeilen in ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Beheben des init-Zustandsbezogenen Tests zur Verwendung von StreamManualClock
• [SPARK-50478] [ SC-183188][sql] Fix StringType-Abgleich
• [SPARK-50492] [SC-183177][ss] Fix java.util.NoSuchElementException, wenn die Ereigniszeitspalte nach dropDuplicatesWithinWatermark gelöscht wird
• [SPARK-49566] [ SC-182589][sql] Hinzufügen einer SQL-Pipesyntax für den SET Operator
• [SPARK-50449] [SC-183178][sql] Korrigieren der SQL-Skripting-Grammatik, die leere Textkörper für Schleifen, WENN und CASE zulässt
• [SPARK-50251] [SC-180970][python] Zu PySpark hinzufügen getSystemPropertySparkContext
• [SPARK-50421] [SC-183091][core] Beheben der Ausführungskonfiguration im Zusammenhang mit speicherbezogenen Speicherfehlern, wenn mehrere Ressourcenprofile funktioniert haben
• [SPARK-49461] [ SC-179572][ss] Id des persistenten Prüfpunkts zum Commit von Protokollen und Zurücklesen
• [SPARK-50343] [SC-183119][spark-50344][SQL] Hinzufügen der SQL-Pipesyntax für die DROP- und AS-Operatoren
• [SPARK-50481] [SC-182880][Core] Verbessern SortShuffleManager.unregisterShuffle , um Prüfsummendateilogik zu überspringen, wenn die Prüfsumme deaktiviert ist
• [SPARK-50498] [ SC-183090][python] Vermeiden Sie unnötige Py4j-Aufrufe in listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Selbst-Join nach applyInArrow beheben
• [SPARK-49695] [ SC-182967][sc-176968][SQL] Postgres fix xor push-down

Databricks ODBC/ODBC/ODBC-TREIBERunterstützung

Databricks unterstützt IN den letzten 2 Jahren veröffentlichte ODBC/PASTE-Treiber. Laden Sie die kürzlich veröffentlichten Treiber und das Upgrade herunter (ODBC herunterladen, DOWNLOAD BUILDS).

Wartungsupdates

Siehe Databricks Runtime 16.2 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 24.04.1 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die Databricks-Runtime-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu17.54+21-CA
• Skala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2024-08-04 installiert: https://packagemanager.posit.co/cran/2024-08-04/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)