Databricks Runtime 17.2

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 17.2, unterstützt von Apache Spark 4.0.0.

Azure Databricks hat diese Version im September 2025 veröffentlicht.

Neue Features und Verbesserungen

• LIKE unterstützt UTF8_LCASE Sortierung
• st_exteriorring Funktion wird jetzt unterstützt
• Anzeigen von Pushdowndetails in EXPLAIN und Spark UI für Remotescans
• Deklarieren mehrerer Sitzungs- oder lokaler Variablen in einer einzelnen DECLARE Anweisung
• Unterstützungsstichwort TEMPORARY für die Erstellung von Metrikansichten
• Unterstützen zusätzlicher Befehle mit fein abgestimmter Zugriffssteuerung
• Selektive und atomare Ersetzen von Daten durch INSERT REPLACE USING und INSERT REPLACE ON (GA)
• Native E/A für LokiFileSystem.getFileStatus S3 verwenden
• STANDARDMÄßIG aktivierter ANSI-Modus für Pandas-API auf Spark
• Automatisches Laden leitet Partitionsspalten im singleVariantColumn Modus ab

LIKE unterstützt UTF8_LCASE Sortierung

Der LIKE-Operator unterstützt jetzt die UTF8_LCASE-Vergleichsreihenfolge, sodass der Abgleich ohne Beachtung der Groß- und Kleinschreibung erfolgt.

st_exteriorring Funktion wird jetzt unterstützt

Sie können nun die st_exteriorring Funktion verwenden, um die äußere Grenze eines Polygons zu extrahieren und als Linienzeichenfolge zurückzugeben. Siehe st_exteriorring Funktion.

Anzeigen von Pushdowndetails in EXPLAIN und Spark UI für Remotescans

Der EXPLAIN Befehl und die Spark-Benutzeroberfläche für RemoteSparkConnectScan dedizierte Compute zeigen jetzt Prädikate, Aggregationen, Gruppierung nach Klauseln, Grenzwerten und Beispielen an, die in die Remoteüberprüfung verschoben werden.

Deklarieren mehrerer Sitzungs- oder lokaler Variablen in einer einzelnen DECLARE Anweisung

In Databricks Runtime 17.2 und höher können Sie mehrere Sitzungs- oder lokale Variablen desselben Typs und Standardwerts in einer einzelnen DECLARE Anweisung deklarieren. Siehe DECLARE VARIABLE und BEGIN END Compound-Anweisung.

Unterstützungsstichwort TEMPORARY für die Erstellung von Metrikansichten

Sie können nun das TEMPORARY Schlüsselwort verwenden, wenn Sie eine Metrikansicht erstellen. Temporäre Metrikansichten sind nur in der Sitzung sichtbar, die sie erstellt hat, und werden gelöscht, wenn die Sitzung endet. Siehe CREATE VIEW.

Unterstützen zusätzlicher Befehle mit fein abgestimmter Zugriffssteuerung

Feinkörnige Zugriffssteuerung auf dedizierten Compute unterstützt jetzt die FSCK REPAIR TABLE und DESCRIBE DETAIL Befehle.

Selektive und atomare Ersetzen von Daten durch INSERT REPLACE USING und INSERT REPLACE ON (GA)

INSERT REPLACE USING und INSERT REPLACE ON sind jetzt allgemein für Databricks Runtime 17.2 verfügbar. Beide SQL-Befehle ersetzen einen Teil der Tabelle durch das Ergebnis einer Abfrage.

INSERT REPLACE USING ersetzt Zeilen, wenn die USING Spalten gleich unter Gleichheit vergleichen. INSERT REPLACE ON ersetzt Zeilen, wenn sie einer benutzerdefinierten Bedingung entsprechen.

Siehe INSERT in der SQL-Sprachreferenz und selektives Überschreiben von Daten mit Delta Lake.

Native E/A für LokiFileSystem.getFileStatus S3 verwenden

LokiFileSystem.getFileStatus verwendet nun den nativen E/A-Stapel für Amazon S3-Datenverkehr und gibt org.apache.hadoop.fs.FileStatus Objekte anstelle von shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

STANDARDMÄßIG aktivierter ANSI-Modus für Pandas-API auf Spark

ANSI_MODE ist jetzt standardmäßig für Die Pandas-API für Spark compute.ansi_mode_support=Trueaktiviert, mit der die ANSI-Complianceparität mit nativen Pandas sichergestellt wird. Die compute.fail_on_ansi_mode Option gilt weiterhin, wenn compute.ansi_mode_support sie auf False.

Automatisches Laden leitet Partitionsspalten im singleVariantColumn Modus ab

Auto Loader leitet jetzt Partitionsspalten von Dateipfaden ab, wenn Daten als semistrukturierter Variantentyp mithilfe der singleVariantColumn-Option aufgenommen werden. Zuvor wurden Partitionsspalten nicht automatisch erkannt. Weitere Informationen finden Sie unter "Optionen für das automatische Laden".

Verhaltensänderungen

• DESCRIBE CONNECTION Zeigt Umgebungseinstellungen für SHAPES-Verbindungen an.
• Option zum Abschneiden des einheitlichen Verlaufs während der Migration verwalteter Tabellen
• SQL-Syntax für Delta-Leseoptionen in Streamingabfragen
• Richtige Ergebnisse mit split leerem regex und positivem Grenzwert
• Beheben url_decode und try_url_decode Fehlerbehandlung in Photon
• Freigegebene Ausführungsumgebung für Unity Catalog Python UDTFs
• Zeilenverfolgung ist standardmäßig bei neuen Tabellen aktiviert
• TABLE Argumentunterstützung für Unity Catalog Python UDTFs

DESCRIBE CONNECTION Zeigt Umgebungseinstellungen für SHAPES-Verbindungen an.

Azure Databricks enthält jetzt benutzerdefinierte Umgebungseinstellungen in der DESCRIBE CONNECTION Ausgabe für SHAPES-Verbindungen, die benutzerdefinierte Treiber unterstützen und isoliert ausgeführt werden. Andere Verbindungstypen bleiben unverändert.

Option zum Abschneiden des einheitlichen Verlaufs während der Migration verwalteter Tabellen

Sie können jetzt den einheitlichen Verlauf abschneiden, wenn Sie Tabellen mit aktivierter Uniform/Iceberg-Funktion migrieren ALTER TABLE...SET MANAGED. Dies vereinfacht Migrationen und reduziert Ausfallzeiten im Vergleich zum manuellen Deaktivieren und erneuten Aktivieren von Uniform.

SQL-Syntax für Delta-Leseoptionen in Streamingabfragen

Sie können jetzt Delta-Leseoptionen für SQL-basierte Streamingabfragen mithilfe der WITH Klausel angeben. Beispiel:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Richtige Ergebnisse mit split leerem regex und positivem Grenzwert

Azure Databricks gibt jetzt korrekte Ergebnisse zurück, wenn sie mit einem leeren Regex und einem positiven Grenzwert verwendet split function werden. Zuvor hat die Funktion die verbleibende Zeichenfolge falsch abgeschnitten, anstatt sie in das letzte Element einzubinden.

Beheben url_decode und try_url_decode Fehlerbehandlung in Photon

In Photon try_url_decode() und url_decode() mit failOnError = false jetzter Rückgabe NULL für ungültige URL-codierte Zeichenfolgen anstelle eines Fehlschlagens der Abfrage.

Freigegebene Ausführungsumgebung für Unity Catalog Python UDTFs

Azure Databricks teilt nun die Ausführungsumgebung für benutzerdefinierte Python-Tabellenfunktionen (UDTFs) aus derselben Besitzer- und Spark-Sitzung. Eine optionale STRICT ISOLATION Klausel ist verfügbar, um die Freigabe für UDTFs mit Nebeneffekten zu deaktivieren, z. B. das Ändern von Umgebungsvariablen oder das Ausführen von beliebigem Code.

Zeilenverfolgung für neue Tabellen standardmäßig aktiviert

Azure Databricks ermöglicht jetzt die Zeilennachverfolgung standardmäßig für alle neu erstellten verwalteten Unity-Katalogtabellen. Vorhandene Tabellen sind nicht betroffen und behalten ihre aktuellen Zeilenverfolgungseinstellungen bei.

TABLE Argumentunterstützung für Unity Catalog Python UDTFs

Unity Catalog Python UDTFs unterstützen TABLE Argumente, sodass Funktionen ganze Tabellen als Eingabeparameter akzeptieren können, was komplexere Datentransformationen und Aggregationen für strukturierte Datasets ermöglicht. Siehe Python benutzerdefinierte Tabellenfunktionen (UDTFs) im Unity-Katalog. (Zurückportiert von 17.3 LTS).

Verbesserungen der Bibliothek

Aktualisierte Python-Bibliotheken:

In dieser Version wurden keine Python-Bibliotheken aktualisiert.

Aktualisierte R-Bibliotheken:

In dieser Version wurden keine R-Bibliotheken aktualisiert.

Aktualisierte Java-Bibliotheken:

• io.delta.delta-sharing-client_2.13 von 1.3.3 bis 1.3.5

Apache Spark

Databricks Runtime 17.2 umfasst Apache Spark 4.0.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Version 17.1 enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• SPARK-53183 Verwenden von Java Files.readString anstelle von o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Stellen Sie ansiConfig-Felder in messageParameters von CAST_INVALID_INPUT und CAST_OVERFLOW
• SPARK-53124 Nicht benötigte Felder aus JsonTuple löschen
• SPARK-53106 Hinzufügen von Schemaentwicklungstests für TWS Scala Spark Connect-Suites
• SPARK-53201 Anstelle SparkFileUtils.contentEquals von Files.equal
• SPARK-53308 Entfernen Sie in RemoveRedundantAliases keine Aliase, die Duplikate verursachen würden.
• SPARK-53241 Unterstützung createArray in SparkCollectionUtils
• SPARK-53239 Verbessern MapSort und SortArray Leistung über parallelSort
• SPARK-53184 Behebt melt(), wenn Wertspalten Zeichenfolgen und Zahlen vermischen.
• SPARK-53144 Den Befehl "CreateViewCommand" im "SparkConnectPlanner" ohne Seiteneffekte gestalten.
• SPARK-53303 Verwenden des leeren Zustands-Encoders, wenn der anfangszustand in TWS nicht bereitgestellt wird
• SPARK-52917 Leseunterstützung zum Aktivieren von Roundtrips für binär im XML-Format
• SPARK-53110 Implementieren der time_trunc-Funktion in PySpark
• SPARK-53107 Implementieren der time_trunc-Funktion in Scala
• SPARK-52146 Erkennen von zyklischen Funktionsverweisen in SQL UDFs
• SPARK-52469 Verwenden der JEP 223-API zum Verarbeiten der Java-Version
• SPARK-53094 Korrigiere CUBE mit Aggregat, das HAVING Klauseln enthält
• SPARK-51874 TypedConfigBuilder für Scala Enumeration hinzufügen
• SPARK-53287 Hinzufügen eines ANSI-Migrationshandbuchs
• SPARK-43100 Push-basierte Shuffle-Metriken müssen ordnungsgemäß deserialisiert werden
• SPARK-53045 DESCRIBE EXTENDED sollte robust für beschädigte Metadaten sein
• SPARK-53114 Unterstützung join in JavaUtils
• SPARK-53297 Fix StreamingTable Declarative Pipelines API docstring
• SPARK-53181 Aktivieren von Dokumenttests unter ANSI
• SPARK-52482 Verbessern der Ausnahmebehandlung beim Lesen bestimmter beschädigter zstd-Dateien
• SPARK-52990 Unterstützen StringSubstitutor
• SPARK-51874 TypedConfigBuilder für Scala Enumeration hinzufügen
• SPARK-53169 Entfernen von Kommentaren im Zusammenhang mit "Set the logger level of File Appender to" aus log4j2.properties
• SPARK-53080 Support cleanDirectory in SparkFileUtils und JavaUtils
• SPARK-53045 DESCRIBE EXTENDED sollte robust für beschädigte Metadaten sein
• SPARK-53000StringUtils.scalaStringConcat.scala In Modul umbenennen sql/api
• SPARK-52952 PySpark UDF Type Coercion Dev Script hinzufügen
• SPARK-52998 Mehrere Variablen innerhalb der Deklaration
• SPARK-51817 Stellen Sie ansiConfig-Felder in messageParameters von CAST_INVALID_INPUT und CAST_OVERFLOW
• SPARK-52820 Erfassen vollständiger Pläne in goldenen Dateien
• SPARK-53274 Unterstützung für links- und rechts-Verknüpfungs-Pushdown in ELEMENTScanBuilder
• SPARK-52110 Implementieren der SQL-Syntaxunterstützung für Pipelines
• SPARK-52950 Aktivieren des ANSI-Modus in DataSourceV2StrategySuite
• SPARK-52947 Beheben des Bildpfads in der Programmieranleitung für deklarative Pipelines
• SPARK-52592 Unterstützung beim Erstellen einer PS. Serie von ps. Reihe
• SPARK-53301 Unterscheidungstyphinweise von Pandas UDF und Pfeil-UDF
• SPARK-53146 MergeIntoTable im SparkConnectPlanner nebenwirkungsfrei machen
• SPARK-53166 Verwenden SparkExitCode.EXIT_FAILURE im SparkPipelines Objekt
• SPARK-53288 Beheben von Assertionsfehlern mit globaler Streaminggrenze
• SPARK-52394 Beheben des Fehlers "AutoKorrektur durch Null" im ANSI-Modus
• SPARK-51555 Hinzufügen der funktion time_diff()
• SPARK-52948 Aktivieren von test_np_spark_compat_frame unter ANSI
• SPARK-53134 Bereinigen nicht verwendeter ANSI-Importe in Tests
• SPARK-52593 Vermeiden von CAST_INVALID_INPUT von MultiIndex.to_seriesund Series.dotDataFrame.dot im ANSI-Modus
• SPARK-53291 Behebe die Nullfähigkeit für die Wertspalte
• SPARK-53097 WriteOperationV2 im SparkConnectPlanner ohne Seiteneffekte gestalten
• SPARK-53305 Unterstützung von TimeType in createDataFrame
• SPARK-52914 Unterstützung On-Demand Log Loading für Rollprotokolle in History Server
• SPARK-33538 Direktes Pushen von IN/NOT-Prädikaten an den Hive-Metastore
• SPARK-52849 Hinzufügen stringifyException zu o.a.s.util.Utils
• SPARK-52771 Behebung der Erweiterung des float32-Typs in truediv/floordiv
• SPARK-52502 Übersicht über die Threadanzahl
• SPARK-52788 Fehler beim Konvertieren des Binärwerts in BinaryType in XML
• SPARK-53123 Unterstützung getRootCause in SparkErrorUtils
• SPARK-53129 Standardmäßiges Importieren SparkShelljava.net._ verbessern
• SPARK-53061 Unterstützung copyFileToDirectory in SparkFileUtils
• SPARK-52683 ExternalCatalog alterTableSchema unterstützen
• SPARK-52871 Zusammenführen o.a.s.sql.catalyst.util.SparkStringUtils mit o.a.s.util.SparkStringUtils
• SPARK-52817 Beheben der Like Ausdrucksleistung
• SPARK-52545 Standardisieren sie doppelte Anführungszeichen, um die SQL-Spezifikation zu befolgen
• SPARK-52711 Behebung der Erweiterung des float32-Typs in mul/rmul unter ANSI
• SPARK-52615 Ersetzen Von File.mkdirs durch Utils.createDirectory
• SPARK-52381 JsonProtocol: Nur Unterklassen von SparkListenerEvent akzeptieren
• SPARK-52613 Wiederherstellen des Druckens des vollständigen Stacktrace, wenn HBase/Hive DelegationTokenProvider-Ausnahme getroffen wird
• SPARK-52651 Umgang mit benutzerdefiniertem Typ in geschachteltem Spaltenvektor
• SPARK-52611 SqlConf-Version für excludeSubqueryRefsFromRemoveRedundantAliases beheben...
• SPARK-52552 Check-Einschränkungserzwingung für Löschvektorlöschungen überspringen
• SPARK-52587 spark-shell 2.13 Unterstützung -i-I Parameter
• SPARK-52492 Make InMemoryRelation.convertToColumnarIfPossible customizeable
• SPARK-52451 Die WriteOperation im SparkConnectPlanner nebenwirkungsfrei gestalten
• SPARK-53272 Umgestalten der SPJ-Pushdownlogik aus BatchScanExec
• SPARK-53071 Unterstützung copyFile in SparkFileUtils
• SPARK-51415 Unterstützung des Zeittyps nach make_timestamp()
• SPARK-51554 Hinzufügen der funktion time_trunc()
• SPARK-52426 Unterstützung für die Umleitung von Stdout/stderr zum Protokollierungssystem
• SPARK-51834 Unterstützung der End-to-End-Tabelleneinschränkungsverwaltung
• SPARK-53063 Implementieren und Aufrufen neuer APIs in FileCommitProtocol anstelle der veralteten
• SPARK-52546 überprüfen SparkContext , wenn die Ausführung des Catch-Codeblocks in execute() beendet wurde, andernfalls wird ein falscher Zustand zurückgegeben.
• SPARK-53023 Entfernen commons-io der Abhängigkeit aus sql/api Modul
• SPARK-52396 Artefaktstammverzeichnis sollte tmpdir verwenden
• SPARK-53131 Standardmäßiges Importieren SparkShelljava.nio.file._ verbessern
• SPARK-42322 Zuweisen von Namen to_LEGACY_ERROR_TEMP_2235
• SPARK-51834 Unterstützung der End-to-End-Tabelleneinschränkungsverwaltung
• SPARK-52484 Kind.supportsColumnar Überprüfung auf der Treiberseite in ColumnarToRowExec überspringen
• SPARK-52384 Fehlerkorrektur Connect sollte bei OPTIONEN FÜR OPTIONEN nicht beachtet werden
• SPARK-52034 Hinzufügen allgemeiner Methoden in SparkOperation-Eigenschaft für Thriftserver-Vorgänge
• SPARK-53031 Unterstützung getFile in SparkFileUtils
• SPARK-52976 Beheben von Python UDF, das keine sortierte Zeichenfolge als Eingabeparameter/Rückgabetyp akzeptiert (17.x)
• SPARK-52943 Aktivieren von arrow_cast für alle Pandas UDF-Val-Typen
• SPARK-53263 Unterstützung von TimeType in df.toArrow
• SPARK-53141 Hinzufügen von APIs zum Abrufen der Arbeitsspeichergröße und offheap-Speichergröße aus dem Ressourcenprofil
• SPARK-53259 Korrigieren der Nachricht für INVALID_UDF_EVAL_TYPE
• SPARK-53167 Spark launcher isRemote respektiert auch die Eigenschaftendatei
• SPARK-53165 Hinzufügen SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Utf8String-Verbesserung wiederholen
• SPARK-53170 VerbessernSparkUserAppException, um Parameter zu haben cause
• SPARK-52989 Hinzufügen einer expliziten Close()-API zu Statusspeicher-Iteratoren
• SPARK-53074 Vermeiden sie partielle Clustering in SPJ, um die erforderliche Verteilung eines untergeordneten Elements zu erfüllen.
• SPARK-52252 ScalaUDF-Encoder in Unterabfragen sollten aufgelöst werden
• SPARK-53244 Speichern Sie während der Ansichtserstellung nicht den aktivierten und mit Vorbehalt aktivierten Modus
• SPARK-53192 Speichern Sie eine Datenquelle immer im Spark Connect-Plancache zwischen
• SPARK-51813 Hinzufügen eines nicht nullierbaren DefaultCachedBatchKryoSerializers, um die Nullverteilung in DefaultCachedBatch serde zu vermeiden
• SPARK-52904 Reapply "[SC-202233][python] Enable convertToArrowArrayS...
• SPARK-53253 Beheben der Registrierung von UDF vom Typ SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Auflisten der unterstützten Eval-Typen in Pfeilknoten
• SPARK-53130 Beheben toJson des Verhaltens von sortierten Zeichenfolgentypen
• SPARK-53003 Support strip in SparkStringUtils
• SPARK-51902 Synchronisierungsbetriebssystem: Erzwingen der Check-Einschränkung beim Einfügen der Tabelle
• SPARK-52047 PySparkValueError für nicht unterstützte Zeichnungstypen auslösen
• SPARK-53004 Support abbreviate in SparkStringUtils
• SPARK-53066 Verbessern der EXPLAIN Ausgabe für DSv2 Join Pushdown
• SPARK-30848 ProductHash aus TreeNode entfernen
• SPARK-53046 Verwenden von Java readAllBytes anstelle von IOUtils.toByteArray
• SPARK-53206 Anstelle SparkFileUtils.move von com.google.common.io.Files.move
• SPARK-53066 Verbessern der EXPLAIN Ausgabe für DSv2 Join Pushdown
• SPARK-53069 Korrigieren falscher Zustandsspeichermetriken mit virtuellen Spaltenfamilien
• SPARK-52904 ConvertToArrowArraySafely standardmäßig aktivieren [17.x]
• SPARK-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-51562 Funktion hinzufügen time
• SPARK-52971 Beschränken der Größe der Python-Workerwarteschlange im Leerlauf
• SPARK-53057 Support sizeOf in SparkFileUtils und JavaUtils
• SPARK-53040 Verbieten von Selbstreferenzen innerhalb der obersten CTEs in Rekursiven CTEs
• SPARK-53104 Führen Sie ansi_mode_context ein, um mehrere Konfigurationsprüfungen pro API-Aufruf zu vermeiden.
• SPARK-47547 Hinzufügen von BloomFilter V2 und Verwenden als Standard
• SPARK-53098DeduplicateRelations Sollte Ausdrücke nicht neu zuordnen, wenn noch alt ExprId in der Ausgabe vorhanden ist
• SPARK-53049 Unterstützung toString in SparkStreamUtils
• SPARK-53062 Support deleteQuietly in SparkFileUtils und JavaUtils
• SPARK-53070 Unterstützung is(Not)?Empty in SparkCollectionUtils
• SPARK-53020 JPMS-Args sollten auch auf Nicht-SparkSubmit-Prozess angewendet werden.
• SPARK-52968 Ausgeben zusätzlicher Statusspeichermetriken
• SPARK-52975 Vereinfachen von Feldnamen in pushdown join sql
• SPARK-52926 SQLMetric für die Dauer des Remoteschemaabrufs hinzugefügt.
• SPARK-53059 Pfeil UDF muss nicht von Pandas abhängen
• SPARK-52646 Vermeiden von CAST_INVALID_INPUT im __eq__ ANSI-Modus
• SPARK-52622 Vermeiden von CAST_INVALID_INPUT im DataFrame.melt ANSI-Modus
• SPARK-52985 Raise TypeError für Pandas numpy operand in Vergleichsoperatoren
• SPARK-52580 Vermeiden von CAST_INVALID_INPUT im replace ANSI-Modus
• SPARK-52549 Rekursive CTE-Selbstverweise aus Fensterfunktionen und innerhalb von Sortierungen deaktivieren
• SPARK-52895 Fügen Sie keine doppelten Elemente hinzu resolveExprsWithAggregate
• SPARK-50748 Behebung eines Racebedingungsproblems, das auftritt, wenn Vorgänge unterbrochen werden
• SPARK-52737 Pushdown-Prädikat und Anzahl von Apps zu FsHistoryProvider beim Auflisten von Anwendungen
• SPARK-53018 ArrowStreamArrowUDFSerializer sollte argument arrow_cast
• SPARK-53013 Fix Pfeiloptimierter Python UDTF, der keine Zeilen bei lateraler Verknüpfung zurückgibt
• SPARK-51834 Synchronisierungsbetriebssysteme: Unterstützen der Einschränkungsbeschränkung für end-to-end-Tabellen
• SPARK-52921 Angeben von outputPartitioning für UnionExec für denselben Ausgabeteilitoning wie untergeordnete Operatoren
• SPARK-52908 Verhindern, dass iteratorvariabler Name mit Namen von Bezeichnungen im Pfad zum Stamm von AST kollidiert
• SPARK-52954 UDF-Unterstützung für Rückgabetypkoersion
• SPARK-52925 Fehlermeldung für Verankerungs-Selbstverweise in rCTEs zurückgeben
• SPARK-52889 Implementieren der current_time-Funktion in PySpark
• SPARK-52675 Unterbrechen hängender ML-Handler in Tests
• SPARK-52959 Unterstützung von UDT in pfeiloptimierten Python UDTF
• SPARK-52962 BroadcastExchangeExec sollte keine Metriken zurücksetzen
• SPARK-52956 Beibehalten von Aliasmetadaten beim Reduzieren von Projekten
• SPARK-52890 Implementieren der funktionen to_time und try_to_time in PySpark
• SPARK-52888 Implementieren der make_time-Funktion in PySpark
• SPARK-52892 Unterstützungszeit in den Funktionen "Stunde", "Minute" und "Sekunde" in PySpark
• SPARK-52837 Unterstützung von TimeType in pyspark
• SPARK-52023 Beheben von Datenbeschädigungen/Segfault-Rückgabeoption[Produkt] von udaf
• SPARK-52955 Ändern der Rückgabetypen von WindowResolution.resolveOrder und WindowResolution.resolveFrame in WindowExpression
• SPARK-52166 Hinzufügen von Unterstützung für PipelineEvents
• SPARK-51834 Fix: Entfernen gültiger Dateien aus toDDL
• SPARK-52735 Beheben fehlender Fehlerbedingungen für SQL UDFs
• SPARK-51834 Sync OSS Support End-to-End-Erstellungs-/Ersetzungstabelle mit Einschränkung
• SPARK-51834 Synchronisieren des OSS-Updates "ResolvedIdentifier" nicht angewendete Aufrufe
• SPARK-52929 Unterstützen des MySQL- und SQLServer-Connectors für DSv2 Join-Pushdown
• SPARK-52448 Vereinfachte Strukturausdruck.Literal hinzufügen
• SPARK-52882 Implementieren der current_time-Funktion in Scala
• SPARK-52905 Pfeil-UDF für Fenster
• SPARK-52876 Korrigieren eines Tippfehlers buffer in bodyChunkFetchSuccess.toString
• SPARK-52883 Implementieren der funktionen to_time und try_to_time in Scala
• SPARK-52751 Überprüfen Sie den Spaltennamen nicht unbedingt in dataframe['col_name']
• SPARK-52791 Beheben eines Fehlers beim Ableiten eines UDT mit einem null ersten Element
• SPARK-52686Union sollte nur aufgelöst werden, wenn keine Duplikate vorhanden sind
• SPARK-52881 Implementieren der make_time-Funktion in Scala
• SPARK-52919 Beheben des DSv2 Join-Pushdowns zur Verwendung zuvor aliaser Spalte
• SPARK-52866 Hinzufügen von Support für try_to_date
• SPARK-52846 Fügen Sie eine Metrik in RSSRDD hinzu, wie lange es dauert, um das Resultset abzurufen.
• SPARK-52859 SparkSystemUtils-Eigenschaft hinzufügen
• SPARK-52823 Unterstützung für DSv2 Join Pushdown für Oracle Connector
• SPARK-52165 Einrichten des Buildgerüsts für das Pipelineprojekt
• SPARK-52869 Hinzufügen der FrameLessOffsetWindowFunction-Validierung zur ValidateResolvedWindowExpression für die Wiederverwendung in single-pass analyzer
• SPARK-52885 Implementieren der Funktionen "Stunde", "Minute" und "Sekunde" in Scala für den TIME-Typ
• SPARK-52903 Kürzen von Aliasen auf oberster Ebene vor der LCA-Auflösung
• SPARK-52832 KORRIGIEREN DER SPRACHE-Dialektbezeichner-Quotierung
• SPARK-52870 Richtig anführungszeichenvariable Namen in Anweisung FOR
• SPARK-52859 Eigenschaft hinzufügen SparkSystemUtils
• SPARK-52900 Verwenden SparkStringUtils.stringToSeq in FsHistoryProvider
• SPARK-52809 Enthalten Sie keine Lese- und Iteratorverweise für alle Partitionen in Aufgabenabschlusslistenern für die Metrikaktualisierung.
• SPARK-52815 Verbesserung SparkClassUtils der Unterstützung getAllInterfaces
• SPARK-52795 Einschließen von runId in Zustandsspeicherprotokolle
• SPARK-52779 Unterstützung des TimeType-Literals in Connect
• SPARK-52899 Reparatur des QueryExecutionErrorsSuite-Tests, um die H2Dialect erneut zu registrieren.
• SPARK-52862 Korrigieren der Nullbarkeitsprüfung von Decimal('NaN')
• SPARK-52214 Pfeil-UDF für Aggregation
• SPARK-52787 Neuorganisieren der Streamingausführung um Laufzeit- und Prüfpunktbereiche
• SPARK-51564 TIME-Analyse im 12-Stunden-Format
• SPARK-52859 Eigenschaft hinzufügen SparkSystemUtils
• SPARK-51562 Funktion hinzufügen time
• SPARK-52850 Aufrufen von Konvertierungen überspringen, wenn identitätsfunktion
• SPARK-52863 Bereinigen von Codepfaden für alte Pandas-Versionen
• SPARK-52516 Speichern Sie den vorherigen Iteratorverweis nicht, nachdem Sie zur nächsten Datei in "ParquetPartitionReaderFactory" wechseln.
• SPARK-52848 Vermeiden von Umwandlung in Double UmwandlungSZEIT/ZEITSTEMPEL in DEZIMAL
• SPARK-52770 Supporttyp TIME in connect proto
• SPARK-52842 Neue Funktionen und Bugfixes für single-pass Analyzer
• SPARK-52620 Unterstützen der Umwandlung von TIME in DECIMAL
• SPARK-52783 Refaktorisieren der Validierungslogik der Fensterfunktion von CheckAnalysis zur Wiederverwendung im Single-Pass-Analyzer
• SPARK-51695 Synchronisiere OSS zum Erstellen/Ersetzen/Ändern von Tabellen für eindeutige Einschränkungen über DSv2
• SPARK-51695 Synchronisierung osS drop constraint via DSv2
• SPARK-52824 CheckpointFileManager-Fehlerklassifizierung
• SPARK-52829 Korrigieren Von LocalDataToArrowConversion.convert zum ordnungsgemäßen Behandeln leerer Zeilen
• SPARK-52811 Optimieren der ArrowTableToRowsConversion.convert zur Verbesserung der Leistung
• SPARK-52796 Optimieren von LocalDataToArrowConversion.convert zur Verbesserung der Leistung
• SPARK-51695 Änderungen am Einschränkungsparser für die Synchronisierung von OSS Alter Table hinzufügen
• SPARK-52619 Cast TimeType in IntegralType
• SPARK-52187 Einführung von Join-Pushdown für DSv2
• SPARK-52782 Zurückgeben von NULL von +/- am Datumszeitpunkt mit NULL
• SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications sollte positiv sein
• SPARK-52776 Teilen Sie das Comm-Feld nicht in ProcfsMetricsGetter
• SPARK-52793 Support isUnix unter o.a.s.util.Utils
• SPARK-52792 Entfernen commons-lang3 der Abhängigkeit von network-common
• SPARK-52797 Verwenden Statt Utils.isWindows neu auszuwerten PythonWorkerFactory
• SPARK-52784 Hinzufügen von TimeZoneAware-Umwandlung in WindowFrameTypeCoercion.createBoundaryCast
• SPARK-52725 Verzögern der Initialisierung des Ressourcenprofil-Managers bis zum Laden des Plug-Ins
• SPARK-52565 Erzwingen der Ordnungsauflösung vor anderen Sortierreihenfolgeausdrücken
• SPARK-52740 Beheben von NPE in HDFSBackedStateStoreProvider beim Zugriff auf StateStoreConf.sqlConf, wenn die Version des Prüfpunktformats =2 ist >
• SPARK-52673 Hinzufügen der Grpc RetryInfo-Behandlung zu Spark Connect-Wiederholungsrichtlinien
• SPARK-52724 Verbessern der OOM-Fehlerbehandlung bei der Übertragungsbeitritt mit SHUFFLE_MERGE Hint-Unterstützung
• SPARK-52781 Korrigieren von Dtyeps-Tippfehlern in internal.py
• SPARK-52730 Speichern zugrunde liegender Treiber und Datenbankversion in DATABASERDD
• SPARK-52727 Umgestalten der Fensterauflösung, um sie im Single Pass Analyzer wiederzuverwenden
• SPARK-52695 Unterstützung für benutzerdefinierten Typschreibzugriff für xml-Dateiformate
• SPARK-52722 Deprecate CodRDD-Klasse
• SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
• SPARK-52763 SupportZEIT subtrahieren
• SPARK-52768 Korrigieren von Tippfehler "Moveing" in Pandas/series.py
• SPARK-52730 Speichern zugrunde liegender Treiber und Datenbankversion in DATABASERDD
• SPARK-52694 API hinzufügen o.a.s.sql.Encoders#udt
• SPARK-52720 Behebung der float32 Typenerweiterung in add/radd unter ANSI
• SPARK-52723 Serverseitige Spaltennamenüberprüfung
• SPARK-52760 Behebung der float32-Typverbreiterung in sub/rsub gemäß ANSI
• SPARK-52738 Unterstützung beim Aggregieren des TIME-Typs mit einem UDAF, wenn der zugrunde liegende Puffer ein UnsafeRow
• SPARK-52704 Vereinfachen der Interoperabilität zwischen SQLConf- und Dateiformatoptionen in TextBasedFileFormats
• SPARK-52706 Beheben von Inkonsistenzen und Umgestalten von Grundtypen in Parser
• SPARK-52718 Korrigieren der Erweiterung des float32-Typs in rmod/mod nach ANSI-Standards
• SPARK-52736 Korrigieren Von Tippfehlern 'moveing' in pyspark/pandas/generic.py

Azure Databricks ODBC/JDBC-TREIBERunterstützung

Azure Databricks unterstützt in den letzten 2 Jahren veröffentlichte ODBC/JDBC-Treiber. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Skala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2025-03-20installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)