Databricks Runtime 16.3 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.3, unterstützt von Apache Spark 3.5.2.

Databricks hat diese Version im März 2025 veröffentlicht.

Verhaltensänderungen

Fehlerkorrektur für Auto-Loader-Optionen: modifiedBefore, modifiedAfter, pathGlobFilter

Zuvor hatten Änderungen der Werte der Auto Loader-Optionen modifiedBefore, modifiedAfter und pathGlobFilter keine Auswirkungen. Das Problem wurde behoben.

Wenn Sie nun die Werte dieser Filter ändern, importiert der Auto Loader neue Dateien, die die Filterkriterien erfüllen. Wenn weniger Dateien basierend auf aktualisierten Filterwerten berechtigt sind, werden dateien, die nicht mehr berechtigt sind, nicht aus der Spüle entfernt, sondern bleiben aufgenommen.

Verbesserte Fehlermeldung, wenn kafka.sasl.client.callback.handler.class einem ungültigen Wert zugewiesen wird

Diese Version enthält eine Änderung, um eine aussagekräftigere Fehlermeldung zurückzugeben, wenn kafka.sasl.client.callback.handler.class einem ungültigen Wert zugewiesen wird.

Die neue Fehlermeldung lautet org.apache.spark.sql.AnalysisException: [RESTRICTED_STREAMING_OPTION_PERMISSION_ENFORCED.KAFKA_CLIENT_CALLBACK_SHADED_CLASS] The option kafka.sasl.client.callback.handler.class has restricted values on Shared clusters for the kafka source. The Kafka client callback class must be "shadedmskiam.software.amazon.msk.auth.iam.IAMClientCallbackHandler". SQLSTATE: 0A000

Zuvor wurde die Fehlermeldung zurückgegeben. org.apache.spark.sql.AnalysisException: [UNSUPPORTED_STREAMING_OPTIONS_PERMISSION_ENFORCED] Streaming options kafka.sasl.client.callback.handler.class are not supported for data source kafka on a shared cluster. Please confirm that the options are specified and spelled correctly, and check https://docs.databricks.com/en/compute/access-mode-limitations.html#streaming-shared for limitations. SQLSTATE: 0A000

Neue Features und Verbesserungen

• Unterstützung des Zustandslesers ist GA für Standardcompute
• Downgrade von Delta-Tabellenprotokoll ist allgemein verfügbar (GA) mit Prüfpunktschutz
• Schreiben von prozeduralen SQL-Skripts basierend auf ANSI SQL/PSM (Public Preview)
• Standardsortierung auf Tabellen- und Ansichtsebene
• Installation von benutzerdefinierten Abhängigkeiten in Unity Catalog Python UDFs (Öffentliche Vorschau)
• Ändern mehrerer Tabellenspalten in einer ALTER TABLE Anweisung
• Unterstützung für transformWithStateInPandas bei Standardcompute
• Unterstützung für MERGE INTO Tabellen mit fein granulierte Zugriffssteuerung auf dedizierte Rechenressourcen (Öffentliche Vorschau)
• Unterstützung für das Anfügen von Daten an präzise zugriffsgesteuerte Tabellen auf dediziertem Compute
• Verbesserte Unterstützung für Selbstverknüpfungen mit präzise zugriffsgesteuerten Objekten auf dediziertem Compute
• Neue H3-Funktionen

Unterstützung des Zustandslesers ist GA für Standardcompute

Unterstützung für das Lesen von Zustandsinformationen für strukturierte Streaming-Abfragen ist jetzt allgemein verfügbar für Rechnerleistungen, die mit dem Standardzugriffsmodus konfiguriert sind. Weitere Informationen finden Sie unter Lesen von strukturierten Streamingstatusinformationen.

Downgrade von Delta-Tabellenprotokoll ist allgemein verfügbar (GA) mit Prüfpunktschutz

DROP FEATURE ist allgemein verfügbar, um die Features der Delta Lake-Tabelle zu entfernen und das Tabellenprotokoll zu downgraden. Standardmäßig erstellt DROP FEATURE jetzt geschützte Prüfpunkte für eine optimierte und vereinfachte Downgrade-Erfahrung, die keine Wartezeit oder Verlaufskürzung erfordert. Weitere Informationen finden Sie unter Löschen eines Delta Lake-Tabellenfeatures und Herabstufen des Tabellenprotokolls.

Schreiben von prozeduralen SQL-Skripts basierend auf ANSI SQL/PSM (Public Preview)

Sie können nun Skriptfunktionen basierend auf ANSI SQL/PSM verwenden, um Prozedurlogik mit SQL zu schreiben, einschließlich Steuerungsflussanweisungen, lokalen Variablen und Ausnahmebehandlung. Weitere Informationen finden Sie unter SQL-Skripting.

Standardsortierung auf Tabellen- und Ansichtsebene

Sie können jetzt eine Standardsortierung für Tabellen und Ansichten angeben. Dies vereinfacht die Erstellung von Tabellen und Ansichten, bei denen alle oder die meisten Spalten dieselbe Sortierung aufweisen. Siehe Sortierung.

Installieren von benutzerdefinierten Abhängigkeiten in Unity Catalog Python UDFs (Public Preview)

Erweitern Sie die Funktionalität von Python UDFs über die Databricks-Runtime-Umgebung hinaus, indem Sie benutzerdefinierte Abhängigkeiten für externe Bibliotheken definieren. Siehe Erweitern von UDFs mithilfe von benutzerdefinierten Abhängigkeiten.

Ändern mehrerer Tabellenspalten in einer ALTER TABLE Anweisung

In Databricks Runtime 16.3 können Sie mehrere Spalten in einer einzelnen ALTER TABLE Anweisung ändern. Siehe ALTER TABLE ... COLUMN -Klausel.

Unterstützung für transformWithStateInPandas bei dem Standardcompute

Sie können jetzt transformWithStateInPandas für die Berechnung verwenden, die mit dem Standardzugriffsmodus konfiguriert ist. Siehe Erstellen einer benutzerdefinierten zustandsbehafteten Anwendung.

Unterstützung für MERGE INTO-Tabellen mit feingranularer Zugriffssteuerung auf dedizierten Compute-Ressourcen (Public Preview)

In Databricks Runtime 16.3 und höher unterstützen dedizierte Rechenressourcen MERGE INTO für Unity-Katalog-Tabellen, die eine feinkörnige Zugriffssteuerung verwenden. Ähnlich wie beim Lesen aus diesen Objekten werden die MERGE Befehle bei Bedarf automatisch an serverlose Berechnungen übergeben.

Siehe Feingranulare Zugriffssteuerung auf dedizierten Rechenressourcen.

Unterstützung für das Einfügen von Daten an feinkörnige zugriffsgesteuerte Tabellen auf dedizierten Rechnern

In Databricks Runtime 16.3 und höher unterstützt dediziertes Compute das Anhängen an Unity Catalog-Objekte, die eine feinkörnige Zugriffssteuerung verwenden. Verwenden Sie die DataFrame.write.mode("append") Funktion in der Apache Spark-API, um dieses Feature zu verwenden. Ähnlich wie beim Lesen aus diesen Objekten werden die anfügenden Schreibvorgänge bei Bedarf automatisch an serverlose Berechnungen übergeben.

Weitere Informationen zur Verwendung dedizierter Rechenleistung mit feingranular zugriffsgesteuerten Unity Katalogobjekten finden Sie unter Feingranulare Zugriffsteuerung für dedizierte Rechenleistung.

Verbesserte Unterstützung für Selbstverknüpfungen mit präzisen zugriffsgesteuerten Objekten auf dediziertem Compute

In Databricks Runtime 16.3 und höher synchronisiert die Datenfilterungsfunktion für eine feinkörnige Zugriffssteuerung auf dediziertem Compute Momentaufnahmen jetzt automatisch zwischen dedizierten und serverlosen Computeressourcen, mit Ausnahme von materialisierten Ansichten und allen Ansichten, materialisierten Ansichten und Streaming-Tabellen, die über Delta Sharing gemeinsam genutzt werden. Diese verbesserte Funktionalität stellt sicher, dass Selbstverknüpfungen bei Verwendung der Datenfilterung identische Momentaufnahmen zurückgeben. Siehe Feingranulare Zugriffssteuerung auf dedizierten Rechenressourcen.

Neue H3-Funktionen

Es wurden drei neue H3-Funktionen hinzugefügt: h3_try_coverash3, h3_try_coverash3string und h3_try_tessellateaswkb.

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:

  • mlflow-skinny von 2.15.1 auf 2.19.0

• Aktualisierte R-Bibliotheken:

• Aktualisierte Java-Bibliotheken:

Apache Spark

Databricks Runtime 16.3 umfasst Apache Spark 3.5.2. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 16.2 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-51594] [DBRRM-1604][sc-192125][SQL] Verwenden eines leeren Schemas beim Speichern einer Ansicht, die nicht mit Hive kompatibel ist
• [SPARK-51388] [SC-190503][sql] Verbessern der SQL-Fragmentverteilung in to_timestamp und UNION
• [SPARK-51394] [SC-190492][ml] Optimieren der zusätzlichen Shuffle-Funktion in Statistiktests
• [SPARK-51385] [SC-190486][sql] Normalisieren der in DeduplicateRelations hinzugefügten Projektion für die Deduplizierung der Ausgabe von untergeordneten Vereinigungen
• [SPARK-51357] [SC-190485][sql] Beibehaltung der Protokollierungsebene für Planänderungen für Ansichten
• [SPARK-50654] [SC-186686][ss] CommitMetadata sollte "stateUniqueIds" auf "None" in V1 festlegen.
• [SPARK-51362] [SC-190352][sql] Ändern Sie toJSON so, dass es die NextIterator-API verwendet zum Beseitigen von angrenzenden Datensatzabhängigkeiten
• [SPARK-51375] [SC-190355][sql][CONNECT] Unterdrücken von SparkConnect(Execution|Session)Manager.periodicMaintenance-Protokollnachrichten
• [SPARK-50596] [SC-184060][python] Upgrade Py4J von 0.10.9.7 auf 0.10.9.8
• [SPARK-51097] [SC-190456][Zurücksetzen] Rückgängigmachen der Änderung der RocksDB-Instanzmetriken
• [SPARK-51363] [SC-190343][sql]Desc As JSON-Clustering für Spaltennamen
• [SPARK-51373] [SC-190370] [SS] Entfernen der zusätzlichen Kopie für das Spaltenfamilienpräfix aus „ReplyChangelog“
• [SPARK-51378] [SC-190363][core] Wenden Sie die accumulableExcludeList von JsonProtocol auf ExecutorMetricsUpdate und TaskEndReason an.
• [SPARK-51369] [SC-190253][sql] Beheben des Problems, damit die FOR-Cursor-Variable mit Namen in gemischter Schreibweise funktioniert
• [SPARK-51381] [SC-190360][sql][CONNECT] Session ID auf der Spark Connect Session-Seite anzeigen
• [SPARK-51119] [SC-188491][sql] Leser für Ausführende, die EXISTS_DEFAULT auflösen, sollten keine Kataloge aufrufen
• [SPARK-51322] [SC-190013][sql] Bessere Fehlermeldung für Streaming-Unterabfrageausdruck
• [SPARK-50817] [SC-186642][ss] Beheben des Fehlers der RocksDB-Fehlerberichterstattung
• [SPARK-51370] [SC-190286] Verbesserungen der Code-Klarheit für INSERT INTO-Parsing-Codes in AstBuilder.scala
• [SPARK-51083] [SC-189217][core][16.x] JavaUtils so modifizieren, dass InterruptedExceptions nicht verschluckt werden
• [SPARK-51324] [SC-189997][sql] Behebt geschachtelte FOR-Anweisung, die einen Fehler auslöst, wenn leeres Ergebnis vorliegt
• [SPARK-49756] [SC-178793][sql] Postgres-Dialekt unterstützt Pushdown-Datetime-Funktionen.
• [SPARK-51270] [SC-190108][sql] Unterstützen des UUID-Typs in Variant
• [SPARK-51310] [SC-190018][sql] Auflösen des Typs der Standardzeichenfolge, die Ausdrücke erzeugt
• [SPARK-49488] [SC-176685][sql] MySQL-Dialekt unterstützt Pushdown-Datetime-Funktionen.
• [SPARK-50856] [DBR16.x][sc-189812][SS][Python][CONNECT] Spark Connect-Unterstützung für TransformWithStateInPandas in Python
• [SPARK-50553] [SC-190076][connect] Auslösen von InvalidPlanInput für ungültige Plannachricht
• [SPARK-51337] [16.x][sc-190105][SQL] Hinzufügen von maxRows zu CTERelationDef und CTERelationRef
• [SPARK-51281] [SC-190033][sql] DataFrameWriterV2 sollte die Option 'Pfad' beachten
• [SPARK-51323] [SC-190005][python] "total" in Py SQL-Metriken duplizieren
• [SPARK-48618] [SC-174007][sql] Nutzen Sie die in SQLException zurückgegebenen ErrorCode und SQLState, um Fehler genauer zu machen.
• [SPARK-47871] [SC-162873][sql] Oracle: TimestampType auf TIMESTAMP MIT LOKALER ZEITZONE abbilden
• [SPARK-50993] [SC-187319][sql] Verschieben von „nullDataSourceOption“ aus „QueryCompilationErrors“ in „QueryExecutionErrors“
• [SPARK-47761] [SC-162288][sql] Oracle: Unterstützung des Lesens von AnsiIntervalTypes
• [SPARK-51265] [SC-189826][sql] IncrementalExecution sollte den Befehlsausführungscode ordnungsgemäß festlegen.
• [SPARK-50785] [SC-189722][sql] Refactor FOR-Anweisung, um lokale Variablen ordnungsgemäß zu verwenden.
• [SPARK-51315] [SC-189838][sql] Das Standardmäßige Aktivierung von Sortierungen auf Objektebene
• [SPARK-51312] [SC-189824][sql] Beheben des Fehlers in createDataFrame aus RDD[Row]
• [SPARK-51305] [SC-189625][sql][CONNECT] Verbessern SparkConnectPlanExecution.createObservedMetricsResponse
• [SPARK-51313] [SC-189816][python] Zeitstempelformat für PySparkLogger korrigieren
• [SPARK-51095] [SC-189623][core][SQL] Einschließen des Anruferkontexts für HDFS-Überwachungsprotokolle für Anrufe vom Treiber
• [SPARK-51292] [SC-189566][sql] Entfernen sie unnötige Vererbung aus PlanTestBase, ExpressionEvalHelper und PlanTest
• [SPARK-50739] [SC-186903][sql][FOLLOW] Vereinfachung der ResolveRecursiveCTESuite mit DSL
• [SPARK-51097] [SC-189428] [SS] Hinzufügen von Zustandsspeicherinstanzmetriken für die zuletzt hochgeladene Snapshotversion in RocksDB
• [SPARK-49912] [SC-189615] Einfache CASE-Anweisung umzugestalten, um die Fallvariable nur einmal auszuwerten
• [SPARK-50655] [16x][sc-189235][SS] Verschieben der virtuellen Spaltenfamilien-bezogenen Zuordnung in die Datenbankebene statt in den Encoder
• [SPARK-51177] [SC-188989][python][CONNECT] Hinzufügen von InvalidCommandInput zum Spark Connect Python-Client
• [SPARK-51278] [SC-189608][python] Verwenden Sie die entsprechende Struktur des JSON-Formats für PySparkLogger
• [SPARK-48530] [SC-189357][sql] Unterstützung für lokale Variablen in SQL-Skripting
• [SPARK-51258] [SC-189551][sql] Entfernen sie unnötige Vererbung aus SQLConfHelper.
• [SPARK-50739] [SC-186818][sql] Rekursive CTE Analysetooländerungen zur Aufdeckung und Behebung der Rekursionskomponenten.
• [SPARK-51284] [SC-189483][sql] Beheben der SQL-Skriptausführung für leere Ergebnisse
• [SPARK-50881] [SC-188407][python] Verwenden Sie, sofern möglich, das zwischengespeicherte Schema in connect dataframe.py
• [SPARK-51274] [SC-189516][python] PySparkLogger sollte die erwarteten Schlüsselwortargumente berücksichtigen.
• [SPARK-50636] [SC-184783][sql] Erweitern von CTESubstitution.scala zur Berücksichtigung von Rekursionen
• [SPARK-50960] [SC-188821][python][CONNECT] Hinzufügen von InvalidPlanInput zum Spark Connect Python-Client
• [SPARK-51109] [SC-188394][sql] CTE in Unterabfrageausdruck als Gruppierungsspalte
• [SPARK-51067] [16.x][sc-188855][SQL] Zurücksetzen der Sortierung auf Sitzungsebene für DML-Abfragen und Anwenden der Sortierung auf Objektebene für DDL-Abfragen
• [SPARK-50849] [SC-189071][connect] Hinzufügen eines Beispielprojekts zum Veranschaulichen von Spark Connect Server Libraries
• [SPARK-51259] [SC-189344][sql] Umgestaltung der natürlichen Form und Verwendung von Verknüpfungsschlüsseln
• [SPARK-51185] [SC-188832][core] Rückgängig machen von Vereinfachungen an der PartitionedFileUtil-API, um die Speicheranforderungen zu reduzieren
• [SPARK-51237] [16x][sc-189028][SS] Fügen Sie API-Details für neue transformWithState-Hilfs-APIs nach Bedarf hinzu.
• [SPARK-51247] [SC-189236][sql] Verschieben Sie SubstituteExecuteImmediate in den Batch "Resolution" und bereiten Sie es für lokale Variablen im SQL-Scripting vor.
• [SPARK-50403] [SC-186416][sql] Beheben des Fehlers in parametrisierten EXECUTE IMMEDIATE
• [SPARK-50598] [SC-183992][sql] Eine erste, no-op PR, die bereits vorhandenen Klassen UnresolvedWith, CTERelationRef und CTERelationDef neue Parameter hinzufügt, um eine spätere Implementierung rekursiver CTEs zu ermöglichen.
• [SPARK-48114] [SC-189176][sql] Verschieben der Unterabfrageüberprüfung aus CheckAnalysis
• [SPARK-50767] [SC-189169][sql] Entfernen sie Codegen von from_json
• [SPARK-51242] [SC-189200][conenct][PYTHON] Verbessern der Spaltenleistung, wenn DQC deaktiviert ist
• [SPARK-51202] [SC-189208][ml][PYTHON] Übergabe der Sitzung an Python-Schreiber des Meta-Algorithmus
• [SPARK-51246] [SC-189175][sql] Erzwingen der Produktion von InTypeCoercion behoben Casts
• [SPARK-51192] [SC-189070][connect] Freigeben von processWithoutResponseObserverForTesting in SparkConnectPlanner
• [SPARK-51183] [SC-189010][sql] Link zu Parkettspezifikation in Variant-Dokumenten
• [SPARK-51189] [SC-188829][core] Fördern Sie JobFailed zu DeveloperApi
• [SPARK-51184] [SC-188801][core] Entfernen der TaskState.LOST-Logik aus TaskSchedulerImpl
• [SPARK-51218] [SC-189012][sql] Vermeidung von map/flatMap in NondeterministicExpressionCollection
• [SPARK-51228] [SC-189022][sql] Einführung der Normalisierung von Unterabfragen in NormalizePlan
• [SPARK-51113] [SC-188883][sql] Korrigieren der Korrektheit mit UNION/EXCEPT/INTERSECT innerhalb einer Ansicht oder EXECUTE IMMEDIATE
• [SPARK-51209] [SC-188987][core] Verbessern getCurrentUserName, um Java 24+ zu verarbeiten
• [SPARK-50953] [SC-188409][python][CONNECT] Fügen Sie Unterstützung für nicht literale Pfade in VariantGet hinzu.
• [SPARK-51181] [SC-188854] [SQL] Erzwingen des Determinismus beim Abrufen nicht deterministischer Ausdrücke aus logischem Plan
• [SPARK-50872] [SC-186901][sql][UI] Bewirkt, dass sich der ToPrettyString-Ausdruck nicht auf die Ui-Präsentation auswirkt
• [SPARK-51150] [SC-188512][ml] Explizites Weitergeben der Sitzung an Autoren von Meta-Algorithmen
• [SPARK-51008] [SC-188655][sql] Ergebnisstufe für AQE hinzufügen
• [SPARK-51114] [SC-188633] [SQL] Umgestaltung der PullOutNondeterministic-Regel
• [SPARK-51160] [SC-188666][sql] Umgestaltung der Literalfunktionsauflösung
• [SPARK-51127] [SC-188366][python] Deaktivieren des Python-Workers beim Leerlauftimeout
• [SPARK-51099] [SC-188350][python] Fügen Sie Protokolle hinzu, wenn der Python-Worker feststeckt
• [SPARK-51157] [SC-188536][sql] Fehlende @varargs Scala-Anmerkung für Scala-Funktions-APIs hinzufügen
• [SPARK-51155] [CORE] Erzwingen der Anzeige der Gesamtlaufzeit nach dem Beenden von SparkContext
• [SPARK-51140] [SC-188487][ml] Sortieren Sie die Params vor dem Speichern.
• [SPARK-51135] [SC-188392][sql] Beheben des Problems mit ViewResolverSuite für ANSI-Modi
• [SPARK-51057] [SC-188191][ss] Entfernen der Scala-optionenbasierten Varianten-API für Value State
• [SPARK-51131] [SC-188359][sql] Auslösen einer Ausnahme, wenn sql-Skript in EXECUTE IMMEDIATE Befehl gefunden wird
• [SPARK-51048] [SC-188369][core] Unterstützung beim Beenden des Java Spark-Kontexts mit Exit-Code
• [SPARK-50234] [SC-181433][python][SQL] Verbessern der Fehlermeldung und des Tests für das Transponieren der DataFrame-API
• [SPARK-51074] [SC-188153][ss][CONNECT] Festlegen einer Timeout-Zeit für die Kommunikation von Init-Konfigurationen im Streaming von foreachBatch
• [SPARK-48353] [SC-187986][sql] Einführung des Ausnahmebehandlungsmechanismus in SQL-Skripting
• [SPARK-50596] [SC-184060][python] Upgrade Py4J von 0.10.9.7 auf 0.10.9.8
• [SPARK-51043] [SC-187928][ss][CONNECT] Fein abgestufte Benutzerprotokollierung für Spark Connect foreachBatch
• [SPARK-51084] [ES-1336002][sc-188171][SQL] Eine entsprechende Fehlerklasse für negativeScaleNotAllowedError zuweisen
• [SPARK-51042] [SC-188216][sql] Lesen und Schreiben der Felder für Monat und Tage von Intervallen mit einem Aufruf in Unsafe*-Klassen
• [SPARK-51010] [SC-188188][sql] Beheben des Fehlers, bei dem AlterColumnSpec nicht ordnungsgemäß den behobenen Status meldet
• [SPARK-50799] [SC-188169][python] Überarbeitung der Docstrings von „rlike“, „length“, „octet_length“, „bit_length“ und „transform“
• [SPARK-51061] [SC-187910][core] Informationen zu Jetty in der REST-Übermittlungs-API ausblenden
• [SPARK-51055] [SC-187993][ss][CONNECT] Streaming foreachBatch sollte die Init-Logik innerhalb eines try aufrufen
• [SPARK-50982] [SC-188059][sql] Unterstützung für mehr SQL/DataFrame-Lesepfad-Funktionalität in Single-Pass-Analysetool
• [SPARK-51081] [SC-188092][sql] Umgestaltung von Join.output für einen Single Pass-Resolver
• [SPARK-51064] [SC-188039][sql] Standardmäßig spark.sql.sources.v2.bucketing.enabled aktivieren
• [SPARK-50883] [LC-5998][sc-187120][SQL] Unterstützung beim Ändern mehrerer Spalten im selben Befehl
• [SPARK-51034] [SC-187985][sql] Neu formatieren der Beschreibung als JSON-Statistik-Diktat für die bessere Analyse
• [SPARK-51058] [SC-187961][python] Vermeiden Sie die Verwendung von jvm. SparkSession
• [SPARK-51056] [SC-187871][python] Vermeiden Sie unnötige Objekterstellung in SparkSession.getActiveSession.
• [SPARK-50967] [SC-187860][ss] Option hinzufügen, um das Emittieren von Startzustandsschlüsseln innerhalb des FMGWS-Operators zu überspringen
• [SPARK-50813] [SC-186457][sql] Nur nicht qualifizierte Bezeichnungsnamen in SQL-Skripts zulassen
• [SPARK-50858] [SC-187399][python] Hinzufügen der Konfiguration zum Ausblenden der Python-UDF-Stapelablaufverfolgung
• [SPARK-50853] [SC-187219][core] Schließen des temporären Shuffle-Dateischreibkanals
• [SPARK-50663] [SC-187541][sql] Grammatik der IF ELSE-Anweisung korrigieren (ELSE IF -> ELSEIF)
• [SPARK-51027] [SC-187502][sql] Verhindern des Aufrufs von HiveClient.runSqlHive in nicht testbasierten Umgebungen
• [SPARK-50977] [SC-187400][sc-187006][CORE] Verbessern der Verfügbarkeit von Logik zur Aggregation von Akkumulatorergebnissen
• [SPARK-51001] [SC-187442][sql] Die ArrayEquals-Funktion verfeinern
• [SPARK-50962] [SC-187168][sql] Vermeiden von StringIndexOutOfBoundsException in AttributeNameParser
• [SPARK-50683] [SC-184728][sql] Hinzufügen der allgemeinen Formulierung inline in „Wenn“, falls einmal verwendet
• [SPARK-50959] [SC-187139][ml][PYTHON] Ignorieren er Ausnahme von JavaWrapper.del
• [SPARK-50558] [SC-187337][sql] Einführung von simpleString für ExpressionSet
• [SPARK-50648] [SC-184706][core] Bereinigen von Zombie-Aufgaben in nicht ausgeführten Phasen, wenn der Auftrag abgebrochen wird
• [SPARK-50990] [SC-187316][sql] Umgestaltung der UpCast-Auflösung aus dem Analyzer
• [SPARK-49491] [SC-184714][sql] Ersetzen Von AnyRefMap durch HashMap
• [SPARK-50685] [SC-186941][python] Verbessern der Py4J-Leistung durch Nutzung von getattr
• [SPARK-50688] [SC-184666][sql] Beseitigen der Mehrdeutigkeit bei fehlendem rowTag im XML-Schreibpfad
• [SPARK-50976] [SC-187265][ml][PYTHON] Korrektur des Speicherns/Ladens von TargetEncoder
• [SPARK-49639] [SC-187297][sql] Entfernen des ANSI-Konfigurationsvorschlags in INVALID_INTERVAL_WITH_MICROSECONDS_ADDITION
• [SPARK-50118] [SC-187110] Rückgängig machen von „[CONNET] Zurücksetzen des isolierten Status-Caches, wenn Aufgaben ausgeführt werden“
• [SPARK-47579] [16.x][sc-166971][CORE][part3] Spark core: Migrieren von logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-50669] [SC-184566][es-1327450][PHOTON][test-only] Erweitern der Photon-Unit-Tests für TimestampAdd-Ausdruck mit Long-Typen
• [SPARK-50909] [SC-187119][python] Einrichten der Fehlerbehandlung in PythonPlannerRunners
• [SPARK-50774] [SC-186349][sql] Sortiernamen zentral an einem Ort bündeln
• [SPARK-50804] [SC-186684][sql] to_protobuf() sollte MatchError nicht auslösen
• [SPARK-50957] [SC-187136][protobuf] „protobuf.utils.SchemaConverters“ als privat deklarieren
• [SPARK-50900] [SC-186948][ml][CONNECT] Hinzufügen von VectorUDT und MatrixUDT zu ProtoDataTypes
• [SPARK-50895] [SC-186998][sql] Erstellen einer allgemeinen Schnittstelle für Ausdrücke, die standardmäßigen Zeichenfolgentyp erzeugen
• [SPARK-50558] [SC-184216][sql] Fügen Sie konfigurierbare Protokollierungsgrenzwerte für die Anzahl der Elemente in InSet und In hinzu.
• [SPARK-50875] [SC-186951][sql][16.x] Hinzufügen von RTRIM-Kollationen zu TVF
• [SPARK-50579] [SC-183826][sql] Korrektur von truncatedString

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 24.04.2 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die Databricks-Runtime-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu17.54+21-CA
• Skala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2024-08-04 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)