Databricks Runtime 12.1 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 12.1, unterstützt von Apache Spark 3.3.1.

Diese Version wurde von Databricks im Januar 2023 veröffentlicht.

Neue Features und Verbesserungen

• Unterstützte Delta Lake-Tabellenfeatures für die Protokollverwaltung
• Predictive I/O für Updates befindet sich in der öffentlichen Vorschauversion
• Katalog-Explorer ist jetzt für alle Personas verfügbar.
• Unterstützung für mehrere zustandsbehaftete Operatoren in einer einzelnen Streamingabfrage
• Unterstützung von Protokollpuffern in Public Preview
• Unterstützung für die Authentifizierung beim Confluent Schema Registry
• Unterstützung für das Freigeben des Tabellenverlaufs mit Delta Sharing-Freigaben
• Unterstützung für das Streaming mit Delta Sharing-Freigaben
• Tabellenversion mit Zeitstempel wird in Katalogen jetzt für Delta Sharing-Tabellen unterstützt
• Unterstützung für WHEN NOT MATCHED BY SOURCE für MERGE INTOMERGE INTO
• Optimierte Statistiksammlung für CONVERT TO DELTA
• Unity Catalog-Unterstützung für das Rückgängigmachen der Löschung von Tabellen

Delta Lake-Tabellenfeatures, die für die Protokollverwaltung unterstützt werden

Azure Databricks hat Support für Delta Lake-Tabellenfeatures eingeführt, die granulare Flags einführen, die angeben, welche Features von einer bestimmten Tabelle unterstützt werden. Siehe Delta Lake Featurekompatibilität und Protokolle.

Predictive I/O für Updates befindet sich in der öffentlichen Vorschauversion

Vorhersage-E/A beschleunigt jetzt DELETE-, MERGE-, und UPDATE-Vorgänge für Delta-Tabellen mit aktivierten Löschvektoren für Photon-fähiges Compute. Siehe Was ist Predictive I/O?.

Der Katalog-Explorer ist jetzt für alle Personas verfügbar.

Der Katalog-Explorer ist jetzt für alle Azure Databricks-Personas verfügbar, wenn Databricks Runtime 7.3 LTS und höher verwendet wird.

Unterstützung für mehrere zustandsbehaftete Operatoren in einer einzelnen Streamingabfrage

Benutzende können jetzt zustandsbehaftete Operatoren mit dem Anfügemodus in der Streamingabfrage verketten. Nicht alle Operatoren werden vollständig unterstützt. Stream-Stream-Zeitintervall-Join und flatMapGroupsWithState erlauben nicht, dass andere zustandsbehaftete Operatoren verkettet werden.

Unterstützung von Protokollpuffern in Public Preview

Sie können die Funktionen from_protobuf und to_protobuf verwenden, um Daten zwischen Binär- und Strukturtypen auszutauschen. Weitere Informationen finden Sie unter Lesen und Schreiben von Protokollpuffern.

Unterstützung der Authentifizierung per Schemaregistrierung von Confluent

Die Azure Databricks-Integration mit Confluent Schema Registry unterstützt jetzt externe Schemaregistrierungsadressen mit Authentifizierung. Dieses Feature ist für die Funktionen from_avro, to_avro, from_protobuf und to_protobuf verfügbar. Sehen Sie Protobuf oder Avro.

Unterstützung für das Freigeben des Tabellenverlaufs mit Delta Sharing-Freigaben

Sie können jetzt mithilfe von Delta Sharing eine Tabelle mit dem vollständigen Verlauf freigeben, sodass Empfänger Zeitreiseabfragen ausführen und die Tabelle mithilfe von strukturiertem Spark-Streaming abfragen können. WITH HISTORY wird anstelle von CHANGE DATA FEEDempfohlen, obwohl letzteres weiterhin unterstützt wird. Siehe ALTER SHARE und Hinzufügen von Tabellen zu einer Freigabe.

Unterstützung für Streaming mit Delta Sharing-Freigaben

Strukturiertes Spark-Streaming funktioniert jetzt mit dem Format deltasharing in einer Delta Sharing-Quelltabelle, die mittels WITH HISTORY freigegeben wurde.

Tabellenversion mit Zeitstempel wird in Katalogen jetzt für Delta Sharing-Tabellen unterstützt

Sie können nun die SQL-Syntax TIMESTAMP AS OF in SELECT Anweisungen verwenden, um die Version einer Delta-Freigabetabelle anzugeben, die in einem Katalog eingebunden ist. Tabellen müssen mit WITH HISTORY freigegeben werden.

Unterstützung für WHEN NOT MATCHED BY SOURCE für MERGE INTOMERGE INTO

Sie können jetzt WHEN NOT MATCHED BY SOURCE-Klauseln bei MERGE INTO hinzufügen, um Zeilen in der ausgewählten Tabelle zu aktualisieren oder zu löschen, die basierend auf der Zusammenführungsbedingung keine Übereinstimmungen in der Quelltabelle haben. Die neue Klausel ist in SQL, Python, Scala und Java verfügbar. Siehe MERGE INTO.

Optimierte Statistikensammlung für CONVERT TO DELTA

Die Statistiksammlung für den Vorgang CONVERT TO DELTA ist jetzt viel schneller. Dadurch verringert sich die Anzahl von Workloads, die ggf. NO STATISTICS nutzen, was die Effizienz erhöht.

Unity Catalog-Unterstützung für das Rückgängigmachen der Löschung von Tabellen

Dieses Feature wurde zunächst als Public Preview veröffentlicht. Ab dem 25. Oktober 2023 ist es allgemein verfügbar.

Sie können jetzt die Löschung einer verwalteten oder externen Tabelle innerhalb von sieben Tagen nach dem Löschen in einem vorhandenen Schema rückgängig machen. Siehe UNDROP und SHOW TABLES DROPPED.

Bibliotheksmodernisierungen

• Aktualisierte Python-Bibliotheken:
  • filelock von 3.8.0 auf 3.8.2
  • platformdirs von 2.5.4 auf 2.6.0
  • setuptools: von 58.0.4 auf 61.2.0
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • io.delta.delta-sharing-spark_2.12 von 0.5.2 auf 0.6.2
  • org.apache.hive.hive-storage-api von 2.7.2 auf 2.8.1
  • org.apache.parquet.parquet-column von 1.12.3-databricks-0001 auf 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common von 1.12.3-databricks-0001 auf 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding von 1.12.3-databricks-0001 auf 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures von 1.12.3-databricks-0001 auf 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop von 1.12.3-databricks-0001 auf 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson von 1.12.3-databricks-0001 auf 1.12.3-databricks-0002
  • org.tukaani.xz von 1.8 auf 1.9

Apache Spark

Databricks Runtime 12.1 enthält Apache Spark 3.3.1. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 12.0 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-41405] [SC-119769][12.1.0] Wiederherstellen von „[SC-119411][sql] Zentralisierung der Spaltenauflösungslogik“ und „[SC-117170][SPARK-41338][SQL] Auflösen äußerer Referenzen und normaler Spalten im selben Analyse-Batch“
• [SPARK-41405] [SC-119411][sql] Zentralisierung der Logik zur Spaltenauflösung
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand sollte das Überschreiben-Flag ordnungsgemäß festlegen.
• [SPARK-41659] [SC-119526][connect][12.X] Doctests in pyspark.sql.connect.readwriter aktivieren
• [SPARK-41858] [SC-119427][sql] Korrigieren der ORC-Leser-Perf-Regression aufgrund der DEFAULT-Wertfunktion
• [SPARK-41807] [SC-119399][core] Nicht vorhandene Fehlerklasse entfernen: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Weisen Sie _LEGACY_ERROR_TEMP_2141 einen Namen zu
• [SPARK-41571] [SC-119362][sql] Name für _LEGACY_ERROR_TEMP_2310 zuweisen
• [SPARK-41810] [SC-119373][connect] Namen aus einer Liste von Wörterbüchern in SparkSession.createDataFrame ableiten
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Spark Connect-Dokumentation und Skript nach dev/ und in die Python-Dokumentation verschieben.
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Setup des ersten Clientmoduls für Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] Stufenbenutzeroberfläche kann für den Proxy in einer bestimmten Yarn-Umgebung nicht geladen werden
• [SPARK-41481] [SC-118150][core][SQL] Wiederverwenden von INVALID_TYPED_LITERAL anstelle von _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Überarbeitung der Behandlung zustandsabhängiger Ausdrücke
• [SPARK-41726] [SC-119248][sql] Entfernen OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Unterstützen parametrisierter SQL-Abfragen durch sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementieren von DataFrame.sampleBy und DataFrame.stat.sampleBy
• [SPARK-41407] [sc-119402][SC-119012][SQL][all tests] v1 herausziehen und in WriteFiles schreiben
• [SPARK-41565] [SC-118868][sql] Fügen Sie die Fehlerklasse UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] DECODE-Funktion gibt beim Übergeben von NULL falsche Ergebnisse zurück.
• [SPARK-41554] [SC-119274] Korrektur der Änderung der Dezimalskala bei Verkleinerung der Skala um m…
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementierung von DataFrame.freqItems und DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Erneute Aktivierung von Doc-Tests und Hinzufügen des fehlenden Spalten-Alias zu count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementieren von DataFrame.approxQuantile und DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Funktion from_json soll DataType Schema unterstützen
• [SPARK-41804] [SC-119382][sql] Wählen Sie die richtige Elementgröße in InterpretedUnsafeProjection für das Array von UDTs aus.
• [SPARK-41786] [SC-119308][connect][PYTHON] Deduplizieren von Hilfsfunktionen
• [SPARK-41745] [SC-119378][spark-41789][12.X] createDataFrame soll eine Liste von Zeilen unterstützen
• [SPARK-41344] [SC-119217][sql] Fehler klarer machen, wenn die Tabelle nicht im Katalog "SupportsCatalogOptions" gefunden wurde
• [SPARK-41803] [SC-119380][connect][PYTHON] Fügen Sie fehlende Funktion log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] JSON-Funktionen sollen Optionen unterstützen
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Ermöglichen Sie __getitem__, die Funktionen Filtern und Auswählen zu unterstützen
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Spaltenvorgang soll None unterstützen
• [SPARK-41440] [SC-119279][connect][PYTHON] Vermeiden Sie den Cache-Operator beim allgemeinen Sampling.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implementieren von GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Unterstützung für Protokollerweiterungen in Beziehung und Ausdruck
• [SPARK-41417] [SC-118000][core][SQL] Umbenennen _LEGACY_ERROR_TEMP_0019 in INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Ordnungsgemäße Fehlerbehandlung für Spark Connect Server /Client
• [SPARK-41292] [SC-119357][connect][12.X] Unterstützungsfenster in pyspark.sql.window-Namespace
• [SPARK-41493] [SC-119339][connect][PYTHON] CSV-Funktionen sollen Optionen unterstützen
• [SPARK-39591] [SC-118675][ss] Asynchrones Fortschritts-Tracking
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implementieren Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementieren von DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Aktivieren von Doctests in pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Mischen der ClientId im SparkSession-Cache
• [SPARK-41354] [SC-119194][connect] RepartitionByExpression zu proto hinzufügen
• [SPARK-41784] [SC-119289][connect][PYTHON] Fehlende __rmod__ in Spalte hinzufügen
• [SPARK-41778] [SC-119262][sql] Fügen Sie ein Alias "reduce" zu ArrayAggregate hinzu
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementieren von DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Den internen Namen des Zeichenfolgenvorgangs mit FunctionRegistry konsistent machen
• [SPARK-41734] [SC-119160][connect] Hinzufügen einer übergeordneten Nachricht für Katalog
• [SPARK-41742] [SC-119263] Unterstützung von df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Korrigieren Sie arithmetische Operationen: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Umbenennen UNSUPPORTED_CORRELATED_REFERENCE in CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Korrigieren von Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Die Implementierung der unwrap_udt Funktion
• [SPARK-41333] [SC-119195][spark-41737] Implementieren von GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Korrigieren von Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Unterstützung der impliziten Auflösung des Alias von lateralen Spalten für Aggregat
• [SPARK-41529] [SC-119207][connect][12.X] SparkSession.stop implementieren
• [SPARK-41729] [SC-119205][core][SQL][12.x] Umbenennen _LEGACY_ERROR_TEMP_0011 in UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Drucken und repr_html bei LogicalPlan deduplizieren
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementieren von Column.name
• [SPARK-41733] [SC-119163][sql][SS] Anwenden einer baumstrukturmusterbasierten Kürzung für die Regel ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Anwenden der baumstrukturbasierten Bereinigung für die Regel SessionWindowing
• [SPARK-41498] [SC-119018] Metadaten durch Union weiterleiten
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementieren des Spaltenaccessors
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types sollte unterstützen ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementieren der Funktion format_number
• [SPARK-41707] [SC-119141][connect][12.X] Implementieren der Katalog-API in Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementieren von Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON] Funktion hoher Ordnung: array_compact-Implementierung
• [SPARK-41518] [SC-118453][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Funktion sequence implementieren
• [SPARK-41703] [SC-119060][connect][PYTHON] Kombinieren von NullType und typed_null in Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Implementieren von drei fehlenden Zeitfensterfunktionen
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementieren von Partitionstransformationsfunktionen
• [SPARK-41413] [SC-118968][sql] Vermeiden von Mischvorgängen im speicherpartitionierten Join, wenn die Partitionsschlüssel nicht übereinstimmen, die Join-Ausdrücke aber kompatibel sind
• [SPARK-41700] [SC-119046][connect][PYTHON] Entfernen FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types sollte MapType unterstützen
• [SPARK-41702] [SC-119049][connect][PYTHON] Hinzufügen ungültiger Spaltenvorgänge
• [SPARK-41660] [SC-118866][sql] Gibt nur Metadatenspalten weiter, wenn sie verwendet werden
• [SPARK-41637] [ SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implementieren eines Akkumulators zum Sammeln der Metriken pro Mapperzeilenanzahl
• [SPARK-41647] [SC-119064][connect][12.X] Deduplizieren von docstrings in pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Spaltenvorgang soll decimal unterstützen
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementieren von rollup, cube und pivot
• [SPARK-41635] [ SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Deduplizieren von docstrings in pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Ausdrücke in expressions.py verschieben
• [SPARK-41687] [SC-118949][connect] Deduplizieren von docstrings in pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Deduplizieren von docstrings in pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] GroupedData nach group.py ausklammern
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementieren Window Funktionen
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Spaltenvorgang soll datetime unterstützen
• [SPARK-41672] [SC-118929][connect][PYTHON] Aktivieren Der veralteten Funktionen
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementieren von Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementieren der Funktion broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Deduplizieren von docstrings in pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Deduplizieren Sie Docstrings in pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Deduplizieren von docstrings in pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implementieren Sie die restlichen Lambda-Funktionen
• [SPARK-41441] [SC-118557][sql] Unterstützung von Generieren ohne erforderliche Ausgabe von untergeordneten Elementen zum Hosten äußerer Verweise
• [SPARK-41669] [SC-118923][sql] Frühe Bereinigung in canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Entfernen Sie ScalaReflectionLock aus SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementieren von DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Erste LambdaFunction Implementierung
• [SPARK-41539] [SC-118802][sql] Neu zuordnen von Statistiken und Einschränkungen für die Ausgabe im logischen Plan für LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Unterstützung für OneOf-Felder und Rekursionsprüfungen
• [SPARK-41528] [SC-118769][connect][12.X] Zusammenführung des Namensraums der Spark Connect- und PySpark-API
• [SPARK-41568] [SC-118715][sql] Weisen Sie _LEGACY_ERROR_TEMP_1236 einen Namen zu
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementieren von DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Fügen Sie Spark Connect und Protobuf zu setup.py hinzu, indem Sie Abhängigkeiten angeben.
• [SPARK-27561] [SC-101081][12.x][SQL] Unterstützung der impliziten Auflösung des Alias von lateralen Spalten für Projekt
• [SPARK-41535] [SC-118645][sql] Setzen Sie null korrekt für Kalenderintervallfelder in InterpretedUnsafeProjection und InterpretedMutableProjection.
• [SPARK-40687] [SC-118439][sql] Unterstützung für die Datenmaskierung der integrierten Funktion 'mask'
• [SPARK-41520] [SC-118440][sql] Splitte die AND_OR TreePattern in separate AND- und OR-TreePatterns
• [SPARK-41349] [SC-118668][connect][PYTHON] DataFrame.hint implementieren
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types sollte StructType unterstützen.
• [SPARK-41334] [SC-118549][ connect][PYTHON] Verschieben des SortOrder-Proto von Beziehungen zu Ausdrücken
• [SPARK-41387] [SC-118450][ss] Bestätigen des aktuellen Endversatzes aus der Kafka-Datenquelle für Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Benennen Sie _LEGACY_ERROR_TEMP_1180 in UNEXPECTED_INPUT_TYPE um, und entfernen Sie _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implementieren der Spalte {when, otherwise} und der Funktion when mit UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Korrektur des Aufrufs der falschen Methode für untergeordnete Elemente in SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementieren von DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Fügen Sie "spark.sql.json.enablePartialResults" hinzu, um JSON-Teilergebnisse zu aktivieren/zu deaktivieren.
• [SPARK-41437] Wiederherstellen von „[SC-117601][sql] Die Eingabeabfrage nicht zweimal für v1-Schreibfallback optimieren“
• [SPARK-41472] [SC-118352][CONNECT][PYTHON] Implementieren Sie die restlichen Zeichenfolgen-/Binärfunktionen
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementieren von Column.isin
• [SPARK-32170] [SC-118384] [CORE] Verbesserung der Spekulation anhand der Metriken für Aufgaben in Phasen.
• [SPARK-41524] [SC-118399][ss] Unterscheiden von SQLConf und extraOptions in StateStoreConf für die Verwendung in RocksDBConf
• [SPARK-41465] [SC-118381][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap-Unterstützung für ignoresDuplicatedKey
• [SPARK-41409] [SC-118302][core][SQL] Umbenennen _LEGACY_ERROR_TEMP_1043 in WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementieren von DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Optimieren Sie die Eingabeabfrage nicht zweimal für v1-Rückschreibfallback.
• [SPARK-41314] [SC-117172][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Umgestalten von LiteralExpression zur Unterstützung von DataType
• [SPARK-41448] [SC-118046] Erstellen konsistenter MR-Auftrags-IDs in FileBatchWriter und FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Verbessern der Leistung von try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementieren der Funktionen P~Z von collection
• [SPARK-41478] [SC-118167][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Fehlermeldung für NUM_COLUMNS_MISMATCH umgestalten, damit sie allgemeiner wird
• [SPARK-41404] [SC-118016][sql] Umgestaltung von ColumnVectorUtils#toBatch, damit ColumnarBatchSuite#testRandomRows einen primitiveren dataType testen kann
• [SPARK-41468] [SC-118044][sql] PlanExpression-Behandlung in EquivalentExpressions beheben
• [SPARK-40775] [SC-118045][sql] Behebung doppelter Beschreibungseinträge für V2-Datei-Scans
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementieren von MISC- Funktionen
• [SPARK-41459] [SC-118005][sql] Korrektur der leeren Ausgabe des Vorgangsprotokolls des Thrift-Servers
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection sollte setDecimal verwenden, um Nullwerte für Dezimalstellen in einer unsicheren Zeile festzulegen.
• [SPARK-41376] [SC-117840][core][3.3] Korrigieren Sie die Logik der Netty preferDirectBufs-Überprüfung beim Start des Executors
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementieren von collection Funktionen: E~M
• [SPARK-41389] [SC-117426][core][SQL] Wiederverwenden von WRONG_NUM_ARGS anstelle von _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Datums- und Zeitstempeltyp können in TimestampNTZ umgewandelt werden
• [SPARK-41435] [SC-117810][sql] Ändern, um invalidFunctionArgumentsError für curdate() aufzurufen, wenn expressions nicht leer ist
• [SPARK-41187] [SC-118030][core] LiveExecutor MemoryLeak in AppStatusListener, wenn ExecutorLost auftritt
• [SPARK-41360] [SC-118083][core] Vermeiden der erneuten Registrierung von BlockManager, wenn der Executor verloren gegangen ist
• [SPARK-41378] [SC-117686][sql] Unterstützung von Spaltenstatistiken in DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Außerkraftsetzung von prettyName von StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementieren von Datums-/Zeitstempelfunktionen
• [SPARK-41329] [SC-117975][connect] Auflösen von Zirkelimporten in Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Richtig den Datentyp von Literalzahlen ableiten
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] createDataFrame soll Schemata und weitere Eingabedatensatztypen unterstützen
• [SPARK-41475] [SC-117997][connect] Korrektur von Lint-scala-Befehlsfehler und Tippfehler
• [SPARK-38277] [SC-117799][ss] Löschen des Schreibbatches nach dem Commit des RocksDB-Zustandsspeichers
• [SPARK-41375] [SC-117801][ss] Leere neueste KafkaSourceOffset vermeiden
• [SPARK-41412] [SC-118015][connect] Implementieren von Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementieren von DataFrame.melt und DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Umgestalten von Spaltentests für test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Spalte sollte != Operator unterstützen
• [SPARK-40697] [SC-117806][sc-112787][SQL] Leseseitige Zeichenauffüllung hinzufügen, um externe Datendateien abzudecken
• [SPARK-41349] [SC-117594][connect][12.X] Implementieren von DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Auflösen äußerer Verweise und normaler Spalten im selben Analysebatch
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementieren der Funktionen A~C von collection
• [SPARK-41445] [SC-117802][connect] Implementieren von DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char sollte null zurückgeben, wenn das Format null ist.
• [SPARK-41444] [SC-117796][connect] Unterstützung von read.json()
• [SPARK-41398] [SC-117508][sql] Lockerung der Einschränkungen für den Speicherpartitionierungs-Join, wenn die Partitionsschlüssel nach der Laufzeitfilterung nicht übereinstimmen
• [SPARK-41228] [SC-117169][sql] Umbenennen und Verbessern der Fehlermeldung für COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementieren der Funktionen count_distinct und sum_distinct
• [SPARK-41433] [SC-117596][connect] Max Arrow-Batchgröße konfigurierbar machen
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementieren eines Teils von Zeichenfolgen-/Binärfunktionen
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementiere product Funktion
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementieren von DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() sollte kompatibel sein
• [SPARK-41369] [SC-117584][connect] Connect Common zum Shaded Jar der Server hinzufügen
• [SPARK-41411] [SC-117562][ss] Fehlerbehebung bei der Unterstützung des Wasserzeichens für mehrere zustandsbehaftete Operatoren
• [SPARK-41176] [SC-116630][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementieren von Aggregationsfunktionen
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementieren normaler Funktionen
• [SPARK-41305] [SC-117411][connect] Verbessern der Dokumentation für den Befehls-Proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Implementieren von DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Bereitstellen einer geklonten Spark-Sitzung in DataFrame in der Benutzerfunktion für die foreachBatch-Senke in PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Umbenennen von CAST_WITH_FUN_SUGGESTION in CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refactor die ColumnVectorUtils#populate-Methode, um PhysicalDataType anstelle von DataType zu verwenden.
• [SPARK-41355] [SC-117423][sql] Problemumgehung bei der Überprüfung von Hive-Tabellennamen
• [SPARK-41390] [SC-117429][sql] Aktualisieren Sie das Skript, das zum Generieren der register-Funktion in UDFRegistration verwendet wird.
• [SPARK-41206] [SC-117233][sc-116381][SQL] Benennen Sie die Fehlerklasse _LEGACY_ERROR_TEMP_1233 in COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementieren mathematischer Funktionen
• [SPARK-40970] [SC-117308][connect][PYTHON] Unterstützung von Liste[Column] beim Join-Argument
• [SPARK-41345] [SC-117178][connect] Hinweis zu Connect Proto hinzufügen
• [SPARK-41226] [SC-117194][sql][12.x] Umgestalten von Spark-Typen durch Einführung physischer Typen
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Hinzufügen grundlegender Unterstützung für DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Hinzufügen der Umwandlung in ein Ausdrucks-Proto
• [SPARK-41323] [SC-117128][sql] Unterstützung von current_schema
• [SPARK-41339] [SC-117171][sql] Schließen Sie den RocksDB-Schreibbatch, und erstellen Sie den RocksDB-Schreibbatch neu, anstatt einfach zu löschen.
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementieren von DataFrame cross join
• [SPARK-41346] [SC-117176][connect][PYTHON] Implementieren der Funktionen asc und desc
• [SPARK-41343] [SC-117166][connect] Verschieben des FunctionName-Parsings auf die Serverseite
• [SPARK-41321] [SC-117163][connect] Unterstützung eines Zielfelds für UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Verwenden Sie die Fehlerklasse UNSUPPORTED_DATATYPE für _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Wiederverwenden INVALID_SCHEMA.NON_STRING_LITERAL anstelle von _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Optimieren der Konstruktorverwendung von StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Unterstützung von IsNull und IsNotNull in Spalten
• [SPARK-41332] [SC-117131][connect][PYTHON] Beheben nullOrdering in SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Korrektur von fehlendem avg() für GroupBy in DF
• [SPARK-41327] [SC-117137][core] Korrektur von SparkStatusTracker.getExecutorInfos durch Ein-/Ausschalten der HeapStorageMemory-Info
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementierung von DataFrame.replace und DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Fügen Sie der Spalte logische und Zeichenfolgen-API hinzu
• [SPARK-41331] [SC-117127][connect][PYTHON] Fügen Sie orderBy und drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal sollte sicherstellen, dass die Sperre ordnungsgemäß entsperrt ist.
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] "Spalte" zur API-Kompatibilität umgestalten
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implementieren von DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Fügen Sie die Fehlerklasse INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Wiederverwenden von INVALID_SCHEMA anstelle von _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Cast NumPy-Instanzen in Python-Grundtypen im GroupState-Update
• [SPARK-41174] [SC-116609][core][SQL] Weitergabe einer Fehlerklasse an Benutzer wegen ungültigem format von to_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Unterstützung von Literal für weitere Datentypen hinzufügen
• [SPARK-41326] [SC-116972] [CONNECT] Korrektur für fehlende Eingabe bei der Deduplizierung
• [SPARK-41316] [SC-116900][sql] Ermöglichen von Tail-Rekursion, wenn möglich
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Unterstützung von Zeichenfolgenausdrücken im Filter
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implementieren von DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrieren der Zuordnungsoptionenfehler zu Fehlerklassen
• [SPARK-40940] [SC-115993][12.x] Entfernen mehrfach zustandsbehafteter Operatorüberprüfungen für Streamingabfragen.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implementieren von DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti aktualisiert numOutputRows nicht, wenn Codegen deaktiviert ist.
• [SPARK-41148] [SC-116878][connect][PYTHON] Umsetzung von DataFrame.dropna und DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Fügen Sie die Fehlerklasse FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Verbessern von DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Homogenisieren des Verhaltens für SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Verbessern der Proto-Dokumentation zum Connect-Ausdruck
• [SPARK-41280] [SC-116733][connect] Implementieren von DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Nicht gesetztes Schema wird als Schema interpretiert
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] RemoteSparkSession umbenennen
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][PYTHON] DataFrame. toPandas sollte keinen optionalen Pandas-Dataframe zurückgeben
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain sollte None drucken und zurückgeben
• [SPARK-41278] [SC-116732][connect] Bereinigen von nicht verwendetem QualifiedAttribute in Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Entfernen redundanter Sammlungskonvertierungsbasis in Scala 2.13-Code
• [SPARK-41261] [SC-116718][python][SS] Problembehebung für applyInPandasWithState, wenn die Spalten von Gruppierungsschlüsseln nicht ab dem frühesten Zeitpunkt in der Reihenfolge platziert wurden
• [SPARK-40872] [SC-116717][3.3] Fallback auf den ursprünglichen Shuffleblock, wenn ein push-zusammengeführter Shuffleblock die Größe Null aufweist
• [SPARK-41114] [SC-116628][connect] Unterstützung lokaler Daten für LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementieren von DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Unterstützung von mehr integrierten Datentypen
• [SPARK-41230] [SC-116674][connect][PYTHON] str vom Ausdruckstyp Aggregat entfernen
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Optimierte, Arrow-basierte Sammlungsimplementierung zum Streamen vom Server zum Client
• [SPARK-41222] [SC-116625][connect][PYTHON] Vereinheitlichen der Typdefinitionen
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Deaktivieren von nicht unterstützte Funktionen
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementieren von DataFrame.SelectExpr im Python-Client
• [SPARK-41203] [SC-116258] [CONNECT] Unterstützung von Dataframe.tansform im Python-Client
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementierung von DataFrame.__repr__ und DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementieren von DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migrieren des mehrdeutigen Verweisfehlers zu einer Fehlerklasse
• [SPARK-41122] [SC-116141][connect] Explain API kann verschiedene Modi unterstützen.
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Verbessern des PySpark-Typrückschlusses in der _merge_type-Methode
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogenisieren Sie die Protobuf-Version auf dem Spark connect-Server, um dieselbe Hauptversion zu verwenden.
• [SPARK-35531] [SC-116409][sql] Aktualisieren von Hive-Tabellenstatistiken ohne unnötige Konvertierung
• [SPARK-41154] [SC-116289][sql] Fehlerhaftes Relation-Caching für Abfragen mit Zeitreisespezifikation
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementieren von DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Umbenennen UNSUPPORTED_EMPTY_LOCATION in INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Fügen Sie eine Erweiterungs-API hinzu, um die Normalisierung der Zwischenspeicherung zu planen.
• [SPARK-41054] [SC-116447][ui][CORE] Unterstützung von RocksDB als KVStore in der Live-Benutzeroberfläche
• [SPARK-38550] [SC-115223]Zurücksetzen von "[SQL][Core] Verwenden Sie einen datenträgerbasierten Speicher, um weitere Debuginformationen für die Live-Benutzeroberfläche zu speichern"
• [SPARK-41173] [SC-116185][sql] Verschieben von require() aus Konstruktoren von Zeichenfolgenausdrücken
• [SPARK-41188] [SC-116242][core][ML] Setze executorEnv OMP_NUM_THREADS standardmäßig zu spark.task.cpus für Spark-Executor-JVM-Prozesse
• [SPARK-41130] [SC-116155][sql] Umbenennen OUT_OF_DECIMAL_TYPE_RANGE in NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Reduzierung von Konvertierungen innerhalb der Sammlung beim Erstellen von AttributeMap
• [SPARK-41139] [SC-115983][sql] Fehlerklasse verbessern: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Schattierung für Java-Klassen-JAR erforderlich machen, Verbessern der Fehlerbehandlung
• [SPARK-40999] [SC-116168] Hinweis über Weitergabe an Unterabfragen
• [SPARK-41017] [SC-116054][sql] Unterstützung der Spaltenkürzung mit mehreren nicht deterministischen Filtern
• [SPARK-40834] [SC-114773][sql] Verwenden Von SparkListenerSQLExecutionEnd zum Nachverfolgen des endgültigen SQL-Status in der Benutzeroberfläche
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number sollte null zurückgeben, wenn das Format null ist
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Ansichtskatalogschnittstelle
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Vermeiden Sie das Einbetten von Spark Connect in die Binärversion von Apache Spark
• [SPARK-41048] [SC-116043][sql] Verbessern der Ausgabepartitionierung und -sortierung mit dem AQE-Cache
• [SPARK-41198] [SC-116256][ss] Korrektur der Metriken in Streamingabfragen mit CTE und DSv1-Streamingquelle
• [SPARK-41199] [SC-116244][ss] Beheben eines Metrikproblems, wenn DSv1-Streamingquelle und DSv2-Streamingquelle gemeinsam verwendet werden
• [SPARK-40957] [SC-116261][sc-114706] Hinzufügen des Speichercaches in HDFSMetadataLog
• [SPARK-40940] Wiederherstellen von „[SC-115993] Entfernen mehrfach zustandsbehafteter Operatorüberprüfungen für Streamingabfragen“
• [SPARK-41090] [SC-116040][sql] Auslösen einer Ausnahme für db_name.view_name beim Erstellen der temporären Ansicht nach Dataset-API
• [SPARK-41133] [SC-116085][sql] Integrieren von UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION in NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Code-Speicherabbild 9 Commits
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect-Build als Treiber-Plug-In mit schattierten Abhängigkeiten
• [SPARK-41096] [SC-115812][sql] Unterstützung beim Lesen des Parquet-Typs FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Benennen Sie die Fehlerklasse _LEGACY_ERROR_TEMP_2440 in INVALID_WHERE_CONDITION um.
• [SPARK-40918] [SC-114438][sql] Nichtübereinstimmung zwischen FileSourceScanExec und Orc and ParquetFileFormat beim Erzeugen von Spaltenausgabe
• [SPARK-41155] [SC-115991][sql] Hinzufügen einer Fehlermeldung zu SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Entfernen mehrfach zustandsbehafteter Operatorüberprüfungen für Streamingabfragen.
• [SPARK-41098] [SC-115790][sql] Umbenennen GROUP_BY_POS_REFERS_AGG_EXPR in GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Migrieren von Typprüfungsfehlern der Zahlenformatierung in Fehlerklassen
• [SPARK-41059] [SC-115658][sql] Umbenennen von _LEGACY_ERROR_TEMP_2420 in NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Konvertieren von DATATYPE_MISMATCH. UNSPECIFIED_FRAME zu INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Umbenennen _LEGACY_ERROR_TEMP_0055 in UNCLOSED_BRACKETED_COMMENT

Wartungsupdates

Siehe Wartungsupdates für Databricks Runtime 12.1.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Skala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 11.11.2022 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)