Databricks Runtime 15.2 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 15.2, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Version im Mai 2024 veröffentlicht.

Verhaltensänderungen

Vakuum bereinigt COPY INTO Metadatendateien

Wenn VACUUM auf eine Tabelle angewendet wird, die mit COPY INTO geschrieben wurde, bereinigt dies jetzt nicht referenzierte Metadaten, die mit der Nachverfolgung von erfassten Dateien verbunden sind. Es gibt keine Auswirkungen auf die operative Semantik von COPY INTO.

Lakehouse Federation ist allgemein verfügbar (GA)

In Databricks Runtime 15.2 und höher sind Lakehouse Federation Connectors in den folgenden Datenbanktypen allgemein verfügbar (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

In dieser Version werden auch die folgenden Verbesserungen eingeführt:

• Unterstützung der SSO-Authentifizierung (Single Sign-On) in den Snowflake- und Microsoft SQL Server-Connectors.

• Azure Private Link-Unterstützung für den SQL Server-Connector aus Umgebungen für serverloses Computing. Weitere Informationen finden Sie unter Schritt 3: Erstellen von Regeln für den privaten Endpunkt.

• Unterstützung für zusätzliche Pushdowns (Zeichenfolgen-, mathematische und verschiedene andere Funktionen).
• Verbesserte Pushdown-Erfolgsrate bei verschiedenen Abfrageformen.
• Zusätzliche Pushdown-Debuggingfunktionen:
  • Die EXPLAIN FORMATTED-Ausgabe zeigt den heruntergedrückten Abfragetext an.
  • Die Benutzeroberfläche des Abfrageprofils zeigt den Pushdown-Abfragetext, Verbundknotenbezeichner und Ausführungszeiten für JDBC-Abfragen (im ausführlichen Modus). Siehe Anzeigen der vom System generierten Verbundabfragen.

BY POSITION für die Spaltenzuordnung unter Verwendung von COPY INTO mit headerlosen CSV-Dateien

In Databricks Runtime 15.2 und höher können Sie die BY POSITION Schlüsselwörter (oder die alternative Syntaxoption ( col_name [ , <col_name> ... ] )) in Kombination mit COPY INTO für headerlose CSV-Dateien verwenden, um die Zuordnung von Quellspalten zur Zieltabellenspalte zu vereinfachen. Siehe Parameter.

Verringern des Arbeitsspeicherverbrauchs, wenn Spark-Aufgaben mit einem Resubmitted Fehler fehlschlagen

In Databricks Runtime 15.2 und höher ist der Rückgabewert der Spark-Methode TaskInfo.accumulables() leer, wenn Vorgänge mit einem Resubmitted Fehler fehlschlagen. Zuvor hat die Methode die Werte eines früheren erfolgreichen Vorgangsversuchs zurückgegeben. Diese Verhaltensänderung wirkt sich auf die folgenden Verbraucher aus:

• Spark-Aufgaben, die die EventLoggingListener Klasse verwenden.
• Benutzerdefinierte Spark Listener.

Um das vorherige Verhalten wiederherzustellen, legen Sie spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled auf false fest.

Anzeigen adaptiver Abfrageausführungsplanversionen ist deaktiviert.

Um den Arbeitsspeicherverbrauch zu verringern, werden die Planversionen der adaptiven Abfrageausführung (AQE) jetzt standardmäßig in der Spark-Benutzeroberfläche deaktiviert. Um die Anzeige von AQE-Planversionen in der Spark-Benutzeroberfläche zu aktivieren, legen Sie die spark.databricks.sql.aqe.showPlanChangesInUI.enabled auf true fest.

Der Grenzwert für beibehaltene Abfragen wird verringert, um die Speicherauslastung von Spark UI zu verringern.

In Databricks Runtime 15.2 und höher wird der von der Spark-Benutzeroberfläche in Azure Databricks verbrauchte Speicher reduziert, der Grenzwert für die Anzahl der in der Benutzeroberfläche sichtbaren Abfragen wird von 1000 auf 1000 gesenkt. Um den Grenzwert zu ändern, legen Sie einen neuen Wert mithilfe der spark.sql.ui.retainedExecutions Spark-Konfiguration fest.

DESCRIBE HISTORY zeigt jetzt Cluster-Spalten für Tabellen an, die Liquid Clustering verwenden

Wenn Sie eine DESCRIBE HISTORY Abfrage ausführen, zeigt die spalte operationParameters standardmäßig ein clusterBy Feld für CREATE OR REPLACE- und OPTIMIZE-Vorgänge an. Bei einer Delta-Tabelle, die flüssigen Clustering verwendet, wird das clusterBy Feld mit den Clusterspalten der Tabelle aufgefüllt. Wenn die Tabelle keine flüssige Clusterung verwendet, ist das Feld leer.

Die Syntax des Notizbuch-Widgets ist veraltet.

Ab Databricks Runtime 15.2 ist die Syntax für den ${param} Zugriff auf Notizbuch-Widgetwerte in SQL-Zellen veraltet. Verwenden Sie stattdessen die Parametermarkierungssyntax (:param). Die Parametermarkierungssyntax bietet einen besseren SQL-Einfügungsschutz und verbesserte Abfrageleistung.

Anleitungen und Beispiele für die Migration finden Sie unter Legacy-Notizbuch-Widgets. Informationen zum aktuellen empfohlenen Ansatz finden Sie unter Databricks Widgets.

Neue Features und Verbesserungen

Unterstützung für Primär- und Fremdschlüssel ist GA

Die Unterstützung für Primär- und Fremdschlüssel in Databricks Runtime ist allgemein verfügbar. Die GA-Version enthält die folgenden Änderungen an den Berechtigungen, die für die Verwendung von Primär- und Fremdschlüsseln erforderlich sind:

• Zum Definieren eines Fremdschlüssels benötigen Sie die SELECT-Berechtigung für die Tabelle mit dem Primärschlüssel, auf den der Fremdschlüssel verweist. Sie müssen die Tabelle nicht mit dem Primärschlüssel besitzen, der zuvor erforderlich war.
• Das Ablegen eines Primärschlüssels mithilfe der CASCADE-Klausel erfordert keine Berechtigungen für die Tabellen, die Fremdschlüssel definieren, die auf den Primärschlüssel verweisen. Zuvor mussten Sie die referenzierenden Tabellen besitzen.
• Das Ablegen einer Tabelle, die Einschränkungen enthält, erfordert jetzt dieselben Berechtigungen wie das Ablegen von Tabellen, die keine Einschränkungen enthalten.

Informationen zum Verwenden von Primär- und Fremdschlüsseln mit Tabellen oder Ansichten finden Sie unter CONSTRAINT Klausel, ADD CONSTRAINT Klauselund DROP CONSTRAINT Klausel.

Liquid Clustering erreicht allgemeine Verfügbarkeit (GA)

Unterstützung für flüssigen Clustering ist jetzt allgemein mit Databricks Runtime 15.2 und höher verfügbar. Siehe Verwenden von Flüssigclustering für Tabellen.

Typerweiterung in Public Preview

Sie können jetzt die Typweiterung für Tabellen aktivieren, die von Delta Lake unterstützt werden. Tabellen mit aktivierter Typverbreiterung ermöglichen das Ändern des Spaltentyps in einen breiteren Datentyp, ohne zugrunde liegende Datendateien neu zu schreiben. Weitere Informationen finden Sie unter Typerweiterung.

Hinzufügung der Schema-Evolutionsklausel zur SQL-Merge-Syntax

Sie können nun die WITH SCHEMA EVOLUTION Klausel zu einer SQL Merge-Anweisung hinzufügen, um die Schemaentwicklung für den Vorgang zu aktivieren. Siehe Schemaentwicklungssyntax für Merge.

PySpark benutzerdefinierte Datenquellen sind in der öffentlichen Vorschau verfügbar.

Eine PySpark DataSource kann mit der Python-API (PySpark) DataSource erstellt werden, die das Lesen von benutzerdefinierten Datenquellen und das Schreiben in benutzerdefinierte Datensenken in Apache Spark mithilfe von Python ermöglicht. Siehe pySpark benutzerdefinierte Datenquellen

applyInPandas und mapInPandas sind jetzt mit dem gemeinsamen Zugriffsmodus auf Unity Catalog Compute verfügbar.

Als Teil einer Wartungsversion von Databricks Runtime 14.3 LTS werden jetzt applyInPandas- und mapInPandas-UDF-Typen für den gemeinsam genutzten Zugriffsmodus unterstützt, der Databricks Runtime 14.3 und höher ausführt.

Verwenden von dbutils.widgets.getAll() zum Abrufen aller Widgets in einem Notizbuch

Verwenden Sie dbutils.widgets.getAll(), um alle Widgetwerte in einem Notizbuch abzurufen. Dies ist besonders hilfreich, wenn mehrere Widgetswerte an eine Spark SQL-Abfrage übergeben werden.

Vakuuminventarunterstützung

Sie können jetzt einen Bestand an Dateien angeben, die sie berücksichtigen sollten, wenn Sie den Befehl VACUUM in einer Delta-Tabelle ausführen. Siehe OSS Delta-Dokumente.

Unterstützung für Zstandardkomprimierungsfunktionen

Sie können jetzt die Funktionen zst_compress, zstd_decompressund try_zstd_decompress verwenden, um BINARY Daten zu komprimieren und zu dekomprimieren.

Fehlerkorrekturen

Abfragepläne in der SQL-Benutzeroberfläche werden jetzt ordnungsgemäß angezeigt PhotonWriteStage

Wenn sie in der SQL-Benutzeroberfläche angezeigt werden, werden write-Befehle in Abfrageplänen fälschlicherweise als PhotonWriteStage-Operator dargestellt. Mit dieser Version wird die Benutzeroberfläche aktualisiert, um PhotonWriteStage als Phase anzuzeigen. Dies ist nur eine Änderung der Benutzeroberfläche und wirkt sich nicht auf die Ausführung von Abfragen aus.

Ray wird aktualisiert, um Probleme beim Starten von Ray-Clustern zu beheben.

Diese Version enthält eine gepatchte Version von Ray, die eine bahnbrechende Änderung behebt, die verhindert, dass Ray-Cluster mit Databricks Runtime for Machine Learning beginnen. Durch diese Änderung wird sichergestellt, dass die Ray-Funktionalität mit versionen von Databricks Runtime vor 15.2 identisch ist.

Korrigierte Fehlerklasse für DataFrame.sort() und DataFrame.sortWithinPartitions() Funktionen

Diese Version enthält eine Aktualisierung der Funktionen von PySpark DataFrame.sort() und DataFrame.sortWithinPartitions(), um sicherzustellen, dass die ZERO_INDEX-Fehlerklasse ausgelöst wird, wenn 0 als Indexargument übergeben wird. Zuvor wurde die Fehlerklasse INDEX_NOT_POSITIVE geworfen.

ipywidgets wird von 8.0.4 auf 7.7.2 herabgestuft.

Um Fehler zu beheben, die durch ein Upgrade von ipywidgets auf 8.0.4 in Databricks Runtime 15.0 eingeführt wurden, wird ipywidgets in Databricks Runtime 15.2 auf 7.7.2 herabgestuft. Dies ist die gleiche Version, die in früheren Databricks-Runtime-Versionen enthalten ist.

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:
  • GitPython von 3.1.42 bis 3.1.43
  • google-api-core von 2.17.1 bis 2.18.0
  • google-auth von 2.28.1 auf 2.29.0
  • google-cloud-storage von 2.15.0 bis 2.16.0
  • googleapis-common-protos von 1.62.0 bis 1.63.0
  • ipywidgets von 8.0.4 bis 7.7.2
  • mlflow-skinny von 2.11.1 bis 2.11.3
  • s3transfer von 0.10.0 auf 0.10.1
  • sqlparse von 0.4.4 bis 0.5.0
  • typing_extensions von 4.7.1 bis 4.10.0
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • com.amazonaws.aws-java-sdk-autoscaling von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation, Version: 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-cognitoidentity von Version 1.12.390 bis Version 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-config von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-core von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-directory von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-dynamodb von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-ecs von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-efs von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-emr von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-glacier von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-glue von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-iam von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-importexport von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-kms von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-lambda von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-logs von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-rds von 1.12.390 auf 1.12.610
  • com.amazonaws.aws-java-sdk-redshift von 1.12.390 auf 1.12.610
  • com.amazonaws.aws-java-sdk-route53 von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-s3 von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-ses von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-sns von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-sqs von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-ssm von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-sts von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-support von 1.12.390 bis 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces von 1.12.390 bis 1.12.610
  • com.amazonaws.jmespath-java von 1.12.390 bis 1.12.610

Apache Spark

Databricks Runtime 15.2 umfasst Apache Spark 3.5.0. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 15.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-47941] [SC-163568] [SS] [Connect] Weiterleitung von ForeachBatch-Workerinitialisierungsfehlern an Benutzern für PySpark
• [SPARK-47412] [SC-163455][sql] Sortierunterstützung für LPad/RPad hinzufügen.
• [SPARK-47907] [SC-163408][sql] Knall unter eine Konfiguration setzen
• [SPARK-46820] [SC-157093][python] Beheben der Fehlermeldungsregression durch Wiederherstellen new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource Managers: strukturierte Protokollierungsmigration
• [SPARK-47890] [SC-163324][connect][PYTHON] Fügen Sie Variantenfunktionen zu Scala und Python hinzu.
• [SPARK-47894] [SC-163086][core][WEBUI] Hinzufügen Environment einer Seite zur Master-Benutzeroberfläche
• [SPARK-47805] [ SC-163459][ss] Implementieren von TTL für MapState
• [SPARK-47900] [SC-163326] Überarbeitung der Überprüfung für implizite Sortierung (UTF8_BINARY)
• [SPARK-47902] [SC-163316][sql]Berechnungs-Ausdrücke für aktuelle Zeit* faltbar machen
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] Spaltentyp in geteilter Funktion für Scala und Python unterstützen
• [SPARK-47754] [ SC-162144][sql] Postgres: Unterstützen des Lesens von mehrdimensionalen Arrays
• [SPARK-47416] [SC-163001][sql] Hinzufügen neuer Funktionen zu CollationBenchmark #90339
• [SPARK-47839] [SC-163075][sql] Beheben des Aggregatfehlers in RewriteWithExpression
• [SPARK-47821] [ SC-162967][sql] is_variant_null Ausdruck implementieren
• [SPARK-47883] [SC-163184][sql] Machen Sie CollectTailExec.doExecute faul mit RowQueue
• [SPARK-47390] [SC-163306][sql] PostgresDialect unterscheidet TIMESTAMP von TIMESTAMP_TZ
• [SPARK-47924] [ SC-163282][core] Hinzufügen eines DEBUG-Protokolls zu DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Behebung der ExpressionSet-Performance-Regressions in Scala 2.12
• [SPARK-47565] [SC-161786][python] PySpark-Worker-Pool Absturzresilienz
• [SPARK-47885] [SC-162989][python][CONNECT] Sorge dafür, dass pyspark.resource mit pyspark-connect kompatibel ist.
• [SPARK-47887] [ SC-163122][connect] Nicht verwendeten Import spark/connect/common.proto aus spark/connect/relations.proto entfernen
• [SPARK-47751] [SC-161991][python][CONNECT] Machen Sie pyspark.worker_utils kompatibel mit pyspark-connect
• [SPARK-47691] [SC-161760][sql] Postgres: Unterstützung von mehrdimensionalen Arrays auf der Schreibseite
• [SPARK-47617] [SC-162513][sql] Hinzufügen TPC-DS Testinfrastruktur für Sortierungen
• [SPARK-47356] [SC-162858][sql] Unterstützung für ConcatWs & Elt (alle Kollationen) hinzufügen
• [SPARK-47543] [SC-161234][connect][PYTHON] dict als MapType aus einem Pandas DataFrame ableiten, um die Erstellung eines DataFrames zu ermöglichen
• [SPARK-47863] [SC-162974][sql] Korrigiere die beginntMit und endetMit sortierungsbewusste Implementierung für ICU
• [SPARK-47867] [SC-162966][sql] Unterstützungsvariante im JSON-Scan.
• [SPARK-47366] [SC-162475][sql][PYTHON] Add VariantVal für PySpark
• [SPARK-47803] [ SC-162726][sql] Unterstützung für das Konvertieren in eine Variante.
• [SPARK-47769] [SC-162841][sql] Fügen Sie schema_of_variant_agg Ausdruck hinzu.
• [SPARK-47420] [ SC-162842][sql] Testausgabe korrigieren
• [SPARK-47430] [SC-161178][sql] Unterstützung GROUP BY für MapType
• [SPARK-47357] [SC-162751][sql] Unterstützung für Upper, Lower, InitCap (alle Sortierungen)
• [SPARK-47788] [SC-162729][ss] Stellen Sie die gleiche Hashpartitionierung für Streamingstatus-Ops sicher.
• [SPARK-47776] [ SC-162291][ss] Verhindere die Verwendung der binären Ungleichheitskollation im Schlüsselschema des zustandsbehafteten Operators.
• [SPARK-47673] [ SC-162824][ss] Implementieren von TTL für ListState
• [SPARK-47818] [SC-162845][connect] Einführung des Plancaches in SparkConnectPlanner zur Verbesserung der Leistung von Analyseanforderungen
• [SPARK-47694] [SC-162783][connect] Maximale Nachrichtengröße auf clientseitiger Seite konfigurierbar machen
• [SPARK-47274] Rückgängigmachen von "[SC-162479][python][SQL] Bereitstellen von nützlicheren...
• [SPARK-47616] [SC-161193][sql] Hinzufügen eines Benutzerdokuments zum Zuordnen von Spark SQL-Datentypen aus MySQL
• [SPARK-47862] [SC-162837][python][CONNECT]Korrektur bei der Erstellung von Proto-Dateien
• [SPARK-47849] [SC-162724][python][CONNECT] Ändern des Releaseskripts zur Veröffentlichung von pyspark-connect
• [SPARK-47410] [SC-162518][sql] Umstrukturierung von UTF8String und CollationFactory
• [SPARK-47807] [SC-162505][python][ML] Machen Sie pyspark.ml kompatibel mit pyspark-connect
• [SPARK-47707] [SC-161768][sql] Spezielle Behandlung des JSON-Typs für MySQL Connector/J 5.x
• [SPARK-47765] Revertieren “[SC-162636][sql] Add SET COLLATION to pars...
• [SPARK-47081] [SC-162151][connect][FOLLOW] Verbesserung der Benutzerfreundlichkeit des Fortschrittsanzeigers
• [SPARK-47289] [SC-161877][sql] Erweiterungen erlauben, erweiterte Informationen im Erläuterungsplan zu protokollieren
• [SPARK-47274] [SC-162479][python][SQL] Bereitstellen von nützlicheren Kontext für PySpark DataFrame-API-Fehler
• [c0][SPARK-47765] [SC-162636][sql] KOLLATION zu Parserregeln hinzufügen
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite schlägt mit ungültigen Plan fehl
• [SPARK-47812] [SC-162696][connect] Unterstützung der Serialisierung von SparkSession für den Einsatz in ForEachBatch-Worker
• [SPARK-47253] [SC-162698][core] Zulassen, dass der LiveEventBus beendet wird, ohne dass die Ereigniswarteschlange vollständig geleert wird
• [SPARK-47827] [ SC-162625][python] Fehlende Warnungen für veraltete Features
• [SPARK-47733] [ SC-162628][ss] Hinzufügen benutzerdefinierter Metriken für transformWithState-Operatorteil des Abfragefortschritts
• [SPARK-47784] [SC-162623][ss] Führen Sie TTLMode und TimeoutMode in einem einzigen TimeMode zusammen.
• [SPARK-47775] [SC-162319][sql] Unterstützen verbleibende Skalartypen in der Variantenspezifikation.
• [SPARK-47736] [ SC-162503][sql] Hinzufügen von Unterstützung für AbstractArrayType
• [SPARK-47081] [SC-161758][connect] Unterstützung für den Fortschritt der Abfrageausführung
• [SPARK-47682] [SC-162138][sql] Unterstützung der Umwandlung von Variant.
• [SPARK-47802] [SC-162478][sql] Wiederherstellen () aus der Bedeutung "struct() zurück zur Bedeutung *
• [SPARK-47680] [SC-162318][sql] Fügen Sie variant_explode Ausdruck hinzu.
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression sollte den Fehler für jeden Codegenmodus überprüfen.
• [SPARK-41811] [ SC-162470][python][CONNECT] Implementieren SQLStringFormatter mit WithRelations
• [SPARK-47693] [SC-162326][sql] Optimierung für den Kleinschreibvergleich von UTF8String hinzufügen, der in UTF8_BINARY_LCASE-Kollation verwendet wird.
• [SPARK-47541] [SC-162006][sql] Sortierte Zeichenfolgen in komplexen Typen, die Vorgänge umgekehrt unterstützen, array_join, Verketten, Zuordnung
• [SPARK-46812] [SC-161535][connect][PYTHON] Unterstützung von ResourceProfile in mapInPandas / mapInArrow ermöglichen
• [SPARK-47727] [SC-161982][python] Machen Sie SparkConf auf Root-Ebene für sowohl SparkSession als auch SparkContext
• [SPARK-47406] [SC-159376][sql] Behandeln von TIMESTAMP und DATETIME in MYSQLDialect
• [SPARK-47081] Rückgängig machen “[SC-161758][connect] Unterstützung für Abfragenausführ…
• [SPARK-47681] [SC-162043][sql] Fügen Sie den Ausdruck schema_of_variant hinzu.
• [SPARK-47783] [ SC-162222] Fügen Sie einige fehlende SQLSTATEs hinzu, um den zu verwendenden YYY000 zu bereinigen...
• [SPARK-47634] [SC-161558][sql] Hinzufügen von Legacyunterstützung zum Deaktivieren der Normalisierung von Kartenschlüsseln
• [SPARK-47746] [ SC-162022] Implementierung der ordinalbasierten Bereichscodierung im RocksDBStateEncoder
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec sollte immer den Context.session verwenden.
• [SPARK-47643] [SC-161534][ss][PYTHON] Hinzufügen von Pyspark-Test für Python-Streamingquelle
• [SPARK-47582] [SC-161943][sql] Migrieren von Catalyst logInfo mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-47558] [ SC-162007][ss] State TTL-Unterstützung für ValueState
• [SPARK-47358] [SC-160912][sql][COLLATION] Verbessern der Unterstützung von Wiederholungsausdrücken, um korrekten Datentyp zurückzugeben
• [SPARK-47504] [SC-162044][sql] Auflösung der AbstractDataType simpleStrings für StringTypeCollated
• [SPARK-47719] Revertiere “[SC-161909][sql] Ändern spark.sql.legacy.t...”
• [SPARK-47657] [SC-162010][sql] Unterstützung für Kollationsfilter-Pushdowns pro Dateiquelle implementieren
• [SPARK-47081] [SC-161758][connect] Unterstützung für den Fortschritt der Abfrageausführung
• [SPARK-47744] [ SC-161999] Hinzufügen von Unterstützung für negative Bytes im Bereichs-Encoder
• [SPARK-47713] [SC-162009][sql][CONNECT] Beheben eines Self-Join-Fehlers
• [SPARK-47310] [SC-161930][ss] Hinzufügen eines Mikro-Benchmarks für Zusammenführungsvorgänge für mehrere Werte im Wertbereich des Zustandsspeichers
• [SPARK-47700] [SC-161774][sql] Beheben der Formatierung von Fehlermeldungen mit treeNode
• [SPARK-47752] [SC-161993][ps][CONNECT] Machen Pyspark.pandas kompatibel mit pyspark-connect
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementieren der LogWarning/logInfo-API im strukturierten Protokollierungsframework
• [SPARK-47107] [SC-161201][ss][PYTHON] Implementieren des Partitionslesers für python-Streamingdatenquelle
• [SPARK-47553] [SC-161772][ss] Hinzufügen der Java-Unterstützung für transformWithState-Operator-APIs
• [SPARK-47719] [SC-161909][sql] Ändern spark.sql.legacy.timeParserPolicy standardmäßig in KORRIGIERT
• [SPARK-47655] [SC-161761][ss] Integrieren des Zeitgebers in die Behandlung des Anfangszustands für Zustand v2
• [SPARK-47665] [SC-161550][sql] Verwenden von SMALLINT zum Schreiben von ShortType in MYSQL
• [SPARK-47210] [SC-161777][sql] Hinzufügen von impliziten Umwandlungen ohne bestimmte Unterstützung
• [SPARK-47653] [ SC-161767][ss] Unterstützung für negative numerische Typen und Encoder für Bereichsscanschlüssel hinzufügen.
• [SPARK-46743] [SC-160777][sql] Zählfehler nach konstanter Faltung
• [SPARK-47525] [SC-154568][sql] Unterstützung der korrelierten Verknüpfung von Unterabfragen bei Kartenattributen
• [SPARK-46366] [SC-151277][sql] Verwenden Sie WITH-Ausdruck in BETWEEN, um doppelte Ausdrücke zu vermeiden
• [SPARK-47563] [SC-161183][sql] Hinzufügen der Kartennormalisierung beim Erstellen
• [SPARK-42040] [SC-161171][sql] SPJ: Einführung einer neuen API für V2-Eingabepartition zum Melden von Partitionsstatistiken
• [SPARK-47679] [ SC-161549][sql] Verwenden HiveConf.getConfVars oder Hive übertragen Namen direkt
• [SPARK-47685] [SC-161566][sql] Unterstützung für Stream Typ in Dataset#groupBy wiederherstellen
• [SPARK-47646] [SC-161352][sql] Stellen Sie try_to_number NULL für falsch formatierte Eingaben zurück.
• [SPARK-47366] [ SC-161324][python] Hinzufügen von Pyspark- und Dataframe-parse_json Aliasen
• [SPARK-47491] [ SC-161176][core] Fügen Sie slf4j-api zuerst dem Klassenpfad hinzu, vor den anderen im jars Verzeichnis.
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty projiziert CommandResults lokal
• [SPARK-47364] [SC-158927][Core] Plugins warnen lassen, wenn sie auf unidirektionale Nachrichten antworten
• [SPARK-47280] [SC-158350][sql] Zeitzoneneinschränkung für ORACLE TIMESTAMP WITH entfernen TIMEZONE
• [SPARK-47551] [SC-161542][sql] Fügen Sie den Ausdruck variant_get hinzu.
• [SPARK-47559] [ SC-161255][sql] Codegen-Unterstützung für Variante parse_json
• [SPARK-47572] [SC-161351][sql] Sicherstellen, dass FensterpartitionSpec sortierbar ist.
• [SPARK-47546] [SC-161241][sql] Verbesserung der Validierung beim Lesen der Variante aus Parquet
• [SPARK-47543] [SC-161234][connect][PYTHON] dict als MapType aus einem Pandas DataFrame ableiten, um die Erstellung eines DataFrames zu ermöglichen
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] Erstellen einer Spalte mit Sortierungen in der Dataframe-API
• [SPARK-47641] [ SC-161376][sql] Verbessern der Leistung für UnaryMinus und Abs
• [SPARK-47631] [ SC-161325][sql] Nicht verwendete SQLConf.parquetOutputCommitterClass Methode entfernen
• [SPARK-47674] [SC-161504][core] Standardmäßig aktivieren spark.metrics.appStatusSource.enabled
• [SPARK-47273] [SC-161162][ss][PYTHON] implementieren die Python-Datenstrom-Writer-Schnittstelle.
• [SPARK-47637] [SC-161408][sql] Verwendung von errorCapturingIdentifier an mehr Stellen
• [SPARK-47497] Wiederherstellen von "[SC-160724][sql] Make to_csv support the output of array/struct/map/binary as pretty strings""
• [SPARK-47492] [SC-161316][sql] Leerzeichenregeln im Lexer erweitern
• [SPARK-47664] [SC-161475][python][CONNECT] Überprüfen des Spaltennamens mit zwischengespeicherten Schemas
• [SPARK-47638] [SC-161339][ps][CONNECT] Spaltennamenüberprüfung überspringen in PS
• [SPARK-47363] [SC-161247][ss] Anfangszustand ohne Zustandsleserimplementierung für Die Status-API v2.
• [SPARK-47447] [SC-160448][sql] Zulassen des Lesens von ZeitstempelLTZ als TimestampNTZ
• [SPARK-47497] Rückgängig machen von “[SC-160724][sql] to_csv so anpassen, dass die Ausgabe von array/struct/map/binary als lesbare Zeichenfolgen unterstützt wird”
• [SPARK-47434] [SC-160122][webui] Korrigiere statistics Link in StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] Zitierte Zeichenfolgen in einem JSON-Pfad sollten unterstützt werden? characters
• [SPARK-46915] [ SC-155729][sql] Vereinfachen UnaryMinusAbs und Fehlerklasse ausrichten
• [SPARK-47431] [SC-160919][sql] Sitzungsebene Standardkollation hinzufügen
• [SPARK-47620] [SC-161242][python][CONNECT] Hinzufügen einer Hilfsfunktion zum Sortieren von Spalten
• [SPARK-47570] [SC-161165][ss] Integration der Änderungen am Bereichsscan-Encoder mit der Implementierung des Zeitgebers
• [SPARK-47497] [SC-160724][sql] to_csv unterstützt die Ausgabe von array/struct/map/binary als ansprechend formatierte Zeichenfolgen.
• [SPARK-47562] [ SC-161166][connect] Faktorliteralbehandlung außerhalb des plan.py
• [SPARK-47509] [SC-160902][sql] Unterabfrageausdrücke in Lambda- und Höherordnungsfunktionen blockieren
• [SPARK-47539] [SC-160750][sql] Festlegen des Rückgabewerts der Methode castToStringAny => UTF8String
• [SPARK-47372] [SC-160905][ss] Hinzufügen von Unterstützung für bereichsbasierten Schlüsselstatus-Encoder für die Verwendung mit dem Statusspeicheranbieter
• [SPARK-47517] [SC-160642][core][SQL] Bevorzuge Utils.bytesToString für die Größendarstellung
• [SPARK-47243] [ SC-158059][ss] Korrigieren Sie den Paketnamen von StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Unterstützen von Python-Datenquellen mit Spark Connect
• [SPARK-47521] [SC-160666][Core] Beim Lesen von Shuffle-Daten aus externem Speicher verwenden Utils.tryWithResource
• [SPARK-47474] [SC-160522][Core] Zurücksetzen von SPARK-47461 und Hinzufügen einiger Kommentare
• [SPARK-47560] [SC-160914][python][CONNECT] Vermeiden von RPC, um den Spaltennamen mit zwischengespeichertem Schema zu validieren
• [SPARK-47451] [SC-160749][sql] Unterstützung für to_json(variant).
• [SPARK-47528] [SC-160727][sql] Hinzufügen der UserDefinedType-Unterstützung zu DataTypeUtils.canWrite
• [SPARK-44708] Rückgängig machen von “[SC-160734][python] Migration von test_reset_index assert_eq zur Verwendung von assertDataFrameEqual”
• [SPARK-47506] [SC-160740][sql] Unterstützung für alle Dateiformate für sortierte Datentypen hinzufügen
• [SPARK-47256] [SC-160784][sql] Zuweisen von Namen zu Fehlerklassen _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] Fehlerbehebung: primäre Ressource Jar wird zweimal im "spark.jars" im k8s-Cluster-Modus hinzugefügt.
• [SPARK-47398] [SC-160572][sql] Extrahieren sie eine Eigenschaft für InMemoryTableScanExec, um die Erweiterung der Funktionalität zu ermöglichen.
• [SPARK-47479] [SC-160623][sql] Optimize kann keine Daten in Beziehungen mit mehreren Pfaden schreiben
• [SPARK-47483] [SC-160629][sql] Unterstützung für Aggregations- und Verknüpfungsvorgänge für Arrays sortierter Zeichenfolgen hinzufügen
• [SPARK-47458] [SC-160237][Kern] Behebung des Problems bei der Berechnung der maximalen gleichzeitigen Aufgaben für die Barrierestufe
• [SPARK-47534] [ SC-160737][sql] Wechseln o.a.s.variant zu o.a.s.types.variant
• [SPARK-47396] [SC-159312][sql] Allgemeine Abbildung für TIME WITHOUT TIME ZONE auf TimestampNTZType hinzufügen
• [SPARK-44708] [SC-160734][python] Migrieren test_reset_index assert_eq zur Verwendung von assertDataFrameEqual
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Hinzufügen von Schema-Inferenztests für Wert-Tags
• [SPARK-47007] [SC-160630][sql] Hinzufügen des MapSort Ausdrucks
• [SPARK-47523] [ SC-160645][sql] Ersetze das veraltete JsonParser#getCurrentName durch JsonParser#currentName
• [SPARK-47440] [SC-160635][sql] Korrigieren des Übertragens nicht unterstützter Syntax auf MsSqlServer
• [SPARK-47512] [SC-160617][ss] Tag-Vorgangstyp, der zusammen mit dem Erwerb/Freigabe der RocksDB-Zustandsspeicher-Instanz-Sperre verwendet wird
• [SPARK-47346] [SC-159425][python] Den Daemonmodus beim Erstellen von Python-Planer-Workers konfigurierbar machen
• [SPARK-47446] [SC-160163][Kern] BlockManager rechtzeitig vor removeBlockInternal warnen
• [SPARK-46526] [SC-156099][sql] Unterstützung LIMIT über korrelierte Unterabfragen, bei denen prädikate nur auf äußere Tabelle verweisen
• [SPARK-47461] [SC-160297][Kern] Private Funktion totalRunningTasksPerResourceProfile von ExecutorAllocationManager entfernen
• [SPARK-47422] [SC-160219][sql] Unterstützung von kollationierten Zeichenfolgen in Arrayvorgängen
• [SPARK-47500] [ SC-160627][python][CONNECT] Verarbeitung von Faktorspaltennamen außerhalb von plan.py
• [SPARK-47383] [SC-160144][core] Unterstützung von spark.shutdown.timeout Konfiguration
• [SPARK-47342] [SC-159049]Revert "[SQL] Support TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
• [SPARK-47486] [SC-160491][connect] Entfernen der nicht verwendeten privaten ArrowDeserializers.getString Methode
• [SPARK-47233] [SC-154486][connect][SS][2/2] Client- und Server-Logik für clientseitigen Streaming-Abfrage-Listener
• [SPARK-47487] [SC-160534][sql] Vereinfachen von Code in AnsiTypeCoercion
• [SPARK-47443] [ SC-160459][sql] Unterstützung von Fensteraggregaten für Sortierungen
• [SPARK-47296] [SC-160457][sql][COLLATION] Nicht unterstützte Funktionen für nicht binäre Kollationen fehlschlagen
• [SPARK-47380] [SC-160164][connect] Stellen Sie auf der Serverseite sicher, dass die SparkSession identisch ist.
• [SPARK-47327] [SC-160069][sql] Test zur Parallelität von Sortierschlüsseln in CollationFactorySuite verschieben
• [SPARK-47494] [ SC-160495][Dokumentation] Migration der Dokumentation zur Verhaltensänderung der Parquet-Zeitstempel-Erkennung seit Spark 3.3 hinzufügen
• [SPARK-47449] [SC-160372][ss] Listen-/Timer-Unit-Tests neu strukturieren und aufteilen.
• [SPARK-46473] [SC-155663][sql] Wiederverwendungsmethode getPartitionedFile
• [SPARK-47423] [SC-160068][sql] Sortations - Festlegen der Vorgangsunterstützung für Zeichenfolgen mit Sortierungen
• [SPARK-47439] [SC-160115][python] Dokumentiere die Python Data Source API auf der API-Referenzseite
• [SPARK-47457] [ SC-160234][sql] Anpassung IsolatedClientLoader.supportsHadoopShadedClient für die Unterstützung von Hadoop 3.4+
• [SPARK-47366] [SC-159348][sql] Implementieren sie parse_json.
• [SPARK-46331] [SC-152982][sql] Entfernen von CodegenFallback aus einer Teilmenge von DateTime-Ausdrücken und Version()-Ausdruck
• [SPARK-47395] [ SC-159404] Füge Kollation und Sortierung zu anderen APIs hinzu
• [SPARK-47437] [SC-160117][python][CONNECT] Korrigieren Sie die Fehlerklasse für DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] Serverseitiger SparkConnectListenerBusListener für Client-seitige Streaming-Query-Listener
• [SPARK-47324] [SC-158720][sql] Fügen Sie fehlende Zeitstempelkonvertierung für JDBC geschachtelte Typen hinzu.
• [SPARK-46962] [SC-158834][ss][PYTHON] Hinzufügen der Schnittstelle für die Python Streaming-Datenquellen-API und Implementieren von Python-Workern zum Ausführen der Python-Streamingdatenquelle
• [SPARK-45827] [SC-158498][sql] Verschieben von Datentypüberprüfungen in CreatableRelationProvider
• [SPARK-47342] [SC-158874][sql] Unterstützung von TimestampNTZ für DB2 TIMESTAMP WITH TIME ZONE
• [SPARK-47399] [SC-159378][sql] Deaktiviert generierte Spalten für Ausdrücke mit Kollationen
• [SPARK-47146] [ SC-158247][Core] Mögliches Thread-Leck beim Sort-Merge-Join
• [SPARK-46913] [SC-159149][ss] Hinzufügen von Unterstützung für Verarbeitungs-/Ereigniszeitbasierte Zeitgeber mit transformWithState-Operator
• [SPARK-47375] [SC-159063][sql] Fügen Sie Richtlinien für die Zeitstempelzuordnung in JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] Unterstützt TIMESTAMP MIT ZEITZONE für H2Dialect
• [SPARK-45827] Rückgängig machen von „[SC-158498][sql] Verschieben von Datentypüberprüfungen in ...
• [SPARK-47208] [SC-159279][core] Überschreibung des Basis-Overhead-Speichers erlauben
• [SPARK-42627] [SC-158021][spark-26494][SQL] Unterstützung von Oracle TIMESTAMP MIT LOKALER ZEITZONE
• [SPARK-47055] [ SC-156916][python] Upgrade MyPy 1.8.0
• [SPARK-46906] [SC-157205][ss] Hinzufügen einer Überprüfung für die Änderung zustandsbehafteter Operatoren im Streaming
• [SPARK-47391] [SC-159283][sql] Entfernen Sie die Problemumgehung für Testfälle für JDK 8.
• [SPARK-47272] [SC-158960][ss] MapState-Implementierung für State-API v2 hinzufügen.
• [SPARK-47375] [SC-159278][doc][FollowUp] Korrektur eines Fehlers in der Dokumentation der Option preferTimestampNTZ in JDBC.
• [SPARK-42328] [SC-157363][sql] Entfernen von _LEGACY_ERROR_TEMP_1175 aus Fehlerklassen
• [SPARK-47375] [SC-159261][doc][FollowUp] Korrigieren Sie die Beschreibung der Option preferTimestampNTZ in der JDBC-Dokumentation.
• [SPARK-47344] [SC-159146] Erweitern Sie den INVALID_IDENTIFIER-Fehler über das Abfangen von '-' in einem nicht-angeführten Bezeichner hinaus und beheben Sie „IS! NULL“ et al.
• [SPARK-47340] [SC-159039][sql] „collate“ im StringType-Typnamen in Kleinbuchstaben ändern.
• [SPARK-47087] [SC-157077][sql] Auslösen der Spark-Ausnahme mit einer Fehlerklasse bei der Überprüfung des Konfigurationswerts
• [SPARK-47327] [SC-158824][sql] Beheben von Threadsicherheitsproblem in ICU Collator
• [SPARK-47082] [SC-157058][sql] Behebung des out-of-bounds Fehlerzustands
• [SPARK-47331] [SC-158719][ss] Serialisierung mithilfe von Fallklassen/Primitiven/POJOs, basierend auf einem SQL-Encoder für die beliebigen Zustands-API v2.
• [SPARK-47250] [ SC-158840][ss] Fügen Sie zusätzliche Validierungen und NERF-Änderungen für den RocksDB-Zustandsanbieter hinzu und verwenden Sie Spaltenfamilien.
• [SPARK-47328] [SC-158745][sql] Kollation UCS_BASIC umbenennen in UTF8_BINARY
• [SPARK-47207] [SC-157845][core] Unterstützung spark.driver.timeout und DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][Dokumentation] Migrationsdokument: TimestampNTZ-Typherleitung auf Parquet-Dateien
• [SPARK-47309] [ SC-158827][sql][XML] Füge Unit-Tests zur Schema-Inferenz hinzu
• [SPARK-47295] [ SC-158850][sql] ICU StringSearch für die startsWith und endsWith Funktionen hinzugefügt
• [SPARK-47343] [SC-158851][sql] Beheben sie NPE, wenn sqlString der Variable Wert null ist, wird sofort ausgeführt.
• [SPARK-46293] [SC-150117][connect][PYTHON] Verwenden transitiver protobuf Abhängigkeit
• [SPARK-46795] [ SC-154143][sql] Ersetzen UnsupportedOperationException durch SparkUnsupportedOperationException in sql/core
• [SPARK-46087] [ SC-149023][python] Synchronisieren von PySpark-Abhängigkeiten in Dokumenten und Entwicklungsanforderungen
• [SPARK-47169] [SC-158848][sql] Deaktivieren des Bucketings für collatierte Spalten
• [SPARK-42332] [SC-153996][sql] Änderung des 'require' zu einer SparkException in ComplexTypeMergingExpression
• [SPARK-45827] [SC-158498][sql] Verschieben von Datentypüberprüfungen in CreatableRelationProvider
• [SPARK-47341] [SC-158825][connect] Ersetzen von Befehlen durch Relationen in einigen Tests der SparkConnectClientSuite
• [SPARK-43255] [SC-158026][sql] Ersetzen Sie die Fehlerklasse _LEGACY_ERROR_TEMP_2020 durch einen internen Fehler.
• [SPARK-47248] [SC-158494][sql][COLLATION] Verbesserte Unterstützung der Zeichenfolgenfunktion: enthält:
• [SPARK-47334] [ SC-158716][sql] Lassen Sie withColumnRenamed die Implementierung von withColumnsRenamed wiederverwenden
• [SPARK-46442] [SC-153168][sql] DS V2 unterstützt das Herunterdrücken von PERCENTILE_CONT und PERCENTILE_DISC.
• [SPARK-47313] [SC-158747][sql] scala.MatchError-Behandlung innerhalb von QueryExecution.toInternalError hinzugefügt.
• [SPARK-45827] [SC-158732][sql] Variante Singleton-Typ für Java hinzufügen
• [SPARK-47337] [SC-158743][sql][DOCKER] Upgrade DB2 Docker-Image-Version auf 11.5.8.0
• [SPARK-47302] [SC-158609][sql] Schlüsselwort als Bezeichner gruppieren
• [SPARK-46817] [SC-154196][core] Behebung der spark-daemon.sh Verwendung durch Hinzufügen des decommission Befehls
• [SPARK-46739] [ SC-153553][sql] Fügen Sie die Fehlerklasse hinzu. UNSUPPORTED_CALL
• [SPARK-47102] [ SC-158253][sql] Hinzufügen des COLLATION_ENABLED Konfigurationsflags
• [SPARK-46774] [SC-153925][sql][AVRO] Verwenden Sie mapreduce.output.fileoutputformat.compress anstelle veralteter mapred.output.compress in Avro-Schreibaufträgen
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Timeout, wenn der Worker keine Verbindung zurück herstellt.
• [SPARK-46835] [SC-158355][sql][Collations] Join-Unterstützung für nicht binäre Sortierungen
• [SPARK-47131] [SC-158154][sql][COLLATION] Zeichenfolgenfunktionsunterstützung: enthält, beginnt mit, endet mit
• [SPARK-46077] [SC-157839][sql] Berücksichtigen Sie den Typ, der von TimestampNTZConverter in JdbcDialect.compileValue generiert wird.
• [SPARK-47311] [SC-158465][sql][PYTHON] Unterdrücken von Python-Ausnahmen, bei denen PySpark sich nicht im Python-Pfad befindet
• [SPARK-47319] [SC-158599][sql] Verbesserung der Berechnung der fehlenden Eingaben
• [SPARK-47316] [SC-158606][sql] Fix TimestampNTZ in Postgres Array
• [SPARK-47268] [SC-158158][sql][Collations] Unterstützung für die Neupartitionierung mit Kollationen
• [SPARK-47191] [SC-157831][sql] Vermeidung unnötiger Relationssuche beim Aufheben des Caches für Tabellen/Ansichten
• [SPARK-47168] [SC-158257][sql] Deaktivieren Sie das Parquet-Filter-Pushdown beim Arbeiten mit nicht standardmäßig sortierten Zeichenfolgen.
• [SPARK-47236] [SC-158015][Core] Fix deleteRecursivelyUsingJavaIO zum Überspringen nicht vorhandener Dateieingaben
• [SPARK-47238] [SC-158466][sql] Reduzieren der Speicherauslastung durch Erstellen von generiertem Code in WSCG als Übertragungsvariable
• [SPARK-47249] [SC-158133][connect] Behebung eines Fehlers, bei dem alle Verbindungsausführungen unabhängig vom tatsächlichen Status als abgebrochen betrachtet werden
• [SPARK-47202] [SC-157828][python] Tippfehler korrigieren, der Datumszeiten mit tzinfo zerstört.
• [SPARK-46834] [SC-158139][sql][Kollationen] Unterstützung für Aggregate
• [SPARK-47277] [ SC-158351][3.5] PySpark util function assertDataFrameEqual sollte das Streamen von DF nicht unterstützen
• [SPARK-47155] [SC-158473][python] Fehlerklassenproblem beheben
• [SPARK-47245] [SC-158163][sql] Verbessern des Fehlercodes für INVALID_PARTITION_COLUMN_DATA_TYPE
• [SPARK-39771] [SC-158425][core] Fügen Sie eine Warnung Dependency hinzu, wenn eine zu große Anzahl von Shuffle-Blöcken erstellt werden soll.
• [SPARK-47277] [ SC-158329] PySpark util function assertDataFrameEqual sollte streaming DF nicht unterstützen
• [SPARK-47293] [SC-158356][core] Erstelle batchSchema mit sparkSchema anstatt sequentieller Anfügung einzelner Komponenten
• [SPARK-46732] [SC-153517][connect] Ermöglichen, dass der Subquery/Broadcast-Thread mit der Artefaktverwaltung von Connect funktioniert.
• [SPARK-44746] [SC-158332][python] Hinzufügen weiterer Python UDTF-Dokumentation für Funktionen, die Eingabetabellen akzeptieren
• [SPARK-47120] [SC-157517][sql] Null-Vergleichsdatenfilter aus Unterabfragen erzeugt in NPE im Parkettfilter
• [SPARK-47251] [SC-158291][python] Blockieren ungültiger Typen aus dem args Argument für sql Befehl
• [SPARK-47251] Rückgängig machen: “[SC-158121][python] Ungültige Typen aus dem args Argument für sql Befehl blockieren”
• [SPARK-47015] [SC-157900][sql] Deaktivieren der Partitionierung für sortierte Spalten
• [SPARK-46846] [ SC-154308][core] WorkerResourceInfo explizit auf Serializable erweitern
• [SPARK-46641] [ SC-156314][ss] MaxBytesPerTrigger-Schwellenwert hinzufügen
• [SPARK-47244] [SC-158122][connect]SparkConnectPlanner interne Funktionen privat machen
• [SPARK-47266] [ SC-158146][connect] Geben Sie ProtoUtils.abbreviate denselben Typ wie die Eingabe zurück.
• [SPARK-46961] [SC-158183][ss] Verwenden von ProcessorContext zum Speichern und Abrufen des Handles
• [SPARK-46862] [SC-154548][sql] Deaktivieren des Löschens von CSV-Spalten im mehrzeiligen Modus
• [SPARK-46950] [SC-155803][core][SQL] Fehlerklasse ausrichten not available codec
• [SPARK-46368] [ SC-153236][core] Unterstützung readyz in der REST-Übermittlungs-API
• [SPARK-46806] [SC-154108][python] Verbessern der Fehlermeldung für spark.table, wenn der Argumenttyp falsch ist
• [SPARK-47211] [SC-158008][connect][PYTHON] Fix ignorierte PySpark Connect-Zeichenfolgensortierung
• [SPARK-46552] [ SC-151366][sql] Ersetzen UnsupportedOperationException durch SparkUnsupportedOperationException in catalyst
• [SPARK-47147] [SC-157842][python][SQL] Beheben des Fehlers bei der konvertierung von PySpark sortierten Zeichenfolgen
• [SPARK-47144] [SC-157826][connect][SQL][python] Beheben des Spark Connect-Sortierfehlers durch Hinzufügen des CollateId-Protobuf-Felds
• [SPARK-46575] [SC-153200][sql][HIVE] HiveThriftServer2.startWithContext DevelopApi wiederholbar machen und die Unzuverlässigkeit von ThriftServerWithSparkContextInHttpSuite beheben
• [SPARK-46696] [SC-153832][core] In ResourceProfileManager sollten Funktionsaufrufe nach Variablendeklarationen auftreten.
• [SPARK-47214] [SC-157862][python] Erstellen der UDTF-API für die Analysemethode zum Unterscheiden konstanter NULL-Argumente und anderer Arten von Argumenten
• [SPARK-46766] [SC-153909][sql][AVRO] ZSTD-Pufferpoolunterstützung für AVRO-Datenquelle
• [SPARK-47192] [SC-157819] Einige _LEGACY_ERROR_TEMP_0035-Fehler konvertieren
• [SPARK-46928] [SC-157341][ss] Fügen Sie Unterstützung für ListState in der Api für den beliebigen Zustand v2 hinzu.
• [SPARK-46881] [ SC-154612][core] Support spark.deploy.workerSelectionPolicy
• [SPARK-46800] [ SC-154107][core] Support spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] Beheben Des Fehlers, der falsche Parkettkomprimierungscodec lz4raw verwendet
• [SPARK-46791] [SC-154018][sql] Unterstützung für Java Set in JavaTypeInference
• [SPARK-46332] [SC-150224][sql] Migrieren CatalogNotFoundException zur Fehlerklasse CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] Standardwert eines breiteren Typs, der als schmales Literal von v2 definiert ist, verhält sich genauso wie in v1.
• [SPARK-46664] [SC-153181][Kern] Verbesserung von Master, um bei null Workern und Apps schnell wiederherzustellen.
• [SPARK-46759] [SC-153839][sql][AVRO] Codec xz und zstandard unterstützen das Kompressionsniveau für Avro-Dateien

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 15.2 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Skala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme des Posit Package Manager CRAN installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)