Databricks Runtime 14.2 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 14.2, unterstützt von Apache Spark 3.5.0.

Diese Version wurde von Databricks im November 2023 veröffentlicht.

Neue Features und Verbesserungen

• CACHE SELECT wird jetzt ignoriert.
• Verbessertes Zwischenspeicherungsverhalten
• Behandlung beschädigter Dateien in DML-Befehlen korrigiert
• Unterstützung der Schemaregistrierung für protobuf- und Avro-bezogene Funktionen in freigegebenen Clustern
• foreachBatch- und StreamingListener-Unterstützung
• Parallelität auf Zeilenebene ist allgemein verfügbar und standardmäßig aktiviert
• Delta Sharing: Empfänger können Batch-, CDF- und Streamingabfragen für freigegebene Tabellen mit Löschvektoren ausführen (Public Preview)
• Flacher Klon für externe Unity Catalog-Tabellen (Public Preview)
• Neuer Zuweisungsalgorithmus für die Datenträgerzwischenspeicherung
• from_avro mit Schemaregistrierungsconnector bietet Unterstützung für die Schemaentwicklung
• Schnellere Multithread-Statistiksammlung
• Pushdownfilter in DeltaSource für Delta-Dateien
• Unterstützung für skalare benutzerdefinierte Scala-Funktionen in freigegebenen Clustern (Public Preview)

CACHE SELECT wird jetzt ignoriert.

Der SQL-Befehl CACHE SELECT wird nun zugunsten eines verbesserten Cachealgorithmus ignoriert. Siehe Optimieren der Leistung mit Caching in Azure Databricks.

Verbessertes Zwischenspeicherungsverhalten

Die DiskCache-Platzierung durch den Spark Scheduler verfügt jetzt über eine schnellere Partitionszuweisung, einen besseren Ausgleich während der automatischen Cluster-Skalierung und eine konsistentere Abfrageausführung.

Behandlung beschädigter Dateien in DML-Befehlen korrigiert

Die DML-Befehle DELETE, UPDATE und MERGE INTO berücksichtigen nicht mehr die Leseoptionen ignoreCorruptFiles und ignoreMissingFiles. Bei einer nicht lesbaren Datei in einer Tabelle schlagen diese Befehle jetzt fehl, auch wenn diese Optionen angegeben sind.

Unterstützung der Schemaregistrierung für protobuf- und Avro-bezogene Funktionen in freigegebenen Clustern

Sie können jetzt die Python-Funktionen from_avro, to_avro, from_protobuf und to_protobuf mit Schema Registry in freigegebenen Clustern verwenden.

foreachBatch- und StreamingListener-Unterstützung

Sie können jetzt die foreachBatch()- und StreamingListener-APIs mit strukturiertem Streaming in freigegebenen Clustern verwenden. Weitere Informationen finden Sie unter Verwenden von foreachBatch zum Schreiben in beliebige Datensenken und Überwachen von strukturierten Streamingabfragen in Azure Databricks.

Parallelität auf Zeilenebene ist allgemein verfügbar und standardmäßig aktiviert

Parallelität auf Zeilenebene reduziert Konflikte zwischen gleichzeitigen Schreibvorgängen, indem Änderungen auf Zeilenebene erkannt werden. Parallelität auf Zeilenebene wird nur für Tabellen ohne Partitionierung unterstützt, darunter Tabellen mit Liquid Clustering. Die Parallelität auf Zeilenebene ist in Delta-Tabellen mit aktivierten Löschvektoren standardmäßig aktiviert. Weitere Informationen finden Sie unter Schreibkonflikte mit Parallelität auf Zeilenebene.

Delta Sharing: Empfänger können Batch-, CDF- und Streamingabfragen für freigegebene Tabellen mit Löschvektoren ausführen (Public Preview)

Delta Sharing-Empfänger können jetzt Batch-, CDF- und Streamingabfragen für freigegebene Tabellen ausführen, die Löschvektoren verwenden. Auf Databricks Runtime 14.1 können sie nur Batchabfragen ausführen. Weitere Informationen finden Sie unter Hinzufügen von Tabellen mit Löschvektoren oder Spaltenzuordnungen zu einer Freigabe, Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen und Lesen von Tabellen mit aktivierten Löschvektoren oder Spaltenzuordnungen.

Flacher Klon für externe Unity Catalog-Tabellen (Public Preview)

Sie können jetzt einen flachen Klon mit externen Unity Catalog-Tabellen verwenden. Weitere Informationen finden Sie unter Flacher Klon für Unity Catalog-Tabellen.

Neuer Zuweisungsalgorithmus für die Datenträgerzwischenspeicherung

Der Spark-Scheduler verwendet jetzt einen neuen Datenträgerzwischenspeicherungsalgorithmus. Der Algorithmus verbessert die Datenträgernutzung und Partitionszuweisung über Knoten hinweg, wobei die Zuweisung sowohl anfänglich als auch nach Clusterskalierungsereignissen schneller erfolgt. Die Stickiercachezuordnung verbessert die Konsistenz bei der Ausführung und reduziert die während der Rebalancing-Operationen verschobenen Daten.

from_avro mit Schemaregistrierungsconnector bietet Unterstützung für die Schemaentwicklung

Sie können ihre Pipelines jetzt so aktivieren, dass sie neu gestartet werden, wenn weiterentwickelte Datensätze erkannt werden. Wenn die Schemaentwicklung zuvor mit dem from_avro-Connector erfolgt ist, gaben die neuen Spalten null zurück. Siehe Lesen und Schreiben von Avro-Streamingdaten.

Schnellere Multithread-Statistiksammlung

Die Collection von Statistiken ist auf kleinen Clustern bis zu 10 Mal schneller, wenn Sie CONVERT TO DELTA oder das Klonen aus Apache Iceberg- und Parquet-Tabellen ausführen. Siehe Konvertieren in Delta Lake und Klonen von Parquet- und Iceberg-Tabellen.

Pushdownfilter in DeltaSource für Delta-Dateien

Für eine bessere Auslastung werden Partitionsfilter für Streamingabfragen von Delta-Tabellen jetzt vor dem Einschränken der Rate nach Delta verschoben.

Unterstützung für skalare benutzerdefinierte Scala-Funktionen in freigegebenen Clustern (Public Preview)

Sie können jetzt skalare benutzerdefinierte Funktionen auf Unity Katalog-fähigen Clustern verwenden, die mit dem Modus für gemeinsam genutzten Zugriff konfiguriert sind. Siehe Benutzerdefinierte Skalarfunktionen: Scala.

Bibliotheksupgrades

• Aktualisierte Python-Bibliotheken:
  • fastjsonschema von 2.18.0 bis 2.19.0
  • filelock von 3.12.3 auf 3.12.4
  • googleapis-common-protos von 1.60.0 auf 1.61.0
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:

Apache Spark

Databricks Runtime 14.2 enthält Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 14.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-45592] [DBRRM-624] Rückgängigmachen von "[SC-146977][sql] Korrektheitsproblem in AQE mit InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Rückgängig machen „[SC-146319][python][SQL] Erster Support für…"
• [SPARK-45433] [DBRRM-621] Revert „[SC-145163][sql] Fix CSV/JSON Schema-Erkennung...“
• [SPARK-45592] [SC-146977][sql] Problem mit der Korrektheit in AQE mit InMemoryTableScanExec
• [SPARK-45354] Revert "[SC-143991][sql] Funktionen von unten nach oben auflösen"
• [SPARK-45680] [ TEST-ONLY][sasp-2347][CONNECT] Fixtests
• [SPARK-45680] [CONNECT] Releasesitzung
• [SPARK-43380] [SC-146726][es-897115][SQL] Verlangsamung in Avro-Lesevorgang beheben
• [SPARK-45649] [SC-146742][sql] Das Vorbereitungsframework vereinheitlichen für OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Erstellen von StructType aus JSON
• [SPARK-45620] [SC-146225][python] Korrektur von benutzerseitigen APIs im Zusammenhang mit Python UDTF, sodass diese camelCase verwenden
• [SPARK-45727] [SC-146978][ss] Entfernen einer nicht verwendeten Karte in der Wasserzeichenverteilungssimulation
• [SPARK-45723] [SC-146890][python][CONNECT] Katalogmethoden vermeiden Pandas Konvertierung
• [SPARK-45574] [SC-146106][sql] Fügen Sie die :: Syntax als Abkürzung für das Casting hinzu
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit unterstützt --total-executor-cores nicht bei der Bereitstellung auf K8s
• [SPARK-45661] [SC-146594][SQL][PYTHON] Add toNullable in StructType, MapType und ArrayType
• [SPARK-45524] [SC-146319][python][SQL] Erste Unterstützung für python-Datenquellenlese-API
• [SPARK-45542] [ SC-145892][core] Ersetzen setSafeMode(HdfsConstants.SafeModeAction, boolean) durch setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: Behandeln leerer Eingabepartitionen nach dynamischer Filterung
• [SPARK-45454] [SC-144846][sql] Legen Sie den Standardbesitzer der Tabelle auf current_user
• [SPARK-45554] [ SC-146875][python] Einführung flexibler Parameter für assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] Verwenden der DataFrame-ID zum semantischen Überprüfen von CollectMetrics
• [SPARK-45674] [SC-146862][connect][PYTHON] Verbessern der Fehlermeldung für JVM-abhängige Attribute in Spark Connect.
• [SPARK-45646] [SC-146276][sql] Entfernen von hartcodierten Zeitvariablen vor Hive 2.0
• [SPARK-43380] [SC-146726][es-897115][SQL] Verlangsamung in Avro-Lesevorgang beheben
• [SPARK-45545] [SC-146484][core] Übergeben SSLOptions überall, wo wir einen SparkTransportConf erstellen.
• [SPARK-45641] [ SC-146260][ui] Zeigt die Startzeit der Anwendung auf AllJobsPage an.
• [SPARK-40154] [SC-146491][python][Docs] Korrigieren der Speicherebene in "Dataframe.cache docstring"
• [SPARK-45626] [SC-146259][sql] Umwandeln von _LEGACY_ERROR_TEMP_1055 in REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][sql] Korrektur der Korrektheit für geschachtelte korrelierte skalare Unterabfragen mit COUNT-Aggregaten
• [SPARK-45619] [SC-146226][connect][PYTHON] Wenden Sie die beobachteten Metriken auf das Beobachtungsobjekt an.
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Scaladoc-Verbesserung für StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][core] Vermeiden von ParVector, der ThreadLocals oder SparkSession nicht weitergibt.
• [SPARK-45604] [SC-146105][sql] LogicalType-Prüfung bei INT64 hinzufügen -> DateTime-Konvertierung bei Parquet Vectorized Reader
• [SPARK-44649] [SC-145891][sql] Der Laufzeitfilter unterstützt das Übergeben von gleichwertigen Ausdrücken der Erstellungsseite.
• [SPARK-41674] [SC-128408][sql] Der Laufzeitfilter sollte die mehrstufige Shuffle-Join-Seite als Filtererstellungsseite unterstützen.
• [SPARK-45547] [ SC-146228][ml] Überprüfen von Vektoren mit integrierter Funktion
• [SPARK-45558] [SC-145890][ss] Führt eine Metadatendatei für den Streamingstatusoperator ein
• [SPARK-45618] [SC-146252][core] BaseErrorHandler entfernen
• [SPARK-45638] [SC-146251][sql][Avro] Verbessern der Testabdeckung der Dezimalkonvertierung
• [SPARK-44837] [SC-146020][sql] Fehlermeldung "ALTER-Spalte ALTER TABLE ändernPARTITION"
• [SPARK-45561] [SC-146264][sql] Hinzufügen der richtigen Konvertierungen für TINYINT in MySQLDialect
• [SPARK-45632] [SC-146255][sql] Tabellencache sollte beim Aktivieren von AQE unnötige ColumnarToRow vermeiden
• [SPARK-45569] [SC-145932][sql] Weisen Sie dem Fehler _LEGACY_ERROR_TEMP_2152 einen Namen zu
• [SPARK-44784] [SC-141015][connect] Machen Sie SBT-Tests hermetisch.
• [SPARK-45452] [SC-144836][sql] InMemoryFileIndex zur Verwendung der FileSystem.listFiles API verbessern
• [SPARK-44735] [SC-146186][sql] Warnmeldung hinzufügen beim Einfügen von Spalten mit demselben Namen in Zeilen, die nicht übereinstimmen.
• [SPARK-45351] [SC-144791][core] Ändern des spark.shuffle.service.db.backend Standardwerts in ROCKSDB
• [SPARK-45553] [ SC-145906][ps] Veraltet assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] DeterministicLevel als DeveloperApi verfügbar machen
• [SPARK-45549] [SC-145895][Core] Entfernen Sie ungenutzte numExistingExecutors in CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] Einbeziehen von SqlState in SparkThrowable-Protonachricht
• [SPARK-45595] [SC-146037] Verfügbarmachen von sqlstate in der Fehlermeldung
• [SPARK-45628] [SC-146123][ml] Verbesserung vector_to_array für .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][NACHVERFOLGUNG] Deaktivieren der Dekorrelation in Verknüpfungsbedingungen für AQE InSubquery-Test
• [SPARK-45576] [SC-145883][core] Entfernen sie unnötige Debugprotokolle in ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][connect] Verbesserungen des Benutzer-Agents: Verwenden SPARK_CONNECT_USER_AGENT env-Variable und Einschließen von umgebungsspezifischen Attributen
• [SPARK-45508] [SC-145513][core] Fügen Sie "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" hinzu, damit die Plattform auf Cleaner auf Java 9+ zugreifen kann
• [SPARK-45595] Wiederherstellen von „[SC-146037] Verfügbarmachen von SQLSTATE in der Fehlermeldung“
• [SPARK-45595] [SC-146037] Verfügbarmachen von SQLSTATE in der Fehlermeldung
• [SPARK-45112] Rückgängig machen von "[SC-143259][sql] UnresolvedFunction verwenden ba..."
• [SPARK-45257] [SC-143411][core] Standardmäßig aktivieren spark.eventLog.compress
• [SPARK-45586] [SC-145899][sql] Reduzierung der Compilerlatenz für Pläne mit großen Ausdrucksbäumen
• [SPARK-45517] [ SC-145691][connect][14.x] Erweitern Sie weitere Ausnahmekonstruktoren zur Unterstützung von Fehlerframeworkparametern.
• [SPARK-45581] [SC-145896] SQLSTATE ist erforderlich
• [SPARK-45427] [SC-145590][core] Hinzufügen von RPC-SSL-Einstellungen zu SSLOptions und SparkTransportConf
• [SPARK-45261] [SC-143357][core] Fix EventLogFileWriters um none als Codec zu behandeln
• [SPARK-45582] [SC-145897][ss] Stellen Sie sicher, dass die Speicherinstanz nach dem Aufrufen des Commits innerhalb der Streamingaggregation im Ausgabemodus nicht verwendet wird.
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Festlegen von "rowTag" als erforderliche Option
• [SPARK-45392] [SC-144362][core][SQL][ss] Ersetzen durch Class.newInstance()Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Beheben der CSV/JSON-Schemaschlussfolgerung, wenn Zeitstempel nicht dem angegebenen timestampFormat entsprechen
• [SPARK-45458] [SC-145011][sql] IllegalArgumentException in SparkIllegalArgumentException in bitwiseExpressions konvertieren
• [SPARK-45564] [SC-145735][sql] Vereinfachen 'DataFrameStatFunctions.bloomFilter' über den Ausdruck 'BloomFilterAggregate'
• [SPARK-45566] [SC-145777][ps] Unterstützen Sie Pandas-ähnliche Testutils für die Pandas-API auf Spark
• [SPARK-45498] [SC-145509][Kern] Fortsetzung: Aufgabenabschluss aus alter Stufe ignorieren a...
• [SPARK-45483] [SC-145152][connect] Die Funktionsgruppen in "connect.functions" korrigieren.
• [SPARK-45577] [SC-145781][python] Fix UserDefinedPythonTableFunctionAnalyzeRunner, um gefaltete Werte aus benannten Argumenten zu übergeben
• [SPARK-45009] [ SC-138223][Nachverfolgung] Deaktivieren der Entkorrektur in Verknüpfungsbedingungen für AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Zulassen der selektiven Deaktivierung von „fallocate“ im RocksDB-StateStore
• [SPARK-45500] [SC-145134][core][WEBUI] Zeigt die Anzahl der ungewöhnlich abgeschlossenen Treiber in MasterPage an.
• [SPARK-44120] [ SC-144349][python] Unterstützung für Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] Reduzieren der Speicherauslastung von LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][ui] Unnötige JSON.stringify- und JSON.parse-Schleife für die Aufgabenliste im Phasendetail
• [SPARK-45567] [SC-145718][connect] Entfernen eines redundanten if in org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][sql] Verwenden der UnresolvedFunction-basierten Auflösung in SQL-Datasetfunktionen
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Machen Sie die Anforderung für add_artifact idempotent
• [SPARK-44913] [SC-144326][sql] DS V2 unterstützt Pushdown V2 UDF mit magischer Methode
• [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions Fehler
• [SPARK-45491] [SC-145622] Hinzufügen fehlender SQLSTATES 2/2
• [SPARK-45009] [SC-145620][sc-138223][SQL] Prädikats-Unterabfragen in Verknüpfungsbedingung dekorrelieren
• [SPARK-45377] [ SC-144377][core] Behandeln von InputStream in NettyLogger
• [SPARK-45248] [SC-143759][core]Festlegen des Timeouts für spark ui-Server
• [SPARK-44594] [SC-145611][ss] Entfernen des redundanten Methodenparameters in kafka connector
• [SPARK-45539] [SC-145621][ss] Hinzufügen von Assert und Protokoll zum Angeben der Wasserzeichendefinition ist für Streamingaggregationsabfragen im Anfügemodus erforderlich.
• [SPARK-44262] [SC-145639][sql] Hinzufügen von dropTable und getInsertStatement zu JdbcDialect
• [SPARK-45516] [SC-145480][connect] QueryContext in SparkThrowable-Proto-Nachricht einbeziehen
• [SPARK-45310] [SC-145127][Core] Der Bericht über den Shuffleblock-Status sollte den Shuffle-Dienst während der Außerbetriebnahmemigration berücksichtigen.
• [SPARK-45521] [SC-145487][ml] Vermeiden der Neuberechnung von nnz in VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] Ändern sie current_database() Spaltenalias in current_schema()
• [SPARK-45116] [SC-145142][sql] Fügen Sie einen Kommentar für Parameter von JdbcDialect hinzu. createTable
• [SPARK-45495] [SC-145529][core] Unterstützung für Aufgabenressourcenprofil auf Phasenebene für k8s-Cluster, wenn die dynamische Zuordnung deaktiviert ist
• [SPARK-45487] [SC-145559] Beheben von SQLSTATE- und temp-Fehlern
• [SPARK-45505] [ SC-145550][python] Refactor analyzeInPython, um es wiederverwendbar zu machen
• [SPARK-45132] [SC-145425][sql] Fix IDENTIFIER für Funktionsaufruf
• [SPARK-45213] [SC-145020][sql] Einen Namen dem Fehler _LEGACY_ERROR_TEMP_2151 zuweisen.
• [SPARK-45416] [ SC-145126][connect] Konsistenzüberprüfung der Pfeilergebnisse
• [SPARK-45163] [SC-143386][sql] Zusammenführung UNSUPPORTED_VIEW_OPERATION und UNSUPPORTED_TABLE_OPERATION und einige Probleme beheben
• [SPARK-45421] [SC-144814][sql] Erfasse AnalysisException über InlineCTE
• [SPARK-43664] [SC-145404][connect][PS] Auslösen einer Ausnahme für ps.sql das Pandas-on-Spark-Objekt in Spark Connect.
• [SPARK-45402] [SC-145371][sql][PYTHON] Fügen Sie UDTF-API für "eval"- und "terminate"-Methoden hinzu, um vorheriges "Analyseergebnis" zu nutzen.
• [SPARK-36112] [SC-67885][SQL] Unterstützung korrelierter EXISTS- und IN-Unterabfragen mithilfe des Frameworks „DecorrelateInnerQuery“
• [SPARK-45383] [SC-144929][sql] Behebt die Fehlermeldung für Zeitreisen mit einer nicht vorhandenen Tabelle
• [SPARK-43254] [SC-143318][sql] Weisen Sie dem Fehler einen Namen zu_LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Hinzufügen optionaler ExecuteHolder zu SparkConnectPlanner
• [SPARK-45451] [SC-145144][sql] Konfigurieren der Standardspeicherebene des Datasetcaches
• [SPARK-45192] [SC-143194][ui] Überfälligen lineInterpolate-Parameter für graphviz-Kante beheben
• [SPARK-45467] [ SC-145146][kern] Ersetzen Proxy.getProxyClass() durch Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Array Assembler-Featuretransformator hinzufügen
• [SPARK-44855] [SC-145226][connect] Kleine Optimierungen zum Anfügen von ExecuteGrpcResponseSender an ExecuteResponseObserver
• [SPARK-45398] [SC-144796][sql] Anfügen ESCAPE in sql() des Like Ausdrucks
• [SPARK-45494] [SC-145129][Core][PYTHON] Einführen vonUtil-Funktionen zum Lesen/Schreiben eines Bytearrays für PythonWorkerUtils
• [SPARK-45464] [SC-145125][core] Verteilungserstellung für Netzwerk-Yarn beheben
• [SPARK-45461] [SC-144851][core][SQL][mllib] Einführung eines Mappers für StorageLevel
• [SPARK-45450] [SC-145009][python] Korrigieren Sie Importe gemäß PEP8: pyspark.pandas und pyspark (Core)
• [SPARK-45475] [SC-145018][sql] Verwendet DataFrame.foreachPartition anstelle von RDD.foreachPartition in JdbcUtils
• [SPARK-45271] [SC-143778][sql] Zusammenführen _LEGACY_ERROR_TEMP_1113 in TABLE_OPERATION und Löschen einiger nicht verwendeter Methode in QueryCompilationErrors
• [SPARK-45449] [SC-145013][sql] Problem mit der Cache-Ungültigkeit bei JDBC-Tabellen
• [SPARK-45473] [SC-145017][sql] Fehlermeldung für RoundBase beheben
• [SPARK-43299] [SC-145022][ss][CONNECT] StreamingQueryException in Scala Client konvertieren
• [SPARK-45474] [SC-145014][core][WEBUI] Unterstützen der Filterung auf oberster Ebene in der MasterPage-JSON-API
• [SPARK-45205] [SC-145012][sql] CommandResultExec zum Überschreiben von Iteratormethoden, um das Auslösen mehrerer Aufträge zu vermeiden.
• [SPARK-45472] [SC-145004][ss] RocksDB State Store Muss das Vorhandensein des Prüfpunktpfads nicht erneut überprüfen
• [SPARK-45470] [SC-145010][sql] Vermeiden des Einfügens des Zeichenfolgenwerts der Hive-ORC-Komprimierungsart
• [SPARK-45448] [SC-144829][python] Korrigieren Sie Importe nach PEP8: pyspark.testing, pyspark.mllib, pyspark.resource und pyspark.streaming
• [SPARK-45446] [ SC-144828][python] Korrigieren Sie Importe gemäß PEP8: pyspark.errors und pyspark.ml
• [SPARK-45239] [SC-144832][connect] Reduzieren Sie die Standardgröße von spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [ SC-144831][python][CONNECT] DataFrame-Methoden überprüfen dieselbe Sitzung
• [SPARK-45413] [ SC-144847][Core] Hinzufügen einer Warnung für die Vorbereitung der LevelDB-Unterstützung
• [SPARK-45462] [ SC-144848][core][WEBUI] Show Duration in ApplicationPage
• [SPARK-44527] [SC-144855][sql] Ersetzen Sie ScalarSubquery durch NULL, wenn die maxRows 0 ist.
• [SPARK-45401] [SC-144854][python] Hinzufügen einer neuen Methode cleanup in der UDTF-Schnittstelle
• [SPARK-43704] [SC-144849][connect][PS] Support MultiIndex für to_series()
• [SPARK-45424] [SC-144888][sql] Fix TimestampFormatter gibt optionale Analyseergebnisse zurück, wenn nur eine Präfix-Übereinstimmung vorliegt
• [SPARK-45441] [ SC-144833][python] Einführen von mehrutil-Funktionen für PythonWorkerUtils
• [SPARK-45412] [SC-144803][python][CONNECT] den Plan und die Sitzung validieren in DataFrame.__init__
• [SPARK-45408] [SC-144810][core] Hinzufügen von RPC-SSL-Einstellungen zu TransportConf
• [SPARK-45432] [SC-144818][core] Entfernen veralteter Hadoop-2-Konstruktor LocatedFileStatus
• [SPARK-45434] [ SC-144819][ml][CONNECT] LogisticRegression überprüft die Trainingslabels
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] Add DataType.fromDDL into PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] Aus DataFrame-Konstruktor löschen schema
• [SPARK-45404] [SC-144799][Kern] Unterstützung der Umgebungsvariable AWS_ENDPOINT_URL
• [SPARK-43620] [SC-144792][connect][PS] Fix Pandas-APIs hängt von nicht unterstützten Features ab
• [SPARK-45354] [SC-143991][sql] Auflösen von Funktionen von unten nach oben
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Fügen Sie Wiederholungsversuche für die Artefakt-API hinzu. Verbessern der Fehlerbehandlung (Nachverfolgung zu [SPARK-45093]).
• [SPARK-45120] [SC-142780][spark-45150][UI] Upgrade d3 von v3 auf v7(v7.8.5) und Anwenden von API-Änderungen auf der Benutzeroberfläche
• [SPARK-44838] [ SC-143983][sql] raise_error Verbesserung
• [SPARK-45312] [SC-143754][sql][UI] Unterstützung für das Umschalten der Anzeige/Ausblendung des Plans-SVG auf der Ausführungsseite
• [SPARK-45378] [SC-144448][core] Hinzufügen von convertToNettyForSsl zu ManagedBuffer
• [SPARK-44762] [SC-144338][connect][CORE] Dokumentation für SparkConnect.addJobTag und Connect SparkSession.addTag
• [SPARK-45383] Behandeln Sie nicht aufgelöste RelationTimeTravel ordnungsgemäß
• [SPARK-45347] [SC-144512][sql][CONNECT] Einschließen von SparkThrowable in FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][sql] CheckAnalysis sollte einen in den AnalysisException eingebetteten Plan auslösen
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} sollte Ausnahmen auslösen, wenn der Plan ungültig ist.
• [SPARK-45227] [SC-144233][core] Behebung eines subtilen Threadsicherheitsproblems im CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][python] Überarbeiten Sie die Regel des ResolveFunctions-Analyysators, um die Erstellung von seitlichen Joins zu verzögern, wenn Tabellenargumente verwendet werden.
• [SPARK-45266] Wiederherstellen der "[SC-144171][python] Umstrukturierung der Auflösungsfunktionen-Analyse-Regel, um die Erstellung eines lateralen Joins zu verzögern, wenn Tabellenargumente verwendet werden"
• [SPARK-45371] [SC-144389][connect] Beheben von Schattierungsproblemen im Spark Connect Scala Client
• [SPARK-45057] [SC-144214][core] Vermeiden der Lesesperre, wenn keepReadLock falsch ist
• [SPARK-45385] [SC-144357][sql] Abkündigen spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Entfernen der SQL-Konfiguration spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Überarbeiten Sie die Regel des ResolveFunctions-Analyysators, um die Erstellung von seitlichen Joins zu verzögern, wenn Tabellenargumente verwendet werden.
• [SPARK-45362] [SC-144198][python] Blenden Sie PARTITION BY-Ausdrücke aus, bevor die Python UDTF "eval"-Methode sie verwendet
• [SPARK-45346] [ SC-143925][sql] Parquet-Schemainferenz sollte beim Zusammenführen von Schemata die Beachtung der Groß- und Kleinschreibung berücksichtigen.
• [SPARK-45341] [SC-143933][core] Korrigieren Sie die Titelebene in den Kommentaren von KVStore.java, um erfolgreich mit Java 17 ausgeführt zu werden sbt doc
• [SPARK-45334] [SC-143914][sql] Entfernen irreführenden Kommentars im parquetSchemaConverter
• [SPARK-45337] [ SC-143932][core] Refaktorieren AbstractCommandBuilder#getScalaVersion um die Prüfung auf Scala 2.12 zu entfernen
• [SPARK-45329] [SC-143918][python][CONNECT] Die DataFrame-Methoden überspringen die Pandas-Konvertierung
• [SPARK-43662] [SC-143923][ps][CONNECT] Unterstützung für merge_asof in Spark Connect
• [SPARK-44126] [SC-143751][Kern] Die Anzahl der Shuffle-Migrationsfehler sollte nicht erhöht werden, wenn der Ziel-Executor außer Betrieb genommen wird.
• [SPARK-44550] [ SC-119768][sql] Aktivieren von Korrekturen für die Genauigkeit im Rahmen von null IN (empty list) ANSI
• [SPARK-45316] [SC-143783][core][SQL] Fügen Sie neuen Parameter ignoreCorruptFiles/ignoreMissingFiles hinzu und HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Fehlerberichterstattung für addArtifacts-Abfrage
• [SPARK-44756] [SC-143787][core] Executor hängt, wenn RetryingBlockTransferor den Wiederholungsversuch nicht initiiert.
• [SPARK-45333] [SC-143768][Core] Beheben eines Fehlers bei einer Einheit im Zusammenhang mit spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][sql][CONNECT] Behandeln von NULL-Dateinamen in Stapelablaufverfolgungen von Ausnahmen
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId fügt Spalteninformationen hinzu
• [SPARK-45235] [SC-143314][connect][PYTHON] Map- und Array-Parameter unterstützen durch sql()
• [SPARK-45138] [SC-143309][ss] Definieren Sie eine neue Fehlerklasse, und wenden Sie sie an, wenn das Checkpointing des Zustands zu DFS fehlschlägt.
• [SPARK-45297] [SC-143644][sql] Umgehungslösung für den Datumsformatierer entfernen, die in SPARK-31827 hinzugefügt wurde
• [SPARK-44345] [SC-143593][core] Protokollebene auf WARN reduzieren, wenn die Shuffle-Migration aktiviert ist
• [SPARK-44463] [ SC-143251][ss][CONNECT] Verbessern der Fehlerbehandlung für Connect steaming Python Worker
• [SPARK-45207] [SC-143603][sql][CONNECT] Implementieren der Fehleranreicherung für Scala-Client
• [SPARK-45240] [SC-143602][sql][CONNECT] Implementieren der Fehleranreicherung für Python-Client
• [SPARK-45216] [SC-143288][sql] Das Beheben von nicht deterministischen Seeded-Dataset-APIs
• [SPARK-45251] [SC-143419][connect] Hinzufügen client_type Feld für FetchErrorDetails
• [SPARK-45137] [SC-143001][connect] Unterstützen von Zuordnungs-/Arrayparametern in parametrisierter Weise sql()
• [SPARK-45224] [ SC-143257][python] Fügen Sie Beispiele mit Map und Array als Parameter von hinzu. sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Implementieren von FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Fallback zum Ausführen eines einzelnen Batches für Trigger.AvailableNow mit nicht unterstützte Quellen anstelle von Wrappern
• [SPARK-44823] [14.x][sc-142979][PYTHON] Aktualisieren Sie Black auf 23.9.1 und beheben Sie die fehlerhafte Prüfung
• [SPARK-45078] [SC-142954][sql] Fix array_insert ImplicitCastInputTypes funktioniert nicht
• [SPARK-44579] [SC-138428][sql] Unterstützung Abbrechen bei Unterbrechung in SQLExecution
• [SPARK-45252] [SC-143371][core] Die Größer/Kleiner-als-Symbole in den Kommentaren escapen, damit sbt doc erfolgreich ausgeführt wird.
• [SPARK-45189] [SC-142973][sql] Das Erstellen von "UnresolvedRelation" aus "TableIdentifier" sollte das Katalogfeld enthalten.
• [SPARK-45229] [SC-143254][Core][UI] Zeigt die Anzahl der Driver an, die im übermittelten Status in MasterPage warten
• [SPARK-43453] Rückgängig machen von “[SC-143135][ps] Ignorieren des names von MultiIndex wenn axis=1 für concat”

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Siehe Databricks Runtime 14.2 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Skala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2023-02-10 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)