Databricks Runtime 13.3 LTS

下列版本資訊提供由 Apache Spark 3.4.1 提供之 Databricks Runtime 13.3 LTS 的相關信息。

Databricks 於 2023 年 8 月發行此版本。

新功能和改進

• 共用叢集的 Scala 支援
• 於 Unity Catalog 標準叢集中，Init 腳本、JAR 和 Maven 座標的允許清單處於公開預覽階段
• init 指令和 JAR 的磁碟區支援為公開預覽
• Delta Lake 作業預設啟用安全轉換
• 使用 Unity Catalog 引進標籤
• 如果查詢規劃和調用之間修改檔案，Databricks Runtime 會傳回錯誤
• 使用動態分割覆寫時封鎖架構覆寫
• 將 copyFile API 整合到 dbutils.fs.cp
• Databricks ODBC/JDBC 驅動程序支援
• 支援未命名（位置）參數標記
• 啟用時間序列資料行標籤
• 新的點陣圖 SQL 函式
• 改善的加密函式
• 對於 Unity Catalog 的支援 REFRESH FOREIGN
• INSERT 依名稱
• 使用 Delta Sharing 共用具體化檢視

共用叢集的 Scala 支援

使用 Databricks Runtime 13.3 和更新版本時，已啟用 Unity 目錄的共用叢集現在支援 Scala。

在 Unity Catalog 標準叢集（以前稱為共享叢集）上，Init 腳本、JAR 和 Maven 座標的允許名單已進入公開預覽狀態。

您現在可以利用 Unity Catalog allowlist 控制在執行 Databricks Runtime 13.3 及以上版本的計算資源上，以預設訪問模式安裝 Init 腳本、JAR 和 Maven 座標。 請參閱 使用標準存取模式計算的 Allowlist 連結庫和 init 命令稿（先前稱為共用存取模式）。

init 指令和 JAR 的磁碟區支援為公開預覽

您現在可以使用 Unity 目錄磁碟區，在計算上使用專用或標準存取模式來儲存 init 腳本和 JAR，以執行 Databricks Runtime 13.3 和更新版本。 請參閱 init 腳本可以安裝在哪裡？ 和 計算範圍程式庫。

Delta Lake 作業預設啟用安全轉換

當值無法安全地轉換成目標數據表架構中的類型時，差異 UPDATE 和 MERGE 作業現在會產生錯誤。 Delta 中的所有隱含轉換現在都遵循 spark.sql.storeAssignmentPolicy ，而不是 spark.sql.ansi.enabled。 請參閱 Databricks Runtime 中的 ANSI 合規性。

使用 Unity Catalog 引進標籤

使用 Databricks Runtime 13.3 LTS 和更新版本，您可以將標籤套用至安全性實體物件。 標籤可協助您組織安全性物件，並簡化資料資產的搜尋和探索。 請參閱<將標籤套用至 Unity 目錄安全性實體物件>。

如果查詢規劃和調用之間修改檔案，Databricks Runtime 會傳回錯誤

Databricks 運行時間查詢現在會在查詢規劃和叫用之間更新檔案時傳回錯誤。 在此變更之前，Databricks Runtime 會在這些階段之間讀取檔案，這偶爾會導致無法預期的結果。

使用動態分割覆寫時封鎖架構覆寫

您無法在 Delta Lake 中會動態分割區覆寫設定 overwriteSchema 為 true 。 這可防止因為架構不符而導致可能的數據表損毀。 請參閱 動態分割區覆寫。

將 copyFile API 整合到 dbutils.fs.cp

dbutils copy 命令 dbutils.fs.cp 現在已針對更快速的複製進行優化。 有了這項改善，複製作業的速度可能會快 100 倍，視檔案大小而定。 此功能適用於 Azure Databricks 中可存取的所有檔案系統，包括 Unity 目錄磁碟區和 Databricks 檔案系統掛接。

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援過去兩年內釋出的 ODBC 與 JDBC 驅動程式。 在下載 ODBC 驅動程式並下載 JDBC 驅動程式下載最新的驅動程式。

支援未命名（位置）參數標記

除了 SparkSession.sql() 使用語法的參數化查詢之外，API 現在還支援使用 ?:parm 語法的參數化查詢。 請參閱 參數標記。

啟用時間序列資料行標籤

您現在可以在建立主鍵條件約束時，為時間序列數據行加上標籤。

新的點陣圖 SQL 函式

Azure Databricks 現在提供了一組函式，可用來將整數數值對應至位圖並加以匯總。 這可用來預先計算相異值的數目。

• 位圖_位元位置
• 位圖桶編號
• bitmap_construct_agg
• 位圖計數
• bitmap_or_agg

改善的加密函式

aes_encrypt、aes_decrypt和try_aes_decrypt函式已改善，並支援初始化向量（IV）和已驗證的其他數據（AAD）。

REFRESH FOREIGN 的 Unity 目錄支援

您現在可以使用 REFRESH FOREIGN CATALOG、 REFRESH FOREIGN SCHEMA和 REFRESH FOREIGN TABLE更新 Unity 目錄中的外部目錄、架構和資料表。 請參閱 REFRESH FOREIGN （CATALOG、 SCHEMA和 TABLE）。

INSERT 按名稱

將數據列插入數據表時，您現在可以讓 Azure Databricks 依名稱自動將源查詢中的數據行和欄位對應至資料表的數據行。 請參閱 INSERT INTO。

使用 Delta Sharing 共用具體化檢視

敘述 ALTER SHARE 現在支援具體化檢視。

重大變更

在具有 MERGE INTO 和 UPDATE 的數據表中儲存數據行時，隱含轉換的變更

Azure Databricks 現在會遵循在 spark.sql.storeAssignmentPolicy 數據表中儲存數據列時隱含轉換的設定。 預設值 ANSI 會在儲存溢位的值時擲回錯誤。 先前，值預設會儲存為 NULL 。

如下列範例所示，您可以藉由重寫數據表來針對造成錯誤的數據行使用更廣泛的類型來解決溢位問題。

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet 架構推斷變更

從 Spark 未寫入的 Parquet 檔案推斷架構時， int64 加上批注的 isAdjustedToUTC=false 時間戳數據行現在會預設為 TIMESTAMP_NTZ 類型。 先前，這些會推斷為 TIMESTAMP 類型。 此更新可增強將 Parquet 類型對應至 Spark SQL 類型的精確度。

因此，如果功能未啟用，將數據從外部 Parquet 檔案讀取到 Delta 資料表可能會導致錯誤 timestampNtz 。 錯誤會顯示如下：

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

若要維護先前的行為並避免發生此錯誤，您可以將 Spark 組態參數 spark.sql.parquet.inferTimestampNTZ.enabled 設定為 false。

連結庫升級

• 升級的 Python 連結庫：
  • debugpy 從 1.5.1 到 1.6.0
  • 從 0.3.6 到 0.3.7 的 distlib
  • fastjsonschema 從 2.16.3 到 2.18.0
  • filelock 從 3.12.0 到 3.12.2
• 升級的 R 連結庫：
  • 從 3.4.0 到 3.4.1 的 SparkR
• 升級的 Java 程式庫：
  • org.apache.orc.orc-core，從 1.8.3-shaded-protobuf 到 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce 從 1.8.3-shaded-protobuf 到 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims from 1.8.3 到 1.8.4
  • org.eclipse.jetty.jetty-client 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client 從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet，從 9.4.50.v20221201 到 9.4.51.v20230217
  • org.xerial.snappy.snappy-java 從 1.1.8.4 到 1.1.10.1

Apache Spark

Databricks Runtime 13.3 包含 Apache Spark 3.4.1。 此版本包含前一版本中所有 Spark 的修正與改進，以及以下內容：

• 您現在可以將叢集環境變數 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 設定為使用 Spark-snowflake 連接器 v2.12.0。
• [SPARK-43380] [ DBRRM-383] 還原“[SC-133100][sql] 修正 Avro 數據類型轉換問題……”
• [SPARK-44504] [Backport][13.2][13.x][13.3] 卸除提供者，藉此強制 DB 實例關閉並釋放維護工作錯誤的資源
• [SPARK-44059] [SC-137023]為內建函式新增具名自變數的分析器支援
• [SPARK-44485] [ SC-137653][sql] Optimize TreeNode.generateTreeString
• [SPARK-42944] [ SC-137164][ss][PYTHON] Streaming ForeachBatch in Python
• [SPARK-44446] [ SC-136994][python] 新增預期的清單類型特殊案例檢查
• [SPARK-44439] [SC-136973][connect][SS]已修正 listListeners 僅將識別碼傳回給用戶端
• [SPARK-44216] [SC-136941][PYTHON]將 assertSchemaEqual API 設為公用
• [SPARK-44201] [SC-136778][connect][SS]新增對 Scala for Spark Connect 中串流接聽程序的支援
• [SPARK-43915] [SC-134766][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] 還原 “[SC-133990][sql][PYTHON] 支援 Python 使用者定義數據表函式”
• [SPARK-44398] [ SC-136720][connect] Scala foreachBatch API
• [SPARK-44476] [SC-137169][core][CONNECT] 修復 JobArtifactState 中沒有相關聯工件時工件填充問題。
• [SPARK-44269] [ SC-135817][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][sql] 更新 TVF 參數，要求在關鍵字後面的標識符周圍加上括號
• [SPARK-43915] [SC-134766][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [ SC-136794][spark-43996][CONNECT] 將 UDFRegistration 的支援新增至 Connect Scala 用戶端
• [SPARK-44109] [ SC-134755][core] 移除每個 RDD 分割區重複的慣用位置
• [SPARK-44169] [SC-135497][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] 將名稱分配給 _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [ SC-136720][connect] Scala foreachBatch API
• [SPARK-44153] [SC-134977][core][UI] 支援Heap Histogram標籤中的Executors列
• [SPARK-44044] [ SC-135695][ss] 使用串流改善視窗函式的錯誤訊息
• [SPARK-43914] [ SC-135414][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [ SC-136805][python] 允許 fp 近似相等的自定義精確度
• [SPARK-44370] [ SC-136575][connect] 將 Buf 遠端生成 Alpha 遷移至遠端插件
• [SPARK-44410] [ SC-136930][python][CONNECT] 在建立時設定使用中的會話，而不僅僅是在 getOrCreate 時設定。
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] 重新啟用具有相關變更的 test_artifact 測試
• [SPARK-44145] [SC-136698][sql] 準備執行時回呼
• [SPARK-44264] [ SC-136870][python][ML] FunctionPickler 類別
• [SPARK-43986] [ SC-135623][sql] 建立 HyperLogLog 函式呼叫失敗的錯誤類別
• [SPARK-44139] [ SC-134967][sql] 捨棄群組型 MERGE 作業中完全下推的篩選
• [SPARK-44338] [SC-136718][sql] 修正檢視架構不符錯誤訊息
• [SPARK-44208] [ SC-135505][core][SQL] 為直接使用例外狀況的某些邏輯指派明確的錯誤類別名稱
• [SPARK-44364] [SC-136773][PYTHON]針對預期新增 List[Row] 資料類型的支援
• [SPARK-44180] [ SC-136792][sql] DistributionAndOrderingUtils 應套用 ResolveTimeZone
• [SPARK-43389] [ SC-136772][sql] 增加了對 lineSep 選項的空值檢查
• [SPARK-44388] [ SC-136695][connect] 修正 UDF 實例更新時的 protobuf 轉換問題
• [SPARK-44352] [ SC-136373][connect] 在 DataType 中放回 sameType 和 friend。
• [SPARK-43975] [ SC-134265][sql] DataSource V2：處理 UPDATE 群組型來源的命令
• [SPARK-44360] [ SC-136461][sql] 支援基於增量的 MERGE 作業中的架構修剪
• [SPARK-44138] [ SC-134907][sql] 禁止合併條件中的非決定性表達式、子查詢和匯總
• [SPARK-43321] [ SC-136678][connect][Followup] 適用於 Scala 用戶端 joinWith 中使用的 API 更好的名稱
• [SPARK-44263] [ SC-136447][connect] 自定義攔截器支援
• [SPARK-39851] [ SC-123383][sql] 如果一端可以保留唯一性，改善聯結統計數據估計
• [SPARK-44390] [ SC-136677][core][SQL] 重新命名 SparkSerDerseUtils 為 SparkSerDeUtils
• [SPARK-44004] [ SC-134751][sql] 為常見的舊版錯誤指派名稱並改善其錯誤訊息。
• [SPARK-44322] [ SC-136204][connect] 讓剖析器使用 SqlApiConf 而非 SQLConf。
• [SPARK-44271] [ SC-136347][sql] 將預設值函式從 StructType 移至 ResolveDefaultColumns
• [SPARK-44332] [ SC-136413][core][WEBUI] 修正執行程式 UI 頁面上執行程式標識符數據行的排序錯誤
• [SPARK-44282] [SC-135948][connect] 準備 DataType 解析以用於 Spark Connect Scala 客戶端
• [SPARK-44349] [ SC-136581][r] 將數學函式新增至 SparkR
• [SPARK-44397] [ SC-136647][python] 在 pyspark.testing.utils 中公開 assertDataFrameEqual
• [SPARK-42981] [ SC-136620][connect] 新增直接箭號串行化
• [SPARK-44373] [ SC-136577][sql] 為 Dataset API 包裝 withActive 和解析邏輯，以使解析器相關的配置能夠生效
• [SPARK-44340] [ SC-136574][sql] 透過 PartitionEvaluator API 定義運算邏輯，並將其用於 WindowGroupLimitExec
• [SPARK-43665] [ SC-136573][connect][PS] 啟用 PandasSQLStringFormatter.vformat 以使用 Spark Connect
• [SPARK-44325] [ SC-136572][sql] 在 SortMergeJoinExec 中使用 PartitionEvaluator API
• [SPARK-44315] [ SC-136171][sql][CONNECT] 將 DefinedByConstructorParams 移至 sql/api
• [SPARK-44275] [ SC-136184][connect] 將可設定的重試機制新增至 Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] 將所使用的公用程式從 Scala 用戶端移至通用模組
• [SPARK-43321] [ SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [ SC-136372][connect] 為遷移至 SQL/API 做好 ScalaReflection 的準備
• [SPARK-44313] [SC-136081][sql] 修正當架構中有 char/varchar 欄位時，對生成欄位表達式的驗證。
• [SPARK-43963] [ SC-134145][sql] DataSource V2：處理群組型來源的 MERGE 命令
• [SPARK-44363] [SC-136433][PYTHON]在 DataFrame 比較中顯示不相等數據列的百分比
• [SPARK-44251] [SC-136432][sql] 正確設定全外部 USING 聯結中聯結鍵的可為 Null 屬性
• [SPARK-43948] [ SC-133366][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [ SC-136326][connect][PYTHON] 將hll_sketch_agg、hll_union_agg、to_varchar、try_aes_decrypt新增至 Scala 和 Python
• [SPARK-44351] [ SC-136353][sql] 進行一些語法簡化
• [SPARK-44281] [SC-135963][sql] 將 DataType使用的查詢編譯錯誤移至 sql/api，並命名為 DataTypeErrors。
• [SPARK-44283] [ SC-136109][connect] 將原始來源移至 SQL/API
• [SPARK-43926] [ SC-135590][connect][PYTHON] 將數組agg、array_size、基數、count_min_sketch、mask、named_struct、json* 新增至 Scala 和 Python
• [SPARK-44327] [ SC-136187][sql][CONNECT] 將函式 any 和 len 新增至 Scala
• [SPARK-44290] [SC-136300][connect] Spark Connect 中的會話型檔案和封存
• [SPARK-44061] [ SC-136299][python] 新增 assertDataFrameEqual util 函式
• [SPARK-44331] [ SC-136324][connect][PYTHON] 將位圖函式新增至 Scala 和 Python
• [SPARK-44342] [ SC-136334][sql] 用 SparkSession 取代 GenTPCDSData 的 SQLContext
• [SPARK-42583] [ SC-124190][sql] 若所有聚合函數皆為相異，則移除外部聯接。
• [SPARK-44333] [ SC-136206][connect][SQL] 將 EnhancedLogicalPlan 移出 ParserUtils
• [SPARK-43824] [ SC-132655][spark-43825] [SQL] 將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [ SC-134602][connect][PYTHON] 將try_* 函式新增至 Scala 和 Python
• [SPARK-44193] [ SC-135886][connect] 實現 GRPC 例外攔截以進行轉換
• [SPARK-44284] [ SC-136107][connect] 建立 sql/api 的簡單 conf 系統
• [SPARK-43913] [ SC-133368][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] 還原 “[SC-135924][spark-43416][CONNECT] 修正範圍查詢不正確的架構”
• [SPARK-44312] [ SC-136185][connect][PYTHON] 允許使用環境變數設定使用者代理程式
• [SPARK-44154] [SC-136060]實作點圖函式
• [SPARK-43885] [ SC-133996][sql] DataSource V2：處理基於 Delta 的來源的 MERGE 命令
• [SPARK-43924] [ SC-135161][connect][PYTHON] 將 misc 函式新增至 Scala 和 Python
• [SPARK-43969] [ SC-134556][sql] 重構和指派名稱給錯誤類別_LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [ SC-135730][sql] 修正目錄和數據作業之間的不一致路徑限定
• [SPARK-44073] [ SC-134562][sql][PYTHON][connect] 將日期時間函式新增至 Scala、Python 和 Connect - 第 2 部分
• [SPARK-43942] [ SC-134527][connect][PYTHON] 將字串函式新增至 Scala 和 Python - 第 1 部分
• [SPARK-44266] [ SC-135813][sql] 將 Util.truncatedString 移至 sql/api
• [SPARK-44195] [ SC-135722][r] 將 JobTag API 新增至 SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] 支援 TableValuedFunction 的參數剖析規則
• [SPARK-44254] [ SC-135709][sql] 將 DataType 所使用的 QueryExecutionErrors 移至 sql/api 作為 DataTypeErrors
• [SPARK-44291] [ SC-135924][spark-43416][CONNECT] 修正範圍查詢不正確的架構
• [SPARK-43922] [ SC-135612][sql] 針對函式調用在解析器中新增具名參數支援
• [SPARK-44300] [ SC-135882][connect] 修正工件清理，以將刪除範圍限制在會話特定的工件
• [SPARK-44293] [SC-135849][connect] 修正 Spark Connect 中自訂 JAR 的無效 URI
• [SPARK-44215] [ SC-135850][shuffle] 如果分塊數為 0，則伺服器應該拋出 RuntimeException
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe 的 sample() doctests 應該僅供說明
• [SPARK-44274] [ SC-135814][connect] 將 ArtifactManager 所使用的 util 函式移出至 common/utils
• [SPARK-44194] [ SC-135815][python][CORE] 將 JobTag API 新增至 PySpark SparkContext
• [SPARK-42828] [ SC-135733][python][SQL] GroupedData 更明確的 Python 類型註解
• [SPARK-44079] [SC-135486][sql] 修正使用 PERMISSIVE 模式搭配損毀記錄時，剖析陣列為結構ArrayIndexOutOfBoundsException
• [SPARK-44255] [ SC-135809][sql] 將 StorageLevel 重新定位為 common/utils
• [SPARK-42169] [SC-135795][SQL]實作to_csv函式的程式代碼產生 （StructsToCsv）
• [SPARK-44249] [SC-135719][sql][PYTHON] 重構 PythonUDTFRunner 以個別傳送其傳回類型
• [SPARK-43353] [SC-132734][python] 將剩餘的會話錯誤移轉至錯誤類別
• [SPARK-44211] [ SC-135718][python][CONNECT] 實作SparkSession.is_stopped
• [SPARK-42784] [SC-135691] 當合併 dir 中的 subDir 數目小於 conf 時，仍應該建立 subDir
• [SPARK-41599] [SC-135616]使用 InProcessLauncher 將應用程式提交至安全叢集時，FileSystem.CACHE 中的記憶體流失
• [SPARK-44241] [SC-135613][核心] 將 io.connectionTimeout/connectionCreationTimeout 錯誤地設定為零或負數會導致執行緒進行無休止的建立/銷毀。
• [SPARK-44133] [ SC-134795][13.x][PYTHON] 將 MyPy 從 0.920 升級至 0.982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
• [SPARK-44188] [SC-135173][core] 移除無用的方法resetAllPartitions在ActiveJob中
• [SPARK-43757] [ SC-135418][connect] 將用戶端相容性從允許列表變更為拒絕清單
• [SPARK-43474] [SC-135521][SS][CONNECT]新增 Spark 依標識符連線至運行時間數據框架的存取權。
• [SPARK-44183] [ SC-135209][python] 將最低版本提高PyArrow至 4.0.0
• [SPARK-44248] [ SC-135554][ss][SQL][kafka] 在 kafka 來源 v2 中新增慣用的位置
• [SPARK-43929] [ SC-134510][sql][PYTHON][connect] 將日期時間函式新增至 Scala、Python 和 Connect API - 第 1 部分
• [SPARK-44161] [SC-135326][connect] 處理 UDF 的數據列輸入
• [SPARK-44227] [SC-135520][sql] 從 StructField 擷取 SchemaUtils
• [SPARK-44064] [SC-135116][core][SQL] 將新的 apply 函式新增至 NonFateSharingCache
• [SPARK-44171] [ SC-135269][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2279-2282] 並刪除一些未使用的錯誤類別
• [SPARK-44056] [ SC-134758][sql] 可用時在 UDF 執行失敗錯誤訊息中包含 UDF 名稱
• [SPARK-44205] [ SC-135422][sql] 從 DecimalType 擷取催化劑程序代碼
• [SPARK-44220] [SC-135484][sql] 將 StringConcat 移至 sql/api
• [SPARK-44146] [ SC-135230][connect] 隔離 Spark Connect 會話 Jar 檔案 和 類別檔案
• [SPARK-44206] [ SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [ SC-135417][sql] 修正測試案例中解釋性查詢可能觸發 Codegen 執行
• [SPARK-44204] [SC-135253][sql][HIVE] 添加遺漏的 recordHiveCall 用於 getPartitionNames
• [SPARK-44237] [SC-135485][core] 簡化 DirectByteBuffer 建構函式查閱邏輯
• [SPARK-44189] [ SC-135170][connect][PYTHON] 支援透過sql()的位置參數
• [SPARK-44140] [ SC-134893][sql][PYTHON] 支援 Python 中的位置參數 sql()
• [SPARK-44164] [ SC-135158][sql] 將 toAttribute 方法從 StructField 擷取至 Util 類別
• [SPARK-44178] [SC-135113][connect] 支援位置參數的使用 sql()
• [SPARK-43208] [ SC-128955][sql][HIVE] IsolatedClassLoader 在讀取后應該關閉屏障類別 InputStream
• [SPARK-43063] [ SC-128382][sql] df.show 處理 null 應該列印 NULL 而不是 null
• [SPARK-42539] [ SC-124464][sql][HIVE] 當使用元數據用戶端的 'builtin' Hive 版本時，移除獨立的類別載入器。
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] 新增 Catalog.listFunctions 的選擇性模式
• [SPARK-44066] [ SC-134878][sql] 支援 Scala/Java 中的位置參數 sql()
• [SPARK-44078] [SC-134869][connect][CORE] 新增類別載入器/資源隔離的支援
• [SPARK-43470] [ SC-135187][core] 將 OS、Java、Python 版本資訊新增至應用程式記錄
• [SPARK-43136] [ SC-135238][connect][後續] 新增 KeyAs 的測試
• [SPARK-39740] [ SC-135093][ui]： 將 vis timeline 升級至 7.7.2 以修正 CVE-2020-28487
• [SPARK-42298] [ SC-133952][sql] 將名稱指派給 _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [ SC-133459][sql][PYTHON][connect] 新增 Catalog.listTables 的選擇性模式
• [SPARK-44026] [SC-135181]允許提供 SQLMetrics 的初始值
• [SPARK-44202] [ SC-135244][core] 將 JobTag API 新增至 JavaSparkContext
• [SPARK-44030] [ SC-135237][sql] 實作 DataTypeExpression 以提供 Unapply for expression
• [SPARK-43876] 還原 “[SC-134603][sql] 為不同的查詢啟用快速哈希對應”
• [SPARK-40082] [SC-126437]排程 mergeFinalize 時推送合併隨機MapStage 重試，但沒有執行中的工作
• [SPARK-43888] [SC-132893][core] 將記錄重新定位至一般/公用程式
• [SPARK-43474] [SC-134400][SS][CONNECT]將 SessionHolder 新增至 SparkConnectPlanner
• [SPARK-43944] [ SC-134490][connect][PYTHON] 將字串函式新增至 Scala 和 Python - 第 2 部分
• [SPARK-44134] [ SC-134954][核心] 修正在 spark-defaults.conf 中設定資源時，將資源誤設為 0 的問題。
• [SPARK-44142] [ SC-134947][python] 將公用程式中的 type 取代為 tpe，將 python 類型轉換為 spark 類型
• [SPARK-43952] [ SC-134695][core][CONNECT][sql] 新增 SparkContext APIs 以透過標記取消查詢
• [SPARK-44000] [SC-133634][sql] 新增指令以停用廣播和複製聯結的一端
• [SPARK-43937] [ SC-134362][connect][PYTHON] 新增 ifnull，isnotnull，equal_null，nullif，nvl，nvl2 至 Scala 和 Python
• [SPARK-43624] [ 13.x][sc-134557][PS][connect] 新增 EWM 至 SparkConnectPlanner。
• [SPARK-44040] [SC-134366][sql] 修正 AggregateExec 節點在 QueryStageExec 上方時的計算統計數據問題
• [SPARK-43485] [SC-131264][sql] 修正 datetime add/diff 函式自變數的錯誤訊息unit
• [SPARK-43794] [ SC-132561][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [ SC-134749][connect][SS]實作 MapGroupsWithState 和 FlatMapGroupsWithState 的 API 用於 Spark Connect
• [SPARK-43529] [SQL] 支援 CREATE/REPLACE TABLE OPTIONS 運算式 + 程式代碼清除
• [SPARK-44106] [ SC-134750][python][CONNECT] 新增 __repr__ 用於 GroupedData
• [SPARK-42299] [SC-133190]將名稱指派給_LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [ SC-134388][sql] 新增對 aes_encrypt IV 和 AAD 的支援
• [SPARK-43932] [ SC-134138][sql][PYTHON][connect] 將類似函式新增 current 至 Scala 和 Python
• [SPARK-43934] [ SC-134108][sql][PYTHON][connect] 將regexp_* 函式新增至 Scala 和 Python
• [SPARK-44107] [SC-134746][connect][PYTHON] 隱藏不支援欄位方法的自動完成選項
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
• [SPARK-43773] [ SC-132659][connect][PYTHON] 在 Python 用戶端中實作 'levenshtein（str1， str2[， threshold]）' 函式
• [SPARK-44125] [ SC-134745][r] 在 SparkR 中支援 Java 21
• [SPARK-43919] [SC-133374][sql] 從數據列擷取 JSON 功能
• [SPARK-43769] [ SC-132520][connect] 實作 'levenshtein（str1， str2[， threshold]）' 函式
• [SPARK-44012] [ SC-134662][ss] KafkaDataConsumer 列印一些讀取狀態
• [SPARK-43876] [SC-134603][sql] 啟用不同查詢的快速哈希對應
• [SPARK-44024] [SC-134497][sql] 修改為當map僅用於擷取單一元素時才使用unzip
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] 在 Scala、Python 和 Connect API 中新增位元運算功能
• [SPARK-44092] [SC-134506][core] 新增 Utils.isJavaVersionAtLeast21 並使 core 模組在 Java 21 下通過
• [SPARK-44018] [SC-134512][sql] 改善某些 DS V2 表達式的 hashCode 和 toString
• [SPARK-44105] [SC-134582][sql] LastNonNull 應該延遲解決
• [SPARK-44081] [SC-134434]簡化 PartitionedFileUtil API 一點點
• [SPARK-43791] [SC-132531][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435]定義和使用未解決[分葉|一元]節點特性。
• [SPARK-43852] [ SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] 將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] 重構預設欄位值解析
• [SPARK-43493] [ SC-132063][sql] 將最大距離自變數新增至 levenshtein（） 函式
• [SPARK-44075] [ SC-134382][connect] 使 transformStatCorr 懶惰化
• [SPARK-43925] [ SC-134381][sql][PYTHON][connect] 新增 bool_or、bool_and、every 函數到 Scala、Python 和 Connect
• [SPARK-43931] [ SC-134158][sql][PYTHON][connect] 將make_* 函式新增至 Scala 和 Python
• [SPARK-43762] [ SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] 改善錯誤訊息：CANNOT_DECODE_URL、、CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE、CANNOT_PARSE_DECIMALCANNOT_READ_FILE_FOOTER、 CANNOT_RECOGNIZE_HIVE_TYPE。
• [SPARK-43938] [ SC-133887][connect][PYTHON] 將to_* 函式新增至 Scala 和 Python
• [SPARK-44055] [SC-134321][核心] 移除多餘的 override 功能 CheckpointRDD
• [SPARK-43802] [SC-132597][sql] 修正 failOnError=true 的 unhex 和 unbase64 的代碼生成问题。
• [SPARK-43798] [SC-133990][sql][PYTHON] 支援 Python 使用者定義數據表函式
• [SPARK-43941] [ SC-134286][sql][PYTHON][connect] 新增any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、減少至 Scala、Python 和 Connect API
• [SPARK-43380] [ SC-133100][sql] 修正 Avro 數據類型轉換問題，以避免產生不正確的結果
• [SPARK-43803] [SC-133729][SS][CONNECT]改善 awaitTermination（） 以處理用戶端中斷連線
• [SPARK-43179] [SC-129070][混洗] 允許應用程式控制其元數據是否由外部混洗服務儲存在資料庫中

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 下載最近釋出的驅動程式並升級（下載 ODBC、JDBC）。

請參閱 Databricks Runtime 13.3 維護更新。

系統環境

• 作業系統：Ubuntu 22.04.2 LTS
  • 注意：這是 Databricks Runtime 容器所使用的 Ubuntu 版本。 Databricks Runtime 的容器會在雲端服務提供商的虛擬機器上執行，而虛擬機器可能會使用不同版本的 Ubuntu 或其他 Linux 發行版。
• Java：Zulu 8.70.0.23-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.2.2
• Delta Lake：2.4.0

已安裝的 Python 程式庫

已安裝的 R 程式庫

R 程式庫是從 Posit 套件管理員的 2023-02-10 CRAN 快照集安裝：https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/。

已安裝 Java 和 Scala 程式庫（Scala 2.12 叢集版本）