備註
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期,請參閱終止支援歷程記錄。 如需查看所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本說明和相容性。
下列版本資訊提供 Databricks Runtime 11.3 LTS 的相關資訊,此版本由 Apache Spark 3.3.0 支援。 Databricks 於 2022 年 10 月發行此版本。
備註
LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期。
行為變更
[重大變更]新的 Python 版本需要更新 Databricks Connect V1 Python 用戶端
備註
後續更新會將 Databricks Runtime 11.3 LTS 中的 Python 版本移至 3.9.21。 3.9.21版本沒有引入任何行為變更。
若要套用必要的安全性修補程式,Databricks Runtime 11.3 LTS 中的 Python 版本已從 3.9.5 更新為 3.9.19。 由於這些變更可能會導致使用特定 PySpark 函式的用戶端發生錯誤,因此任何使用 Databricks Connect V1 搭配 Databricks Runtime 11.3 LTS 的 Python 用戶端都必須更新至 Python 3.9.7 或更新版本。
新功能和改善
- Python 從 3.9.19 升級到 3.9.21
- 結構化串流的單次觸發已被棄用
- 變更自動載入器的來源路徑
- Databricks Kinesis 連接器現在支援在 EFO 模式下讀取 Kinesis 資料串流
- 新增 H3 地理空間功能,並新增所有 H3 功能的 Photon 支援
- 預測 I/O 的新功能
- 增加起始分割區以掃描選擇性查詢
- 新的 AQE 計劃版本視覺化
- 新的非同步進度追蹤和日誌清除模式
-
Unity 目錄上的結構化串流現在支援
display() - 管線事件現在會以 JSON 格式記錄
- 使用 Python 進行結構化串流中的任意有狀態處理
- CSV 檔案中的日期推斷
- Apache Parquet 和 Apache Iceberg 資料表的複製支援(公測版)
- 使用 SQL 來指定 Unity 目錄受控數據表的架構和目錄層級儲存位置
Python 從 3.9.19 升級到 3.9.21
Databricks Runtime 11.3 LTS 中的 Python 版本已從 3.9.19 更新至 3.9.21。
結構化串流觸發程式一次已被取代
此 Trigger.Once 設定已被取代。 Databricks 建議您使用 Trigger.AvailableNow。 請參閱《設定結構化串流觸發間隔》。
變更自動載入器的來源路徑
您現在可以變更使用目錄清單模式設定的「自動載入器」的目錄輸入路徑,而不需要選擇新的檢查點目錄。 請參閱 變更自動載入器的來源路徑。
Databricks Kinesis 連接器現在支援在 EFO 模式下讀取 Kinesis 資料串流
您現在可以在 Databricks Runtime 11.3 LTS 中使用 Databricks Kinesis 結構化串流來源,以增強型散發模式運行從 Kinesis Data 串流中讀取的查詢。 這允許在推送模式下為每個碎片、每個取用者和記錄交付提供專用輸送量。
新增 H3 地理空間功能,並新增所有 H3 功能的 Photon 支援
推出 4 個新的 H3 函數, h3_maxchild、 h3_minchild、 h3_pointash3和 h3_pointash3string。 這些函數可在 SQL、Scala 和 Python 中使用。 Photon 現在支援所有 H3 運算式。 請參閱 H3 地理空間函式。
預測 I/O 的新功能
Photon 支援跑幀的範圍模式,使用 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon 也支援用於成長幀的範圍模式,使用 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.
增加起始分割區以掃描選擇性查詢
要掃描的初始分割區值已增加至 10,以在已啟用 Photon 的叢集和 take/tail/limit Databricks SQL 中進行LIMIT選擇性查詢。 使用 10 個分割區,您可以避免啟動多個小型工作的額外負擔以及擴展速度緩慢的問題。 您也可以透過 spark.sql.limit.selectiveInitialNumPartitions進行設定。
新的 AQE 方案版本可視化
引介 AQE 計劃版本,使您能以視覺化方式查看調適性查詢執行(AQE)的執行階段計劃更新。
新的非同步進度追蹤和日誌清除模式
引進稱為非同步進度追蹤和非同步記錄清除的結構化串流模式。 非同步記錄清除模式會移除背景中用於進度追蹤的記錄,以降低串流查詢的延遲。
Unity 目錄上的結構化串流現在支援 display()
您現在可以在使用結構化串流處理 Unity Catalog 中註冊的資料表時使用 display()。
管線事件現在會以 JSON 格式記錄
Azure Databricks 現在會以 JSON 格式將管線事件寫入驅動程式記錄。 雖然每個事件都是 JSON 可剖析的,但大型事件可能不包含所有欄位,或欄位可能會被截斷。 每個事件都記錄在帶有前置詞 Event received: 的單行中。 以下是範例事件。
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
使用 Python 進行結構化串流中的任意有狀態處理
介紹 applyInPandasWithState 可用於在 PySpark 中執行任意狀態處理的函數。 這 flatMapGroupsWithState 相當於Java API中的函數。
CSV 檔案中的日期推斷
引入增強推斷 CSV 檔案中日期類型資料行的能力。 當資料行的記錄之間的日期格式一致時,這些資料行可以推斷為 DateType。 您也可以在不同欄中組合日期格式。 Azure Databricks 可以自動推斷每個資料行的日期格式。 Databricks Runtime 11.3 LTS 之前的 CSV 檔案中的日期資料行會保留為 StringType。
複製功能支援 Apache Parquet 和 Apache Iceberg 資料表(公眾預覽)
現在可以使用複製功能來建立和逐步更新與 Apache Parquet 和 Apache Iceberg 資料表相對應的 Delta 資料表。 您可以更新來源 Parquet 表格,並使用 clone 命令將變更累加套用至其複製的 Delta 表格。 請參閱 以增量方式將 Parquet 和 Apache Iceberg 數據表複製到 Delta Lake。
使用 SQL 來指定 Unity 目錄受控資料表的結構描述和目錄層級儲存位置
您現在 MANAGED LOCATION 可以使用 SQL 命令,在目錄和結構描述層級指定受管理資料表的雲端儲存位置。 請參閱 CREATE CATALOG 與 CREATE SCHEMA。
行為變更
Databricks Connect 11.3.2
現在支援 Databricks Connect 用戶端更新 11.3.2。 請參閱 Databricks Connect 和 Databricks Connect 版本資訊。
已更新的 Azure Databricks Snowflake 連接器
Azure Databricks Snowflake 連接器已更新至開放原始碼存放庫 Snowflake Data Source for Apache Spark 的最新版本程式碼。 它現在與 Databricks Runtime 11.3 LTS 完全相容,包括謂詞下推和內部查詢計劃下推,同時保留開放原始碼版本的所有功能。
S3A 的 Hadoop 快取現已停用
S3A 的 Hadoop 快取 (檔案系統 Apache Hadoop Main 3.3.4 API) 現已停用。 這是為了與其他雲端儲存連接器保持一致。 對於依賴檔案系統快取的工作負載,請確定新建立的檔案系統提供正確的 Hadoop 組態,包括認證提供者。
Delta Lake 統計資料集合結構描述現在符合資料表結構描述定義中的資料行順序
此變更解決了 Delta Lake 協定中的一個錯誤,該錯誤使得由於 DataFrame 和資料表的資料行順序不符,無法收集多個資料行的統計資料。 在某些情況下,您可能會因為先前未追蹤欄位的統計資料收集而遇到寫入效能降低的情況。 請參閱 Delta Lake 的數據跳過。
applyInPandasWithState 如果查詢在運算子之後有洗牌,則會拋出錯誤
如果查詢中運算子applyInPandasWithState位於shuffle運算子之後,shuffle運算子會擲回錯誤。 當使用者在作業之後新增 shuffle ,或是最佳化工具或處理接收器隱含地新增 shuffle 時,就會發生這種情況。
圖書館升級
- 升級的 Python 程式庫:
- distlib 從 0.3.5 到 0.3.6
- 升級的 R 程式庫:
- broom版本更新從 1.0.0 到 1.0.1
- callr 從 3.7.1 更新到 3.7.2
- dplyr 從版本 1.0.9 到版本 1.0.10
- DTPlyr 從 1.2.1 到 1.2.2
- forcats 從 0.5.1 到 0.5.2
- 未來從 1.27.0 到 1.28.0
- future.apply 版本從 1.9.0 到 1.9.1
- gert 從 1.7.0 升級到 1.8.0
- 全域變數從 0.16.0 更新到 0.16.1
- 從 0.3.0 到 0.3.1 的 gtable
- haven 從版本 2.5.0 更新到 2.5.1
- HMS 版本從 1.1.1 更新到 1.1.2
- HTTR 從 1.4.3 到 1.4.4
- knitr 從 1.39 到 1.40
- 建模器從 0.1.8 到 0.1.9
- pillar 從版本 1.8.0 到 版本 1.8.1
- 從 0.10.1 到 0.11.0 的進度
- readxl 從版本 1.4.0 升級到版本 1.4.1
- reprex 版本從 2.0.1 更新到 2.0.2
- rlang 從 1.0.4 到 1.0.5
- rmarkdown 從 2.14 更新至 2.16
- 從 2.2.15 到 2.2.16 的 RSQLite
- rstudioapi 從 0.13 到 0.14
- 從 2.1.1 到 2.1.2 的版本
- rvest 從 1.0.2 更新到 1.0.3
- 從 1.2.0 升級到 1.2.1
- sparklyr 從 1.7.7 到 1.7.8
- stringr 從 1.4.0 到 1.4.1
- 存活率從 3.2-13 到 3.4-0
- tinytex 從 0.40 到 0.41
- viridisLite 從 0.4.0 到 0.4.1
- 升級的 Java 程式庫:
- com.fasterxml.jackson.core.jackson-annotations 從版本 2.13.3 升級至 2.13.4
- com.fasterxml.jackson.core.jackson-core 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.core.jackson-databind 的版本從 2.13.3 更新到 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer 從 2.13.3 到 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 從 2.13.3 到 2.13.4
- org.apache.hadoop.hadoop-client-api 從 3.3.2-databricks 變更為 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime 從版本 3.3.2 更新到 3.3.4
- org.apache.orc.orc-core 從 1.7.5 到 1.7.6
- org.apache.orc.orc-mapreduce 從 1.7.5 更新到 1.7.6
- org.apache.orc.orc-shims 從 1.7.5 到 1.7.6
- org.apache.parquet.parquet-column 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-common 從 1.12.0-databricks-0004 變更為 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop 從 1.12.0-databricks-0004 變更為 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson 從 1.12.0-databricks-0004 到 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet 從 2.34 到 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core 從 2.34 變更為 2.36
- org.glassfish.jersey.core.jersey-client: 從 2.34 到 2.36
- org.glassfish.jersey.core.jersey-common 從 2.34 到 2.36
- org.glassfish.jersey.core.jersey-server 已從版本 2.34 更新至版本 2.36
- org.glassfish.jersey.inject.jersey-hk2 從 2.34 到 2.36
阿帕契火花
Databricks Runtime 11.3 LTS 包含 Apache Spark 3.3.0。 此版本包含 Databricks Runtime 11.2 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 所做的其他錯誤修正和改善:
- [SPARK-39957] [WARMFIX][sc-111425][CORE] 延遲中斷連線以啟用驅動程式接收 ExecutorExitCode
- [SPARK-39955] [暖修復][sc-111424][核心] 改善 LaunchTask 的執行過程,以避免因無法傳送 LaunchTask 消息而導致的階段失敗
- [SPARK-40474] [SC-106248][cherry-pick] 更正日期時間欄的 CSV 結構描述推斷行為,並引入日期欄位的自動偵測
- [SPARK-40535] [SC-111243][sql] 修正如果輸入列為空,則不會建立 AggregatingAccumulator 緩衝區的錯誤
- [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] 在 PySpark 中實作 applyInPandasWithState
-
[SPARK-40460] [SC-110832][ss] 修正選取時的串流指標
_metadata -
[SPARK-40324] [SC-109943][sql] 提供查詢上下文的
ParseException - [SPARK-40466] [SC-110899][ss] 改善當停用 DSv2 且 DSv1 無法使用時的錯誤訊息
- [SPARK-40456] [SC-110848][sql] 重複呼叫 PartitionIterator.hasNext 應該很便宜
- [SPARK-40169] [SC-110772][sql] 請勿在未參考資料結構描述的情況下下推 Parquet 篩選器
- [SPARK-40467] [SC-110759][ss] 將 FlatMapGroupsWithState 分割為多個測試套件
- [SPARK-40468] [SC-110813][sql] 修正選取 _corrupt_record 時 CSV 中的欄修剪問題
- [SPARK-40291] [SC-110085][sql] 改善「GROUP BY 子句中缺少的欄位」錯誤的訊息
- [SPARK-40398] [SC-110762][核心][SQL] 使用迴圈而不是 Arrays.stream API
- [SPARK-40433] [SC-110684][ss][PYTHON] 在 PythonSQLUtils 中新增 toJVMRow 以將序列化的 PySpark Row 轉換為 JVM Row
- [SPARK-40414] [SC-110568][sql][PYTHON] PythonArrowInput 和 PythonArrowOutput 上的更多泛型類型
- [SPARK-40352] [SC-109945][sql] 新增函數別名:len、datepart、dateadd、date_diff 和 curdate
- [SPARK-40470] [SC-110761][sql] 在 “arrays_zip” 函數中處理 GetArrayStructFields 和 GetMapValue
- [SPARK-40387] [SC-110685][sql] 改善 Spark Decimal 的實作
- [SPARK-40429] [SC-110675][sql] 僅在參考資料行位於輸出中時設定 KeyGroupedPartitioning
- [SPARK-40432] [SC-110716][ss][PYTHON] 在 PySpark 中引入 GroupStateImpl 和 GroupStateTimeout
- [SPARK-39915] [SC-110496][sql] 請確定輸出分割區是使用者在 AQE 中指定的
-
[SPARK-29260] [SQL] 如果
ALTER DATABASE SET LOCATIONHMS 支援 - [SPARK-40185] [SC-110056][sql] 移除當候選清單為空時的欄位建議
- [SPARK-40362] [SC-110401][sql] 修正 BinaryComparison 規範化
- [SPARK-40411] [SC-110381][ss] 重構 FlatMapGroupsWithStateExec 以具有父特徵
- [SPARK-40293] [SC-110084][sql] 讓 V2 資料表錯誤訊息更有意義
-
[SPARK-38734] [SC-110383][sql] 移除錯誤類別
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][sql] 更正「arrays_zip」函式在從巢狀結構中引用陣列時的資料行名稱。
- [SPARK-40276] [SC-109674][核心] 減少 RDD.takeOrdered 的結果大小
- [SPARK-40197] [SC-109176][sql] 將查詢計劃替換為MULTI_VALUE_SUBQUERY_ERROR的相關上下文
-
[SPARK-40300] [SC-109942][sql] 移轉至
DATATYPE_MISMATCH錯誤類別 - [SPARK-40149] [SC-110055][sql] 透過專案傳播中繼資料欄
- [SPARK-40280] [SC-110146][sql] 新增對帶註釋的 int 和 long 的 parquet 下推支援
- [SPARK-40220] [SC-110143][sc-109175][SQL] 不要輸出錯誤訊息參數的空映射表
- [SPARK-40295] [SC-110070][sql] 允許在寫入分佈/排序中使用文字引數的 v2 函數
-
[SPARK-40156] [SC-109264][sql]
url_decode()是否應該傳回錯誤類別 - [SPARK-39195] [SQL] 當認可的文件與任務狀態不一致時,Spark 輸出提交協調器應該中止階段
- [SPARK-40260] [SC-109424][sql] 在位置GROUP BY的編譯錯誤中使用錯誤類別
- [SPARK-40205] [SC-110144][SC-109082][SQL] 提供ELEMENT_AT_BY_INDEX_ZERO的查詢上下文
- [SPARK-40112] [SC-109676][sql] 改善 TO_BINARY() 函數
-
[SPARK-40209] [SC-109081][sql] 請勿在錯誤時變更 Decimal
changePrecision()的間隔值 - [SPARK-40319] [SC-109873][sql] 移除重複的查詢執行錯誤方法「PARSE_DATETIME_BY_NEW_PARSER」
- [SPARK-40222] [SC-109209][sql] 數值 try_add/try_divide/try_subtract/try_multiply 應該從其子系擲回錯誤
- [SPARK-40183] [SC-108907][sql] 在十進位轉換中使用錯誤類別 NUMERIC_VALUE_OUT_OF_RANGE 進行溢位
-
[SPARK-40180] [SC-109069][sql] 格式化錯誤訊息
spark-sql - [SPARK-40153] [SC-109165][sql] 統一解析函數和表格值函數
-
[SPARK-40308] [SC-109880][sql] 允許
str_to_map函數接受不可折疊的分隔符號引數 - [SPARK-40219] [SC-110052][sc-109663][SQL] 已解決的檢視邏輯計劃應保留結構描述,以避免冗餘查閱
- [SPARK-40098] [SC-109939][SC-108693][SQL] 在 Thrift Server 中格式化錯誤訊息
- [SPARK-39917] [SC-109038][sql] 對數值/間隔算術溢位使用不同的錯誤類別
- [SPARK-40033] [SC-109875][sql] 支援通過 element_at 進行巢狀結構模式修剪
- [SPARK-40194] [SC-109660][sql] 空正規表示式上的 SPLIT 函式應截斷尾端空字串。
- [SPARK-40228] [SC-109835][sql] 如果子表达式不是廉價運算式,請勿簡化 multiLike
- [SPARK-40039] [SC-109896][sc-109260][SS] 引入基於 Hadoop 的 Abortable 接口的流式檢查點文件管理器
-
[SPARK-40285] [SC-109679][sql] 簡化 Spark 的
roundTo[Numeric]Decimal - [SPARK-39896] [SC-109658][sql] 當 In/InSet 向下轉換的文字失敗時,UnwrapCastInBinaryComparison 應該能正常運作
- [SPARK-40040] [SC-109662][sql] 若聯結條件為空,則將局部限制推送到兩邊
- [SPARK-40055] [SC-109075][sql] 即使實作為 defaultSessionCatalog,listCatalogs 也應該傳回 spark_catalog。
- [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) 可能無法建立 N 個非 AQE 部分分割區
- [SPARK-40207] [SC-109401][sql] 當資料來源不支援資料類型時,請指定資料行名稱
- [SPARK-40245] [SC-109295][sql] 修正未讀取分割區或資料篩選器資料行時的 FileScan 相等性檢查
- [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 介面實作
- [SPARK-40211] [SC-109226][核心][SQL] 允許在 take() 行為中自訂初始分割區編號
-
[SPARK-40252] [SC-109379][sql] 取代
Stream.collect(Collectors.joining)為StringJoinerAPI - [SPARK-40247] [SC-109272][sql] 修正 BitSet 相等性檢查
- [SPARK-40067] [SQL] 使用 Table#name() 而不是 Scan#name() 在 SparkUI 的 BatchScan 節點中填入表格名稱
- [SPARK-39966] [SQL] 在 SupportsDelete 中使用 V2 篩選器
- [SPARK-39607] [SC-109268][sql][DSV2] 分發和排序支援 V2 寫入功能
- [SPARK-40224] [SC-109271][sql] 讓 ObjectHashAggregateExec 在切換至基於排序的方法時急切釋放記憶體
-
[SPARK-40013] [SQL] DS V2 運算式應具有預設值
toString - [SPARK-40214] [SC-109079][python][SQL] 將「get」新增至函式
- [SPARK-40192] [SC-109089][sql][ML] 移除冗餘的 groupby
- [SPARK-40146] [SC-108694][sql] 簡化提取映射值的代碼生成
- [SPARK-40109] [SQL] 新的 SQL 函數:get()
- [SPARK-39929] [SQL] DS V2 支援下推字串函式 (非 ANSI)
- [SPARK-39819] [SQL] DS V2 彙總下推可與前 N 個或分頁 (使用運算式排序) 搭配使用。
- [SPARK-40213] [SC-109077][sql] 支援 Latin-1 字元的 ASCII 值轉換
- [SPARK-39887] [SQL] RemoveRedundantAliases 應保留別名,讓投影節點的輸出唯一
- [SPARK-39764] [SQL] 讓 PhysicalOperation 與 ScanOperation 相同
- [SPARK-39964] [SQL] DS V2 下推應統一翻譯路徑
- [SPARK-39528] [SQL] 在 SupportsRuntimeFiltering 中使用 V2 篩選器
- [SPARK-40066] [SQL] ANSI 模式:在對地圖欄的無效存取時一律傳回 null
- [SPARK-39912] [SPARK-39828][sql] 改善 CatalogImpl 實作
- [SPARK-39833] [SC-108736][sql] 停用 DSv1 中的 Parquet 資料行索引,以修正分割區和資料資料行重疊時的正確性問題
- [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 命令應列印符合條件的函式名稱,例如 v1
- [SPARK-39767] [SQL] 移除 UnresolvedDBObjectName 並新增 UnresolvedIdentifier
- [SPARK-40163] [SC-108740][sql] 新功能:SparkSession.config(Map)
- [SPARK-40136] [SQL] 修正 SQL 查詢內容的片段
- [SPARK-40107] [SC-108689][sql] 從 FileFormatWriter 提取 empty2null 轉換
- [SPARK-40121] [PYTHON][sql] 初始化用於 Python UDF 的投影
- [SPARK-40128] [SQL] 讓 VectorizedColumnReader 將DELTA_LENGTH_BYTE_ARRAY辨識為獨立的資料行編碼
- [SPARK-40132] [ML] 將 rawPredictionCol 還原至 MultilayerPerceptronClassifier.setParams
-
[SPARK-40050] [SC-108696][sql] 增強
EliminateSorts以支援LocalLimit用於移除排序 - [SPARK-39629] [SQL] 支援 v2 SHOW FUNCTIONS
- [SPARK-39925] [SC-108734][sql] 將 array_sort(column, comparator) 多載新增至 DataFrame 作業
- [SPARK-40117] [PYTHON][sql] 在 DataFrameWriterV2.overwrite 中將條件轉換成 java。
- [SPARK-40105] [SQL] 改進 ReplaceCTERefWithRepartition 中的重新分區
- [SPARK-39503] [SQL] 為 v1 資料庫資料表和函式新增會話目錄名稱
- [SPARK-39889] [SQL] 對除以 0 的數值/間隔使用不同的錯誤類別
- [SPARK-39741] [SQL] 支援 url 編碼/解碼作為內建函數,並整理 url 相關函數
- [SPARK-40102] [SQL] 在 SparkPlan 中使用 SparkException 而不是 IllegalStateException
- [SPARK-40014] [SQL] 支援將小數轉換成 ANSI 間隔
- [SPARK-39776] [SQL][follow] 在 ANSI 模式下更新 PlanStabilitySuite 的 UT
-
[SPARK-39963] [SQL] 簡化
SimplifyCasts.isWiderCast
維護更新
請參閱 Databricks Runtime 11.3 維護更新。
系統環境
-
操作系統:Ubuntu 20.04.5 LTS
- 注意:這是 Databricks Runtime 容器所使用的 Ubuntu 版本。 DBR 容器會在雲端提供者的虛擬機上執行,這可能會使用不同的Ubuntu版本或Linux發行版。
- Java:Zulu 8.56.0.21-CA-linux64
- 斯卡拉:2.12.14
- Python:3.9.21
- R:4.1.3
- 三角洲湖:2.1.0
已安裝的 Python 函式庫
| 圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | 非同步生成器 | 1.10 | 屬性 (attrs) | 21.2.0 |
| backcall(回呼) | 0.2.0 | backports.entry-points-selectable | 1.1.1 | 黑色 | 22.3.0 |
| 漂白劑 | 4.0.0 | boto3 | 1.21.18 | botocore(AWS的Python程式庫) | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer(字符集正規化器) | 2.0.4 | 點選 | 8.0.3 | 加密 | 3.4.8 |
| 騎車者 | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | 裝飾項目 | 5.1.0 | defusedxml(安全解析XML的Python函式庫) | 0.7.1 |
| distlib | 0.3.6 | 入口點 | 0.3 | facets概覽 | 1.0.0 |
| 文件鎖 | 3.8.0 | IDNA | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils(IPython 工具程式庫) | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | Jupyter 客戶端 | 6.1.12 |
| jupyter-core核心模組 | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets(JupyterLab 元件) | 1.0.0 |
| kiwisolver(開源程式庫) | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | 米斯圖恩 | 0.8.4 | mypy-extensions(MyPy 擴充套件) | 0.4.3 |
| 「nbclient」 | 0.5.3 | nbconvert(文件轉換工具) | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | 筆記本 | 6.4.5 | numpy(數值計算套件) | 1.20.3 |
| 包裝 | 21.0 | 熊貓 | 1.3.4 | pandocfilters (潘多克過濾器) | 1.4.3 |
| 帕爾索 | 0.8.2 | 路徑規格 (pathspec) | 0.9.0 | 替罪羊 | 0.5.2 |
| pexpect (一個用於程序自動化和測試的軟體庫) | 4.8.0 | 皮克爾共享 (Pickleshare) | 0.7.5 | 枕頭 | 8.4.0 |
| pip(Python 軟體包管理工具) | 21.2.4 | platformdirs | 2.5.2 | plotly(數據可視化工具) | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit(提示工具組) | 3.0.20 | 協議緩衝區 (Protocol Buffers) | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser(Python 的 C 語法分析器) | 2.20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing(Python 字符串解析库) | 3.0.4 |
| pyrsistent(持續性資料庫的Python函式庫) | 0.18.0 | python-dateutil | 2.8.2 | pytz(Python 的時區計算函式庫) | 2021.3 |
| pyzmq | 22.2.1 | 要求 | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn(機器學習套件) | 0.24.2 | scipy科學計算庫 | 1.7.1 |
| 海上出生 | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 六 | 1.16.0 | ssh-import-id(匯入 SSH ID) | 5.10 | statsmodels (統計模型庫) | 0.12.2 |
| 堅韌性 | 8.0.1 | 結束了 | 0.9.4 | 測試路徑 | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| 龍捲風 | 6.1 | Traitlets | 5.1.0 | typing-extensions(插入擴充) | 3.10.0.2 |
| 無人看管自動升級 | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth(字符寬度函數) | 0.2.5 | 網路編碼 | 0.5.1 | Wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
已安裝的 R 程式庫
R 套件庫是從 2022-09-08 的 Microsoft CRAN 快照中安裝。 快照不再可用。
| 圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
|---|---|---|---|---|---|
| askpass(要求密碼) | 1.1 | assertthat (一個用於斷言測試的函數庫) | 0.2.1 | backports(回溯移植) | 1.4.1 |
| 基礎映像 | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| 64位元 | 4.0.5 | blob | 1.2.3 | 靴子 | 1.3-28 |
| 釀製 | 1.0-7 | 活力 | 1.1.3 | 掃帚 | 1.0.1 |
| bslib | 0.4.0 | 卡榭姆 | 1.0.6 | 卡爾 | 3.7.2 |
| caret | 6.0-93 | cellranger (細胞測序工具) | 1.1.0 | 時序 (chron) | 2.3-57 |
| 類別 | 7.3-20 | 命令行界面 (CLI) | 3.3.0 | 克麗普 | 0.8.0 |
| 叢集 | 2.1.3 | codetools | 0.2-18 | 色彩空間 | 2.0-3 |
| 通用標記 | 1.8.0 | 編譯器 | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | 蠟筆 | 1.5.1 | 憑證 | 1.3.2 |
| curl (Unix指令) | 4.3.2 | 資料表格 (data.table) | 1.14.2 | 數據集 | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | 說明 | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | 摘要 | 0.6.29 |
| 向下照明 | 0.4.2 | dplyr資料處理套件 | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | 省略符號 | 0.3.2 | 評估 | 0.16 |
| 粉絲 | 1.0.3 | 顏色 | 2.1.1 | fastmap(快速映射) | 1.1.0 |
| fontawesome | 0.3.0 | 尚未提供所需背景詳情來翻譯"forcats",如果是專有名詞或特定術語,可以保留原文。 | 0.5.2 | foreach | 1.5.2 |
| 外來 | 0.8-82 | 鍛造 | 0.2.0 | fs | 1.5.2 |
| 未來 | 1.28.0 | 未來應用 (future.apply) | 1.9.1 | 漱口 | 1.2.0 |
| 泛型 | 0.1.3 | 格特 | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| 全域變數 | 0.16.1 | 膠水 | 1.6.2 | Google 雲端硬碟 | 2.0.0 |
| googlesheets4 | 1.0.1 | 戈爾(Gower) | 1.0.0 | 圖形 | 4.1.3 |
| grDevices | 4.1.3 | 格線 | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | 安全帽 | 1.2.0 |
| 庇護所 | 2.5.1 | 更高 | 0.9 | 如果 "hms" 是一個專有名詞、縮寫或具有特殊意涵的術語,則需要確保對其進行適當的翻譯或說明。 | 1.1.2 |
| HTML工具 | 0.5.3 | htmlwidgets(網頁小工具) | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | 身份識別碼 | 1.0.1 | ini | 0.3.1 |
| 艾普瑞德 | 0.9-13 | 等高帶 (isoband) | 0.2.5 | 迭代器 | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| 針織機 | 1.40 | 標記 | 0.4.2 | 稍後 | 1.3.0 |
| 晶格 | 0.20-45 | 熔岩 | 1.6.10 | 生命週期 | 1.0.1 |
| 保留原名 "listenv" 並附加描述 (if necessary based on context, otherwise just retain "listenv") | 0.8.0 | 「lubridate」 | 1.8.0 | magrittr | 2.0.3 |
| Markdown | 1.1 | 質量 | 7.3-56 | 矩陣 | 1.4-1 |
| 記憶化 | 2.0.1 | 方法 | 4.1.3 | mgcv | 1.8-40 |
| 默劇 | 0.12 | 迷你用戶界面 | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| 模型師 | 0.1.9 | 蒙塞爾 | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv (數值導數) | 2016年8月-2017年1月 | openssl | 2.0.2 |
| 並行 | 4.1.3 | 並行地 | 1.32.1 | 柱子 | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr (普勒格) | 0.2.0 | plyr播放器(plyr Player) | 1.8.7 |
| 讚美 | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| 流程x | 3.7.0 | prodlim | 2019.11.13 | 視覺分析工具 Profvis | 0.3.7 |
| 進展 | 1.2.2 | progressr | 0.11.0 | 承諾 | 1.2.0.1 |
| 原型 | 1.0.0 | Proxy | 0.4-27 | 附註 | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| 拉格 | 1.2.2 | 隨機森林 (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | Readr | 2.1.2 | readxl(讀取Excel檔案) | 1.4.1 |
| 食譜 | 1.0.1 | 復賽 | 1.0.1 | Rematch 2 | 2.1.2 |
| 遙控器 | 2.4.2 | 重現範例 | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown(R程式碼標記語言) | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart(R語言中的一個統計計算和機器學習模組) | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| r版本 | 2.1.2 | rvest(用於網頁抓取的 R 語言套件) | 1.0.3 | Sass | 0.4.2 |
| 磅秤 | 1.2.1 | 擇選器 (selectr) | 0.4-2 | 會議資訊 | 1.2.2 |
| 圖形 | 1.4.6 | 閃亮 | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | 空間 | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| 統計數據 | 4.1.3 | 統計學4 | 4.1.3 | 字串處理工具包 (stringi) | 1.7.8 |
| "stringr" 是 R 語言中的一個處理字串操作的函式庫。 | 1.4.1 | 生存 | 3.4-0 | sys | 3.4 |
| 系統字體 | 1.0.4 | tcltk(程式設計工具包) | 4.1.3 | testthat(測試工具) | 3.1.4 |
| 文字排版 | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse(整潔世界) | 1.3.2 | 時間日期 | 4021.104 |
| tinytex | 0.41 | 工具 | 4.1.3 | tzdb | 0.3.0 |
| urlchecker (URL 檢查工具) | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| 實用工具 | 4.1.3 | 全域唯一識別碼 (UUID) | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | 瓦爾多 | 0.4.0 |
| 觸鬚 | 0.4 | withr代碼庫 (assuming withr refers to a specific codebase or library, use context to clarify) | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| YAML(Yet Another Markup Language)解析器 | 2.3.5 | 壓縮檔 | 2.2.0 |
安裝的 Java 與 Scala 函式庫(Scala 2.12 叢集版本)
| 群組識別碼 | 文物識別碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-用戶端 | 1.12.0 |
| com.amazonaws | aws-java-sdk-自動擴展 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront (雲端前端 Java SDK) | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch(雲端搜索) | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK的CodeDeploy模組) | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | AWS Java SDK 配置 | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect (AWS Java 軟體開發套件 - 直接連接) | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | AWS Java SDK for ElastiCache (AWS Java SDK 用於 ElastiCache) | 1.12.189 |
| com.amazonaws | AWS Java SDK Elasticbeanstalk(AWS Java 軟體開發套件,Elasticbeanstalk) | 1.12.189 |
| com.amazonaws | AWS Java SDK 彈性負載平衡 (aws-java-sdk-elasticloadbalancing) | 1.12.189 |
| com.amazonaws | AWS Java SDK 彈性轉碼器 (aws-java-sdk-elastictranscoder) | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier (AWS Java 軟體開發工具包 - Glacier) | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue(AWS 繫結程式庫) | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | AWS Java SDK 匯入匯出 | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis(AWS Java 開發工具包-Kinesis) | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms (AWS Java 軟體開發工具包 - KMS) | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs (Amazon Java SDK 日誌) | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning(AWS Java SDK 機器學習) | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift (Amazon Web Services 的 Redshift Java 軟體開發工具包) | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | AWS Java SDK 的 SQS 模組 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway (AWS Java SDK 儲存閘道) | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | AWS Java SDK 支援 (aws-java-sdk-support) | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces(AWS Java SDK 工作空間) | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 串流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | 冷凍陰影技術 (kryo-shaded) | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson 註解 | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core (資料處理核心) | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor (一個用於CBOR數據格式的Java庫) | 2.13.4 |
| com.fasterxml.jackson.datatype | 杰克森數據類型-Joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310(Jackson數據類型JSR310) | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer(Jackson模組-Paranamer) | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | 原生引用-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-原生代碼 | 1.1 |
| com.github.fommil.netlib | 原生系統-Java | 1.1 |
| com.github.fommil.netlib | 原生系統-Java-原生代碼 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.釋出版本 |
| com.lihaoyi | 原始碼_2.12 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK (Azure 資料湖存儲 SDK) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | 壓縮-LZF | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON(JavaScript物件表示法) | 1.8 |
| com.thoughtworks.paranamer | paranamer (參數命名器) | 2.8 |
| com.trueaccord.lenses | 鏡頭_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers(統一性解析器) | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec(公共編碼庫) | commons-codec(公共編碼庫) | 1.15 |
| 公共集合 (commons-collections) | 公共集合 (commons-collections) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload(公共文件上傳) | commons-fileupload(公共文件上傳) | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (共通日誌記錄) | commons-logging (共通日誌記錄) | 1.1.3 |
| commons-pool (公共資源庫) | commons-pool (公共資源庫) | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | BLAS(基本線性代數程式庫) | 2.2.1 |
| dev.ludovic.netlib | lapack(線性代數軟體包) | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空氣壓縮機 | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | 核心指標 | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 衡量指標-健康檢查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指標-JMX | 4.1.1 |
| io.dropwizard.metrics | 度量標準-JSON | 4.1.1 |
| io.dropwizard.metrics | 指標-JVM | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all(Netty 完整版本) | 4.1.74.決賽 |
| io.netty | ネッティ緩衝區 (netty-buffer) | 4.1.74.決賽 |
| io.netty | Netty 編解碼器 | 4.1.74.決賽 |
| io.netty | Netty公共模組 | 4.1.74.決賽 |
| io.netty | netty-handler | 4.1.74.決賽 |
| io.netty | netty-resolver (網絡解決方案) | 4.1.74.決賽 |
| io.netty | Netty-TCNative-類別 | 2.0.48.決賽 |
| io.netty | netty-transport | 4.1.74.決賽 |
| io.netty | netty-transport-classes-epoll | 4.1.74.決賽 |
| io.netty | netty-transport-classes-kqueue (Netty 傳輸類別 - KQueue) | 4.1.74.決賽 |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.決賽 |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.決賽 |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.決賽 |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.決賽 |
| io.netty | netty-transport-native-unix-common(Netty 傳輸本地 Unix 公用程式) | 4.1.74.決賽 |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 簡易客戶端_通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard (簡易客戶端_dropwizard) | 0.7.0 |
| io.prometheus | 簡易客戶端推送網關 | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api(註解API) | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api 驗證接口 | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易介面 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 醃製品 | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv (開源 CSV 解析庫) | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| 網絡.雪花 | snowflake-ingest-sdk(Snowflake 資料引入 SDK) | 0.9.6 |
| 網絡.雪花 | Snowflake-JDBC | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all (程式的函數名稱,通常保持不翻譯) | 0.1 |
| org.acplt.remotetea | REMOTETEA-ONCRPC | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime (ANTLR 4 執行時) | 4.8 |
| org.antlr | 字串模板 (stringtemplate) | 3.2.1 |
| org.apache.ant | 螞蟻 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | 螞蟻發射器 | 1.9.2 |
| org.apache.arrow | 箭頭格式 (arrow-format) | 7.0.0 |
| org.apache.arrow | 箭頭記憶核心 | 7.0.0 |
| org.apache.arrow | 箭頭記憶-netty | 7.0.0 |
| org.apache.arrow | 箭頭向量 | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | 共享-集合4 | 4.4 |
| org.apache.commons | commons-compress(通用壓縮工具) | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text(共用文字處理庫) | 1.9 |
| org.apache.curator | 策展人-客戶 | 2.13.0 |
| org.apache.curator | curator-framework (策展人框架) | 2.13.0 |
| org.apache.curator | 館長食譜 | 2.13.0 |
| org.apache.derby | 德比戰 | 10.14.2.0 |
| org.apache.hadoop | 哈杜普客戶端 API | 3.3.4-數據磚 |
| org.apache.hadoop | hadoop客户端運作環境 | 3.3.4 |
| org.apache.hive | hive-beeline(資料查詢工具) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client(Hive LLAP用戶端) | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde (資料序列化和解序列化庫) | 2.3.9 |
| org.apache.hive | 蜂箱墊片 | 2.3.9 |
| org.apache.hive | hive-storage-api (蜂巢存儲 API) | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common 套件 | 2.3.9 |
| org.apache.hive.shims | 蜂巢兼容層排程器 (hive-shims-scheduler) | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 常春藤 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | 奧克核心 | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | 獸人襯墊 | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | 觀眾註解 | 0.5.0 |
| org.apache.zookeeper | 動物園管理員 | 3.6.2 |
| org.apache.zookeeper | ZooKeeper-Jute | 3.6.2 |
| org.checkerframework | 品質檢查器 | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | 傑克遜映射器-ASL | 1.9.13 |
| org.codehaus.janino | 公共編譯器 (commons-compiler) | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core (數據核心) | 4.1.17 |
| org.datanucleus | 資料核心-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation (Jetty 延續機制) | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy (代理伺服器) | 9.4.46.v20220331 |
| org.eclipse.jetty | 噴射碼頭安全性 | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty伺服器 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | 傑堤工具 (jetty-util) | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax(捷特工具-AJAX) | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp(Jetty 網頁應用程式) | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket 客戶端 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket-Common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket 伺服器 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2 定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2實用程式 | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 資源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance重新打包 | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | Jersey 容器伺服器 | 2.36 |
| org.glassfish.jersey.containers | jersey 容器 servlet 核心模块 | 2.36 |
| org.glassfish.jersey.core | jersey-客戶端 | 2.36 |
| org.glassfish.jersey.core | 球衣-通用 | 2.36 |
| org.glassfish.jersey.core | Jersey伺服器 | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator(驗證器) | 6.1.0.決賽 |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-日誌記錄 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 附註 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client(MariaDB Java 客戶端) | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 測試介面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用的 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl(野飛開放SSL) | 1.0.7.決賽 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | SnakeYAML | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |