以下发行说明提供有关 Databricks Runtime 18.0(Beta 版)的信息。
Azure Databricks 于 2025 年 12 月发布了此版本。
重要
Databricks Runtime 18.0 处于 Beta 阶段。 在 Beta 版期间,支持的环境的内容可能会更改。 更改可能包括包列表或已安装包的版本。
新功能和改进
- Redshift JDBC 驱动程序升级到 2.1.0.28
- 用于 Unity Catalog 的 Python UDF 的共享隔离执行环境
- 指标视图中的 SQL 窗口函数
- Spark 应用程序的正常关闭
- 无状态流查询中的动态洗牌分区调整
- 无状态流式处理查询中的自适应查询执行和自动优化的混排
-
FILTER度量值视图中度量聚合函数的子句 - Apache Parquet 库已升级到 1.16.0
Redshift JDBC 驱动程序升级到 2.1.0.28
Redshift JDBC 驱动程序已升级到版本 2.1.0.28。
Unity Catalog Python 用户自定义函数(UDF)的共享隔离执行环境
默认情况下,具有相同所有者的 Unity 目录 Python UDF 可以共享隔离环境。 这可以通过减少需要启动的独立环境的数量来提高性能和减少内存使用率。
若要确保 UDF 始终在完全隔离的环境中运行,请添加 STRICT ISOLATION 特征子句。 请参阅 环境隔离。
指标视图中的 SQL 窗口函数
现在可以在指标视图中使用 SQL 窗口函数 来计算运行总计、排名和其他基于窗口的计算。
Spark 应用程序的正常关闭
Spark 应用程序现在支持正常关闭,允许在应用程序终止之前完成正在进行的任务。
无状态流式处理查询中的动态随机分区调整
现在可以在不重启查询的情况下更改 无状态流式处理查询 中的随机分区数。
无状态流式查询中的自适应查询执行和自动优化的洗牌机制
自适应查询执行(AQE)和自动优化洗牌(AOS)现在在无状态流式查询中受支持。
FILTER 度量值视图中度量聚合函数的子句
现在,可以将FILTER子句与度量值聚合函数一起使用,在指标视图中定义每聚合筛选器以引用指标视图度量值。
Apache Parquet 库已升级到 1.16.0
Apache Parquet 库已升级到版本 1.16.0。
行为变更
- JDK 21 现在是默认 Java 开发工具包
-
FSCK REPAIR TABLE默认包含元数据修复 - Spark Connect Scala 客户端中为数组和映射类型保留了空值属性
-
FSCK REPAIR TABLE DRY RUN输出架构已更新 -
SHOW TABLES DROPPED遵守LIMIT子句 - 读取与自动优化写入之间对齐的比例因子
- 在 PySpark 和 Unity Catalog 之间统一执行 Python UDF
- 改进了 Kafka 连接器登录模块问题的错误消息
-
时间旅行限制和
VACUUM保留行为 -
BinaryType默认情况下,在 PySpark 中映射到bytes Delta 合并和流式写入操作中保留的 NULL 结构 - Parquet 文件中实例化的分区列
JDK 21 现在是默认 Java 开发工具包
Databricks Runtime 18.0 使用 JDK 21 作为默认的 Java 开发工具包。 JDK 21 是长期支持 (LTS) 版本。 以前,默认值为 JDK 17,现在可用作回退选项。
有关为群集配置 JDK 版本的信息,请参阅 创建具有特定 JDK 版本的群集。
FSCK REPAIR TABLE 默认自带元数据修复功能
FSCK REPAIR TABLE命令现在增加了一个初步的元数据修复步骤,然后再检查是否有缺失的数据文件。 该命令可以处理具有损坏检查点或无效分区值的表。
Spark Connect Scala 客户端中数组和映射数据类型的可为空性保持不变
现在,对于 Spark Connect Scala 客户端中的类型化文本,数组和映射类型的可为 null 性保留。 以前,数组中的元素和映射中的值始终可以为 null。
FSCK REPAIR TABLE DRY RUN 输出架构已更新
dataFilePath输出架构中的FSCK REPAIR TABLE DRY RUN列现在可为 null,用于支持报告数据文件路径不适用的新问题类型。
SHOW TABLES DROPPED respects LIMIT 条款
SHOW TABLES DROPPED 命令现在正确遵守 LIMIT 子句的规定。
读取和自动优化写入之间的比例系数
分区大小设置的分摊系数现在在读操作和自动优化写入中一致地使用小数值。 此更改可能会导致读取操作的任务数量不同。
跨 PySpark 和 Unity 目录统一的 Python UDF 执行
Unity 目录 Python UDF 现在使用 Apache Arrow 作为默认交换格式,提高整体性能,并符合 Apache Spark 中箭头优化 Python UDF 的行为。 作为此更改的一部分,TIMESTAMP传递给 Python UDF 的值不再在对象的datetime属性中包含tzinfo时区信息。 时间戳值本身仍以 UTC 格式保存,但时区元数据现已删除。
如果 UDF 依赖于时区信息,则需要恢复 date = date.replace(tzinfo=timezone.utc)。 有关详细信息,请参阅 输入的时间戳时区行为。
改进了 Kafka 连接器中有关登录模块问题的错误消息
将 Kafka 连接器与无阴影登录模块类结合使用时,Azure Databricks 现在提供错误消息,建议使用正确的着色类前缀(kafkashaded.org.apache.kafka 或 kafkashaded.software.amazon.msk.auth.iam)。
时间旅行限制和 VACUUM 保留行为
Azure Databricks 现在阻止时间旅行查询超出所有表的 deletedFileRetentionDuration 阈值。 该 VACUUM 命令忽略保留期参数,但值为 0 小时除外。 不能设置 deletedFileRetentionDuration 大于 logRetentionDuration 或反之。
默认情况下,BinaryType 在 PySpark 中映射到 bytes
在 PySpark 中,BinaryType 现在一致地映射到 Python bytes 。 以前,PySpark 会根据上下文将 BinaryType 映射到 bytes 或 bytearray。 若要还原旧行为,请设置为 spark.sql.execution.pyspark.binaryAsBytesfalse.
Delta MERGE、UPDATE 和流式写入操作中保留的 NULL 结构
NULL 结构体在 Delta MERGE、UPDATE 以及包含结构体类型转换的流式写入操作中现在保留为 NULL。 以前,NULL 结构已扩展为具有 NULL 字段的结构。 例如,NULL 结构现在仍然保持为 NULL,而不是扩展为具有所有 NULL 字段值的结构。
Parquet 文件中的分区列以具体形式生成
分区 Delta 表现在将分区列具体化为新写入的 Parquet 数据文件中。 以前,分区值存储在 Delta 事务日志元数据中,并反映在目录路径中,但不作为列写入 Parquet 文件本身。 此更改与 Apache Iceberg 和 UniForm 行为保持一致,可能会影响直接读取 Delta Lake 写入的 Parquet 文件的工作负荷,因为新写入的文件包括其他分区列。
图书馆升级
升级后的 Python 库:
- anyio 从 4.6.2 到 4.7.0
- asttokens 2.0.5 至 3.0.0
- azure-core 从 1.34.0 到 1.36.0
- 从 1.5.0 到 1.6.0 的 azure-mgmt-core
- azure-storage-blob 从 12.23.0 到 12.27.1
- azure-storage-file-datalake 从 12.17.0 到 12.22.0
- boto3 从 1.36.2 到 1.40.45
- botocore 从 1.36.3 到 1.40.45
- 证书从2025年1月31日到2025年4月26日
- 点击将版本从 8.1.7 更新至 8.1.8
- 加密从 43.0.3 到 44.0.1
- Cython 从 3.0.12 到 3.1.5
- databricks-sdk 从 0.49.0 到 0.67.0
- 已从 1.2.13 弃用到 1.2.18
- executing 已从 0.8.3 升级到 1.2.0
- fastapi 从 0.115.12 到 0.121.0
- google-api-core 从 2.20.0 到 2.28.1
- google-auth 从 2.40.0 到 2.43.0
- google-cloud-core 从 2.4.3 到 2.5.0
- google-cloud-storage 从 3.1.0 到 3.5.0
- h11 从 0.14.0 到 0.16.0
- 从 1.0.2 到 1.0.9 的 httpcore
- httpx 从 0.27.0 到 0.28.1
- isodate 从 0.6.1 到 0.7.2
- Jinja2 从 3.1.5 到 3.1.6
- jupyter-events 从 0.10.0 到 0.12.0
- jupyter-lsp 从 2.2.0 到 2.2.5
- jupyter_server 2.14.1 到 2.15.0
- jupyter_server_terminals从 0.4.4 到 0.5.3
- mistune从2.0.4更新到3.1.2
- mlflow-skinny 从 版本 3.0.1 到 版本 3.5.1
- mmh3 从 5.1.0 到 5.2.0
- msal 从 1.32.3 到 1.34.0
- nbclient 从 0.8.0 到 0.10.2
- nbconvert版本从7.16.4更新到7.16.6
- notebook_shim 0.2.3 到 0.2.4
- opentelemetry-api 版本更新:从 1.32.1 到 1.38.0
- opentelemetry-sdk 从 1.32.1 到 1.38.0
- opentelemetry-semantic-conventions 从版本 0.53b1 到版本 0.59b0
- platformdirs 的版本从 3.10.0 升级到 4.3.7
- prometheus_client从 0.21.0 到 0.21.1
- psycopg2 从 2.9.3 到 2.9.11
- pyarrow 从 19.0.1 到 21.0.0
- 从 2.15.1 到 2.19.1 的 Pygments
- pyiceberg 从 0.9.0 到 0.10.0
- python-lsp-server 从 1.12.0 到 1.12.2
- 从 1.12.0 到 1.13.0 的绳索
- s3transfer 从 0.11.3 到 0.14.0
- scipy 已更新版本从 1.15.1 至 1.15.3
- setuptools 版本号从 74.0.0 更新到 78.1.1
- 6 从 1.16.0 到 1.17.0
- 从 0.2.0 到 0.6.3 的 stack-data
- starlette 从 0.46.2 到 0.49.3
- 龙卷风从 6.4.2 到 6.5.1
- types-python-dateutil,从 2.9.0.20241206 到 2.9.0.20251008
- uvicorn 从版本 0.34.2 升级到 0.38.0
- 网页颜色从 24.11.1 版升级到 25.10.0 版
升级后的 R 库:
- 箭头从 19.0.1 到 22.0.0
- 基础版本从 4.4.2 到 4.5.1
- bigD 从 0.3.0 到 0.3.1
- 将 broom 从 1.0.7 升级到 1.0.10
- 从 0.7.2 到 0.7.3 的时钟
- commonmark 从 1.9.5 到 2.0.0
- 编译器从 4.4.2 到 4.5.1
- 证书从版本 2.0.2 更新至 2.0.3
- curl 版本从 6.4.0 升级到 7.0.0
- data.table 版本从 1.17.0 到 1.17.8
- 从 4.4.2 到 4.5.1 的数据集
- dbplyr 从 2.5.0 到 2.5.1
- devtools 从 2.4.5 到 2.4.6
- diffobj 从 0.3.5 到 0.3.6
- 摘要从 0.6.37 到 0.6.39
- 从 0.4.5 降级到 0.4.4
- dtplyr 从 1.3.1 到 1.3.2
- 计算结果为 1.0.3 到 1.0.5
- fansi 从 1.0.6 到 1.0.7
- forcats 从 1.0.0 到 1.0.1
- fs 从 1.6.5 到 1.6.6
- future 版本从 1.34.0 更新到 1.68.0
- future.apply 从 1.11.3 到 1.20.0
- gargle从1.5.2升级到1.6.0
- gert 从 2.1.4 到 2.2.0
- ggplot2 从 3.5.1 到 4.0.1
- gh 从 1.4.1 到 1.5.0
- git2r 从 0.35.0 到 0.36.2
- glmnet 从 4.1-8 到 4.1-10
- googledrive 从 2.1.1 到 2.1.2
- googlesheets4 从 1.1.1 到 1.1.2
- 从 4.4.2 到 4.5.1 的图形
- grDevices 从 4.4.2 到 4.5.1
- 从 4.4.2 到 4.5.1 的网格
- 将 gt 从 0.11.1 更新至 1.1.0
- hardhat 从 1.4.1 到 1.4.2
- haven 从 2.5.4 到 2.5.5
- 从 1.1.3 到 1.1.4 的 hms
- httpuv 从 1.6.15 到 1.6.16
- httr2 从 1.1.1 到 1.2.1
- 从 1.9.1 到 2.0.0 的 jsonlite
- 稍后从 1.4.1 升级到 1.4.4
- 熔岩从 1.8.1 到 1.8.2
- listenv 从 0.9.1 到 0.10.0
- magrittr 从 2.0.3 到 2.0.4
- markdown 从 1.13 到 2.0
- 从 4.4.2 到 4.5.1 的方法
- miniUI 从 0.1.1.1 到 0.1.2
- mlflow 从 2.20.4 到 3.6.0
- openssl 从 2.3.3 到 2.3.4
- 并行从 4.4.2 到 4.5.1
- 并行从 1.42.0 到 1.45.1
- 从 1.11.0 到 1.11.1 的支柱
- pkgbuild 从 1.4.6 到 1.4.8
- pkgdown 从版本 2.1.1 升级到 2.2.0
- pkgload 从 1.4.0 到 1.4.1
- pROC 从 1.18.5 到 1.19.0.1
- prodlim 从 2024.06.25 到 2025.04.28
- progressr 从 0.15.1 升级到 0.18.0
- 承诺从 1.3.2 到 1.5.0
- ps 版本从 1.9.0 升级到 1.9.1
- 将 purrr 从 1.0.4 升级到 1.2.0
- ragg版本从1.3.3更新到1.5.0
- Rcpp 从 1.0.14 到 1.1.0
- readr 从 2.1.5 到 2.1.6
- 食谱从 1.2.0 到 1.3.1
- reshape2 从 1.4.4 更新至 1.4.5
- rmarkdown版本从2.29升级到2.30
- roxygen2 从 7.3.2 到 7.3.3
- rprojroot 从 2.0.4 到 2.1.1
- RSQLite 从 2.3.9 到 2.4.4
- 从 2.1.2 到 3.0.0 的 rversions
- rvest 从 1.0.4 到 1.0.5
- sass 从 0.4.9 到 0.4.10
- 从版本 1.3.0 升级到 1.4.0
- Shiny 软件包从版本 1.10.0 更新到 1.11.1
- sparklyr 从 1.9.1 到 1.9.3
- SparkR 从 4.0.0 到 4.1.0
- sparsevctrs从0.3.1到0.3.4
- 从 4.4.2 到 4.5.1 的样条
- 从 4.4.2 到 4.5.1 的统计信息
- stats4 从 4.4.2 到 4.5.1
- stringr 从 1.5.1 到 1.6.0
- Systemfonts 从 1.2.1 到 1.3.1
- tcltk 从 4.4.2 到 4.5.1
- testthat 从 3.2.3 到 3.3.0
- 文本形状从 1.0.0 到 1.0.4
- timeDate 从 4041.110 到 4051.111
- tinytex 从 0.56 到 0.58
- 工具从 4.4.2 到 4.5.1
- 将 usethis 从 3.1.0 升级到 3.2.1
- utils从4.4.2到4.5.1
- V8 从 6.0.2 到 8.0.1
- 从 1.6.5 到 1.6.6 的 vroom
- waldo 从 0.6.1 到 0.6.2
- xfun 从 0.51 到 0.54
- xml2 从 1.3.8 到 1.5.0
- zeallot 从 0.1.0 到 0.2.0
- zip 从 2.3.2 到 2.3.3
升级后的 Java 库:
- com.amazonaws.amazon-kinesis-client 从 1.12.0 到 1.15.3
- com.amazonaws.aws-java-sdk-autoscaling 从 1.12.638 升级到 1.12.681
- com.amazonaws.aws-java-sdk-cloudformation 从版本 1.12.638 升级到版本 1.12.681
- com.amazonaws.aws-java-sdk-cloudfront 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudhsm 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudsearch 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudtrail 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatch 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatchmetrics 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-codedeploy 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cognitoidentity 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cognitosync 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-config 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-core 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-datapipeline 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-directconnect 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-directory 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-dynamodb 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ec2 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ecs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-efs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticache 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticloadbalancing 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elastictranscoder,从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-emr 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-glacier 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-glue 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-iam 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-importexport 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-kinesis 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-kms 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-lambda 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-logs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-machinelearning 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-opsworks 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-rds 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-redshift 从 1.12.638 升级到 1.12.681
- com.amazonaws.aws-java-sdk-route53 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-s3 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ses 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-simpledb 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-simpleworkflow 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sns 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sqs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ssm 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-storagegateway 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sts 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-support 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-workspaces 从 1.12.638 到 1.12.681
- com.amazonaws.jmespath-java 从 1.12.638 到 1.12.681
- com.databricks.databricks-sdk-java 从 0.27.0 到 0.53.0
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.18.2 到 2.18.3
- com.github.luben.zstd-jni 从 1.5.6-10 到 1.5.7-6
- com.google.flatbuffers.flatbuffers-java 从 24.3.25 到 25.2.10
- com.google.guava.failureaccess 从 1.0.2 到 1.0.3
- com.google.guava.guava 从 33.4.0-jre 到 33.4.8-jre
- com.microsoft.sqlserver.mssql-jdbc 从 11.2.3.jre8 升级到 12.8.0.jre8
- commons-cli.commons-cli 从 1.9.0 到 1.10.0
- commons-codec.commons-codec 从 1.17.2 到 1.19.0
- commons-fileupload.commons-fileupload 版本从 1.5 升级到 1.6.0
- commons-io.commons-io 从 2.18.0 到 2.21.0
- dev.ludovic.netlib.arpack 从 3.0.3 到 3.0.4
- dev.ludovic.netlib.blas 从 3.0.3 升级到 3.0.4
- dev.ludovic.netlib.lapack 从 3.0.3 到 3.0.4
- io.delta.delta-sharing-client_2.13 从 1.3.5 到 1.3.6
- io.dropwizard.metrics.metrics-annotation 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-core 从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-graphite 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-healthchecks 从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-jmx 从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-json 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-jvm 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-servlets 从 4.2.30 到 4.2.37
- io.netty.netty-all 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-buffer 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-http 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-http2,从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-socks 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-common 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-handler 从《4.1.118.Final》到《4.2.7.Final》
- io.netty.netty-handler-proxy 版本从 4.1.118.Final 升级到 4.2.7.Final
- io.netty.netty-resolver 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-tcnative-boringssl-static 从 2.0.70.Final-db-r0-windows-x86_64 到 2.0.74.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes 从 2.0.70.Final 到 2.0.74.Final
- io.netty.netty-transport 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-classes-epoll 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-classes-kqueue 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-native-epoll 从 4.1.118.Final-linux-x86_64 升级到 4.2.7.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 从 4.1.118.Final-osx-x86_64 到 4.2.7.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common 从 4.1.118.Final 到 4.2.7.Final
- joda-time.joda-time 从 2.13.0 到 2.14.0
- org.apache.arrow.arrow-format 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-core 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-netty 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-netty-buffer-patch 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-vector 从 18.2.0 到 18.3.0
- org.apache.avro.avro 从 1.12.0 到 1.12.1
- org.apache.avro.avro-ipc 从 1.12.0 到 1.12.1
- org.apache.avro.avro-mapred 从 1.12.0 到 1.12.1
- org.apache.commons.commons-collections4 从 4.4 到 4.5.0
- org.apache.commons.commons-compress 从 1.27.1 更新到 1.28.0
- org.apache.commons.commons-lang3 从 3.17.0 到 3.19.0
- org.apache.commons.commons-text 从 1.13.0 到 1.14.0
- org.apache.curator.curator-client 从 5.7.1 到 5.9.0
- org.apache.curator.curator-framework 从 5.7.1 到 5.9.0
- org.apache.curator.curator-recipes 从 5.7.1 到 5.9.0
- org.apache.datasketches.datasketches-java 从 6.1.1 到 6.2.0
- org.apache.hadoop.hadoop-client-runtime 从 3.4.1 到 3.4.2
- org.apache.orc.orc-core 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
- org.apache.orc.orc-format 从 1.1.0-shaded-protobuf 到 1.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
- org.apache.orc.orc-shims 从 2.1.1 到 2.2.0
- org.apache.xbean.xbean-asm9-shaded 从 4.26 到 4.28
- org.apache.zookeeper.zookeeper,从 3.9.3 到 3.9.4
- org.apache.zookeeper.zookeeper-jute 从 3.9.3 到 3.9.4
- org.eclipse.jetty.jetty-client 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-http 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-io 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-jndi 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-plus 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-proxy 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-security 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-server 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-servlet 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-servlets 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-util 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-webapp 从版本 9.4.53.v20231009 升级至版本 10.0.26
- org.eclipse.jetty.jetty-xml 从 9.4.53.v20231009 到 10.0.26
- org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.22.1
- org.objenesis.objenesis 版本从 3.3 更新到 3.4
- org.scala-lang.modules.scala-xml_2.13 从 2.3.0 到 2.4.0
Apache Spark
Databricks Runtime 18.0 (Beta) 包括 Apache Spark 4.0.0。 此版本包括以前版本中包含的所有 Spark 修复和改进,以及以下对 Spark 进行的其他 bug 修复和改进:
- SPARK-54536 Shuffle FetchWaitTime 缺少收集创建客户端/等待成本
- SPARK-54534 将 Hive 相关的旧错误代码迁移到适当的错误条件
-
SPARK-54565 SparkBuildInfo 应从自己的类加载器加载
spark-version-info.properties - SPARK-54533 为指标 ExecutorSource.METRIC_RESULT_SIZE 设置正确的值
- SPARK-54478 为连接兼容性测试 CI 重新启用流式测试
-
SPARK-54552修复了
SparkConnectResultSet.getString以正确处理 BINARY 数据类型的问题UTF_8 - SPARK-54501 改进 Hive 元存储库分区筛选器失败的错误处理
-
SPARK-54550在
ConnectException中优雅地SparkConnectStatement.close()处理 -
SPARK-54020 在 Spark 声明性管道的查询函数中支持
spark.sql(...)Python API - SPARK-53127 修复 LIMIT 使用 CTE 规范化进行无限制递归的 ALL
- SPARK-50072 处理间隔解析时出现的大值算术异常
-
SPARK-54299 修复错误的示例查询
WindowGroupLimit - SPARK-54505 更正 makeNegative 中 createMetrics 调用的参数顺序
-
SPARK-54462 添加
SupportsV1OverwriteWithSaveAsTable的混入TableProvider - SPARK-54540 连接 JDBC 驱动程序的几个次要修复
-
SPARK-54508 修复
spark-pipelines以更可靠地解析spec文件路径 - SPARK-54087 Spark 执行程序启动任务失败应返回任务终止消息
- SPARK-53797 修复 并使用
FileStreamSource.takeFilesUntilMax以避免zipWithIndex的使用 - SPARK-54418 修复错误消息和代码格式
- SPARK-54114 支持获取 SparkConnectDatabaseMetaData 的列信息
- SPARK-54209 支持 SparkConnectResultSet 中的 TIMESTAMP 类型
- SPARK-54208 支持 SparkConnectResultSet 中的 TIME 类型
- SPARK-54528 急切地关闭 URLClassLoader 以避免 OOM
-
SPARK-54464 删除重复
output.reserve调用assembleVariantBatch - SPARK-53635 支持具有 Seq[Row] 类型的输入参数的 Scala UDF
- SPARK-54493 修复 MapType 的 assertSchemaEqual
- SPARK-52515 在标志开关状态下测试approx_top_k
- SPARK-54413 将 Bootstrap v4.4.1 升级到 v4.6.2
-
SPARK-54497在转换器缓存中应用
functools.lru_cache - SPARK-54306 使用 Variant 逻辑类型批注对 Variant 列进行批注
- SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION 应该从1开始
- SPARK-54130 为目录断言失败添加详细的错误消息
- SPARK-54220 Parquet 中的 NullType/VOID/UNKNOWN 类型支持
- SPARK-54163 扫描规范化处理以获取分区和排序的信息
- SPARK-54377 修复 COMMENT ONTABLE IS NULL,以便能够正确删除表上的注释
- SPARK-52767 针对联接和联合优化 maxRows 和 maxRowsPerPartition
- SPARK-54063 当上传延迟时触发下一批快照
- SPARK-54384 更新 BatchedSerializer 的 _batched 方法
-
SPARK-54378从
CreateXmlParser.scala模块中删除catalyst - SPARK-53103 还原“[SC-204946][ss] 如果在查询启动时状态目录不为空,则引发错误”
- SPARK-53103 如果在查询启动时状态目录不为空,则引发错误
-
SPARK-54397 使
UserDefinedType可哈希化 -
SPARK-54440 为默认管道规范文件提供更惯用的名称,
spark-pipeline.yml - SPARK-54324 为 client-user-context-extensions 添加测试
- SPARK-54456 在分叉后导入辅助角色模块以避免死锁
-
SPARK-54427允许 ColumnarRow 使用可变类型进行调用
copy -
SPARK-54136从
MergeScalarSubqueries提取计划合并逻辑至PlanMerger - SPARK-54389 修复当任务在初始化期间标记为失败时,RocksDB 状态存储无效标记错误
- SPARK-54346 引入状态重新分区 API 和重新分区执行器
- SPARK-53809 为 DataSourceV2ScanRelation 添加标准化处理
- SPARK-54280 要求管道检查点存储目录为绝对路径
- SPARK-54206 支持 SparkConnectResultSet 中的 BINARY 类型数据
- 禁用 codegen 时,BHJ LeftAnti 对 numOutputRows 的更新出错。
-
SPARK-54355使
spark.connect.session.planCompression.defaultAlgorithm能够支持NONE - SPARK-54341 记住要对通过 TableProvider 加载的表保持 TimeTravelSpec
- SPARK-54280 还原“[SC-212148][sdp] 要求将管道检查点存储 dir 设置为绝对路径”
- SPARK-54354 修复在没有足够的 JVM 堆内存用于广播哈希关系时挂起的 Spark
- SPARK-54439 KeyGroupedPartitioning 和联接密钥大小不匹配
- SPARK-54280 要求管道检查点存储目录为绝对路径
- SPARK-54395 RemoteBlockPushResolver 类重复初始化 ObjectMapper
- SPARK-54207 支持 SparkConnectResultSet 中的日期类型数据
-
SPARK-54182 优化非箭头转换
df.toPandas - SPARK-54312 避免在独立工作节点中为 SendHeartbeat/WorkDirClean 重复调度任务
-
SPARK-54394将
isJavaVersionAtMost17和isJavaVersionAtLeast21从core移动到common/utils - SPARK-53927 升级 kinesis 客户端
- SPARK-54358 当不同模式中的流式处理表具有相同名称时,检查点目录会发生冲突
-
SPARK-54310 还原“[SC-212003][sql] 为
numSourceRows添加MergeIntoExec度量” -
SPARK-54310 为
numSourceRows添加MergeIntoExec指标 - SPARK-53322 仅当可以完全向下推送联接键位置时,才选择 KeyGroupedShuffleSpec
- SPARK-54270 SparkConnectResultSet get* 方法应调用 checkOpen 并检查索引边界
- SPARK-53849 更新 netty 和 netty tc 本地库
- SPARK-54205 支持 SparkConnectResultSet 中的十进制类型数据
- SPARK-54417 修复在IDENTIFIER子句中与标量子查询相关的错误消息
- SPARK-54113 支持 SparkConnectDatabaseMetaData 中的 getTables
- SPARK-54303 标准化错误状态 MISSING_CATALOG_ABILITY
- SPARK-54153 支持基于分析迭代器的 Python UDF
- SPARK-54349 重构代码以简化 faulthandler 集成扩展
- SPARK-54317 统一经典和连接到Pandas 的箭头转换逻辑
- SPARK-54339 修复 AttributeMap 非确定性
- SPARK-54112 支持 SparkConnectDatabaseMetaData 的 getSchemas功能
- SPARK-54180 重写 BinaryFileFormat 的 toString
- SPARK-54213 从 Spark Connect 中删除 Python 3.9
- SPARK-54215 将 SessionStateHelper 特征添加到 FilePartition
- SPARK-54115 提升线程转储页面中连接服务器操作线程的显示排序优先级
- SPARK-54193 已弃用的 spark.shuffle.server.finalizeShuffleMergeThreadsPercent
- SPARK-54149 尽可能启用尾递归
- SPARK-54185 已弃用 spark.shuffle.server.chunkFetchHandlerThreadsPercent
- SPARK-54056 解决目录中 SQLConf 设置替换的问题
- SPARK-54147 在 BaseScriptTransformationExec 中默认将 OMP_NUM_THREADS 设置为 spark.task.cpus
- SPARK-54229 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目
- SPARK-53337 XSS:确保历史记录页中的应用程序名称得到转义
- SPARK-54229 还原“[SC-211321][python] 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目”
- SPARK-54373 扩大作业 DAG 初始化时的 SVG viewBox 属性
- SPARK-54323 更改访问 TVF 的日志而不是系统视图的方式
- SPARK-54229 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目
- SPARK-53978 支持在驱动端工作进程中进行日志记录
- SPARK-54146 清理已弃用的 Jackson API 的使用
- SPARK-54383 为 InternalRowComparableWrapper util 添加预计算架构变体
- SPARK-54030 为视图元数据损坏添加用户友好断言消息
- SPARK-54144 短路评估类型推理
- SPARK-54030 还原“[SC-210301][sql] 为视图元数据损坏添加用户友好断言消息”
- SPARK-54028 更改与 Hive 不兼容的视图时使用空架构
- SPARK-54030 为视图元数据损坏添加用户友好断言消息
-
SPARK-54085 修复
initialize,此外在CREATE中添加DriverRunner选项 - SPARK-53482MERGE INTO 支持源嵌套字段少于目标嵌套字段时的情况
- SPARK-53905 重构 RelationResolution 以启用代码重用
- SPARK-53732 记住 DataSourceV2Relation 中的 TimeTravelSpec
- SPARK-54014 支持 SparkConnectStatement 的最大行数
- SPARK-50906 修复重新排序的结构体字段的 Avro 空值性检查
- SPARK-54396 优化 Dataframe.toArrow 中的 Py4J 调用
- SPARK-54344 如果在 daemon.py 中数据刷新失败,则杀掉工作线程
- SPARK-53977 支持在 UDTF 中进行日志记录
- SPARK-52515 重新应用“[SC-199815][sql] 添加approx_top_k函数”
- SPARK-54340 添加在 pyspark 守护程序/辅助角色上使用 viztracer 的功能
-
SPARK-54379 将 lambda 绑定移动到单独的
LambdaBinder对象 - SPARK-54029 添加表元数据损坏的详细错误消息以简化调试
- SPARK-54002 支持将 BeeLine 与 Connect JDBC 驱动程序集成
-
SPARK-54336 修复
BloomFilterMightContain输入类型检查ScalarSubqueryReference - SPARK-53406 避免在直接传递的 shuffle ID 中进行不必要的 shuffle 联接
- SPARK-54347 优化经典数据帧中的 Py4J 调用
- SPARK-54062 MergeScalarSubqueries 代码清理
- SPARK-54054 支持 SparkConnectResultSet 的行位置
-
SPARK-54330 优化 Py4J 调用
spark.createDataFrame - SPARK-54332 无需在汇总/多维数据集/groupingSets 中的分组列名称中附加 PlanId
- SPARK-53976 支持 Pandas/Arrow UDF 中的日志记录
- SPARK-54123 添加时区以使时间戳成为绝对时间
- SPARK-54356 修复由缺少存储根架构导致的 EndToEndAPISuite
- SPARK-54292 支持聚合函数和 GROUP BY in |>SELECT 管道运算符 (#180106) (#180368)
- SPARK-54376 将大多数管道配置选项标记为内部
- SPARK-53975 添加基本的 Python 工作节点日志支持
- SPARK-54361 将 Spark 版本设定为 spark.sql.parser.singleCharacterPipeOperator.enabled 的目标值 4.2.0
- SPARK-51518 支持 | 作为 SQL 管道运算符令牌的替代方法 | >
- SPARK-53535 修复始终假定为 null 的缺失结构
- SPARK-54294 规范化 Connect 服务器打印出的 IP 地址
- SPARK-52439 支持具有 null 值的 check 约束
-
SPARK-54352 引入
SQLConf.canonicalize以集中规范化字符串 - SPARK-54183 还原还原“[SC-211824][python][CONNECT] 避免在 Spark 连接到Pandas()期间出现一个中间临时数据帧”
- SPARK-53573IDENTIFIER 到处
- SPARK-53573 允许在任何地方合并字符串文本
- SPARK-54240 将获取数组项催化剂表达式转换为连接器表达式
-
SPARK-54334 将 lambda 和更高顺序函数下的子查询表达式的验证移动到
SubqueryExpressionInLambdaOrHigherOrderFunctionValidator - SPARK-54183 还原“[SC-211824][python][CONNECT] 避免在 spark 连接到Pandas()期间使用一个中间临时数据帧”
- SPARK-54183 避免在 spark 连接到Pandas 期间使用一个中间临时数据帧()
- SPARK-54264 DeDup 运算符可以使用 RocksDB 的 keyExists()
-
SPARK-54269 升级到
cloudpickle3.1.2 for Python 3.14 -
SPARK-54300 优化 Py4J 调用
df.toPandas - SPARK-54307 如果在状态目录为空的情况下用有状态操作重启流式查询,则会引发错误。
- SPARK-54117 提供更明确的错误提示,表明 TWS 仅支持 RocksDB 状态存储器
- SPARK-53917 支持大型本地关系 - 后续步骤
-
SPARK-54275 清理
pipeline模块中未使用的代码 -
SPARK-54287 在
pyspark-client和pyspark-connect中添加对 Python 3.14 的支持 -
SPARK-53614 向
Iterator[pandas.DataFrame]添加applyInPandas支持 - SPARK-54191 向 Defineflow Proto 添加一次
- SPARK-54234 不需要在 df.groupBy 中将 PlanId 附加到分组列名称上
- SPARK-54231 填写 SDP 文档中的空白
- SPARK-54199 为新的 KLL 分位数草图函数添加 DataFrame API 支持(#178526)
- SPARK-52463 重新应用“[SC-211221][sdp] 在 Python Pipelines API 中添加对cluster_by的支持”
- SPARK-52463 还原“[SC-211221][sdp] 在 Python Pipelines API 中添加对cluster_by的支持”
- SPARK-53786 具有特殊列名的默认值不应与实际列冲突
- SPARK-54200 更新 KafkaConsumerPoolRealTimeModeSuite 以使用 groupIdPrefix 实现并发运行安全性
- SPARK-52463 在 Python Pipelines API 中添加对cluster_by的支持
-
SPARK-52509 从回退存储中清理单个洗牌在
RemoveShuffle事件上 - SPARK-54187 重新应用“[SC-211150][python][CONNECT] 在 toPandas 中批量获取所有配置”
- SPARK-53942 支持在重新启动流式处理查询时更改无状态随机分区
- SPARK-52515 还原“[SC-199815][sql] 添加approx_top_k函数”
- SPARK-52515 添加approx_top_k函数
-
SPARK-54078 为
StateStoreSuite SPARK-40492: maintenance before unload进行新测试,并移除旧测试中的基础设施部分。 - SPARK-54178 改进 ResolveSQLOnFile 的错误
-
SPARK-53455 添加
CloneSessionRPC - SPARK-54178 还原“[SC-211111][sql] 改进 ResolveSQLOnFile 错误”
-
SPARK-53489 移除使用
v2ColumnsToStructType在ApplyDefaultCollationToStringType - SPARK-54178 改进 ResolveSQLOnFile 的错误
- SPARK-54187 还原“[SC-211150][python][CONNECT] 在 toPandas 中获取批处理中的所有配置”
- SPARK-53942 还原“[SC-209873][ss] 支持在重新启动流式处理查询时更改无状态随机分区”
- SPARK-54187 在 toPandas 中获取批处理中的所有配置
- SPARK-54145 修复嵌套类型在数值聚合中的列检查问题
- SPARK-53942 支持在重新启动流式处理查询时更改无状态随机分区
- SPARK-53991 基于 DataSketches (#178089) (#178234) 添加对 KLL 量子函数的 SQL 支持
- SPARK-53128 在执行内存 OOM 之前,在使用情况日志中包含非托管内存字节
- SPARK-53731 更新迭代器 API 的类型提示
-
SPARK-53967 避免在
df.toPandas中创建中间 pandas 数据帧 -
SPARK-53455 还原“[SC-208758][connect] 添加
CloneSessionRPC” - SPARK-54108 修改 SparkConnectStatement 的执行* 方法
- SPARK-54052 添加 bridge 对象以解决 Py4J 限制
- SPARK-54128 使用 Spark Connect 服务器中的正确错误类将 IllegalArgumentException 转换为 SparkException
- SPARK-53880 通过添加 SupportsPushDownVariants 修复 PushVariantIntoScan 中的 DSv2
- SPARK-54111 支持 SparkConnectDatabaseMetaData 的 getCatalogs
-
SPARK-53455 添加
CloneSessionRPC - SPARK-54118 改进多个值情况下 ListState 中的 put/merge操作
- SPARK-54038 支持 SparkConnectDatabaseMetaData 的 getSQLKeywords 功能
- SPARK-54013 实现 SparkConnectDatabaseMetaData 简单方法
- SPARK-53934 初始实现 Connect JDBC 驱动程序
- SPARK-53959 在从具有索引但没有数据的 pandas 数据帧创建数据帧时,引发客户端端错误
- SPARK-53573 还原“[SC-210255][sql] 允许在任何地方聚合字符串文本”
- SPARK-54094 将常用方法提取到 KafkaOffsetReaderBase
- SPARK-53573 允许在任何地方合并字符串文本
- SPARK-54039 将 TaskContext 信息添加到 KafkaDataConsumer release()日志,以便更好地进行调试
- SPARK-54031 为分析边缘案例添加新的黄金文件测试
-
SPARK-54067改进
SparkSubmit以使用根本原因而不是exitFnSparkUserAppException - SPARK-54047 在空闲超时终止时使用差异错误
-
SPARK-54078 Deflake StateStoreSuite
SPARK-40492: maintenance before unload - SPARK-54061 为非法日期时间模式的 IllegalArgumentException 添加合适的错误代码包装
- SPARK-54031 撤销“[SC-210084][sql] 为分析边缘案例添加新的黄金文件测试”
-
SPARK-54075 使
ResolvedCollation可评估 - SPARK-54001 使用 ref-counted 缓存的本地关系优化会话克隆中的内存使用情况
- SPARK-54031 为分析边缘案例添加新的黄金文件测试
-
SPARK-53923 重命名
spark.executor.(log -> logs).redirectConsoleOutputs -
SPARK-54007 使用 Java
Set.of而不是Collections.emptySet - SPARK-53755 在 BlockManager 中添加日志支持
- SPARK-54041 重构 ParameterizedQuery 参数验证过程
- SPARK-53696 在 PySpark 中,将 BinaryType 的默认设置为使用字节
- SPARK-53921 将 GeometryType 和 GeographyType 引入 PySpark API
-
SPARK-53788 将 VersionUtils 移动到
common模块 - SPARK-53999 BSD/MacOS 上的原生 KQueue 传输支持
- SPARK-54021 在 Catalyst 框架中实现 Geography 和 Geometry 访问方法
- SPARK-53921 撤销“[SC-209482][geo][PYTHON] 引入 GeometryType 和 GeographyType 到 PySpark API”
- SPARK-53920 将 GeometryType 和 GeographyType 引入 Java API
- SPARK-53610 限制 CoGrouped applyInPandas 和 applyInArrow 中的箭头批大小
- SPARK-53659 在写入 Parquet 时推断 Variant 切碎架构
- SPARK-53922 介绍物理几何图形和地理类型
- SPARK-54059 如果使用 ZGC 或 ShenandoahGC 和 ON_HEAP,请减少默认页面大小LONG_ARRAY_OFFSET
- SPARK-53921 将 GeometryType 和 GeographyType 引入 PySpark API
-
SPARK-54048更新
dev/requirements.txt以在 Python 3.14 中安装torch(vision) - SPARK-53917 支持大型本地关联
- SPARK-53760 引入几何类型和地理类型
-
SPARK-53530 清理与以下相关无用代码
TransformWithStateInPySparkStateServer - SPARK-53636 修复 SortShuffleManager.unregisterShuffle 中的线程安全问题
- SPARK-52762 添加 PipelineAnalysisContext 消息以支持 Spark Connect 查询执行期间的管道分析
- SPARK-53631 优化 SHS 启动上的内存和性能
- SPARK-53857 允许 messageTemplate 传送至 SparkThrowable
- SPARK-53891 DSV2模型 提交写入摘要 API
- SPARK-53966 添加实用工具函数以检测 JVM GC
- SPARK-53149 修复测试 BeeLine 进程是否在后台运行
- SPARK-53738 修复查询输出包含可折叠排序时的计划内写入问题
-
SPARK-53949 使用
Utils.getRootCause而不是Throwables.getRootCause - SPARK-53696 恢复“[SC-209330][python][CONNECT][sql] 将 BinaryType 在 PySpark 中的默认值设为字节”
- SPARK-53804 支持 TIME 基数排序
- SPARK-54004 修复按名称取消缓存表而不进行级联操作
-
SPARK-53261 使用 Java
String.join|StringJoiner而不是 GuavaJoiner - SPARK-53319 通过 try_make_timestamp_ltz() 函数支持时间类型
-
SPARK-53280 使用 Java
instanceof而不是Throwables.throwIf*方法 - SPARK-53696 在 PySpark 中,将 BinaryType 的默认设置为使用字节
-
SPARK-53258 使用
JavaUtils的check(Argument|State) -
SPARK-53773 恢复规则的字母顺序
RuleIdCollection -
SPARK-53256 提升
check(Argument|State)为JavaUtils - SPARK-54008 跳过 QO DESCRIBE QUERY
- SPARK-53573 将预处理器用于通用参数标记处理
-
SPARK-53980 添加
SparkConf.getAllWithPrefix(String, String => K)API -
SPARK-54009 支持
spark.io.mode.default - SPARK-51903 验证在添加 CHECK 约束时的数据
- SPARK-53573 还原“[SC-209126][sql] 将预处理器用于通用参数标记处理”
- SPARK-53573 将预处理器用于通用参数标记处理
- SPARK-53573 还原“[SC-209126][sql] 将预处理器用于通用参数标记处理”
- SPARK-53956 支持 PySpark 中 try_make_timestamp 函数中的 TIME
- SPARK-53930 支持在 PySpark 中的 make_timestamp 函数中使用 TIME
- SPARK-53573 将预处理器用于通用参数标记处理
- SPARK-53564 避免因 DAGSchedulerEventProcessLoop 中的 blockManager RPC 超时导致 DAGScheduler 退出
-
SPARK-53879 升级到
Ammonite3.0.3 - SPARK-53938 修复 LocalDataToArrowConversion 中的小数调整
- SPARK-53845 SDP 接收端
- SPARK-53908 使用计划缓存修复 Spark Connect 上的观察结果
-
SPARK-53841在列 API 中实现
transform() - SPARK-53929 支持在 Scala 中的 make_timestamp 和 try_make_timestamp 函数中使用 TIME 数据类型
- SPARK-53902 为参数列表中的支持表达式增加树节点模式位
- SPARK-53064 在 Java 中重写 MDC LogKey
- SPARK-53762 向优化器添加日期和时间转换简化规则
- SPARK-53916 删除 PythonArrowInput 中的变量
- SPARK-53690 修复了在进行中的 JSON 中 Kafka 源对象的 avgOffsetsBehindLatest 和 estimatedTotalBytesBehindLatest 的指数格式设置问题。
- SPARK-53789 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG
- SPARK-53720 简化从 DataSourceV2Relation 中提取表(#52460)
-
SPARK-45530 使用
java.lang.ref.Cleaner而不是finalize用于NioBufferedFileInputStream - SPARK-53789 还原“[SC-208902][sql][CONNECT] 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG”
- SPARK-53789 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG
- SPARK-53111 在 PySpark 中实现 time_diff 函数
-
SPARK-53896默认情况下启用
spark.io.compression.lzf.parallel.enabled -
SPARK-53856 删除
denylist备用配置名称 - SPARK-53611 限制窗口 agg UDF 中的箭头批大小
- SPARK-53575 针对重试的随机映射任务检测到校验和不匹配时重试整个使用者阶段
- SPARK-53867 限制SQL_GROUPED_AGG_ARROW_UDF中的箭头批大小
- SPARK-53877 介绍 BITMAP_AND_AGG 函数
- SPARK-51426 修复了“将元数据设置为空字典无效”
- SPARK-53868 在 V2ExpressionBuilder 中使用数组长度检查而不是直接引用检查
- SPARK-53609 限制SQL_GROUPED_AGG_PANDAS_UDF中的箭头批大小
-
SPARK-53892 使用
DescribeTopicsResult.allTopicNames而不是弃用的allAPI - SPARK-53878 修复与 ObservedMetrics 相关的争用条件问题
-
SPARK-53796 向几个管道协议缓冲(proto)添加
extension字段以支持向前兼容性 - SPARK-53850 定义接收器的 proto 并将 DefineDataset 重命名为 DefineOutput
- SPARK-53812 重构 DefineDataset 和 DefineFlow protos,以分组相关属性并适应未来需求
- SPARK-53870 修复 TransformWithStateInPySparkStateServer 中大型协议缓冲区消息的部分读取错误
- SPARK-53751 显式版本控制检查点位置
- SPARK-52407 添加对 Theta Sketch 的支持(#171135)
-
SPARK-53779在Column API中实现
transform() -
SPARK-49547 将 API 迭代
RecordBatch器添加到applyInArrow - SPARK-53802 支持 SDP 表中用户指定架构的字符串值
- SPARK-53865 从 ResolveGenerate 规则中提取常见逻辑
- SPARK-53113 通过 try_make_timestamp() 支持时间类型
-
SPARK-53868 仅在 V2ExpressionSQBuilder 中将签名与 Expression[]
visitAggregateFunction一起使用 - SPARK-53792 修复了限定内存时 rocksdbPinnedBlocksMemoryUsage ...
-
SPARK-53248在
checkedCast中支持JavaUtils - SPARK-52640 传播 Python 源代码位置
- SPARK-52924 支持 ZSTD_strategy 压缩策略
- SPARK-53562 重新应用“[SC-207233][python] 限制 applyInArrow 和 applyInPandas 中的箭头批大小”
- SPARK-51272 在 ResubmitFailedStages 中中止执行,而不是继续处理未完全完成的不确定结果阶段
- SPARK-53795 在 LiteralValueProtoConverter 中删除未使用的参数
-
SPARK-53808 允许将可选 JVM 参数传递给
spark-connect-scala-client - SPARK-52614 支持产品编码器中的行编码器
-
SPARK-53833更新以在 Python 3.14 中跳过
dev/requirements.txttorch/torchvision - SPARK-53715 重构 MergeIntoTable 的 getWritePrivileges
-
SPARK-53516 修复
spark.api.modeSparkPipelines 中的 arg 进程 - SPARK-53507 请勿使用 BreakingChangeInfo 的用例类
-
SPARK-53645 实现
skipna参数用于 ps.DataFrameany() -
SPARK-53717 正确修改
MapType.valueContainsNull参数注释 -
SPARK-53700 删除在
DataSourceV2RelationBase.simpleString中的冗余 SPARK-53667 修复 CALL 使用的 -
SPARK-53562 还原“[SC-207233][python] 限制 Arrow 批处理大小在
applyInArrow和applyInPandas中” - SPARK-51169 在 Spark 经典版中添加 Python 3.14 支持
-
SPARK-53562限制箭头批大小
applyInArrowapplyInPandas - SPARK-53806 允许 AES 解密时对空输入进行错误分类处理
- SPARK-51756 计算 ShuffleWriters 中的 RowBasedChecksum
- SPARK-52807 Proto 更改以支持声明性管道查询函数内的分析
- SPARK-53728 打印测试中出现错误的 PipelineEvent 消息
- SPARK-53207 以异步方式将管道事件发送到客户端
-
SPARK-53829
datetime.time列运算符支持 - SPARK-53638 限制 TWS 中 Apache Arrow 批次的字节大小以避免内存溢出(OOM)
- SPARK-53593 修复:对响应字段使用未加引号
- SPARK-53734 解析数组索引时首选表列而不是 LCA
- SPARK-53593 为 DefineDataset 和 DefineFlow RPC 添加响应字段
- SPARK-53734 还原“[SC-207697][sql] 解析数组索引时首选表列而不是 LCA”
- SPARK-53621 添加对执行 CONTINUE HANDLER 的支持
- SPARK-53734 解析数组索引时首选表列而不是 LCA
- SPARK-53507 向错误添加重大变更信息
- SPARK-53707 改进属性元数据处理。
- SPARK-53629 实现 MERGE INTO 和 SCHEMA 演化的类型拓宽
-
SPARK-53719 增强函数中的
_to_col类型检查 - SPARK-53735 在 spark-pipelines 输出中默认隐藏服务器端 JVM 堆栈跟踪
- SPARK-53651 在管道中添加对持久视图的支持
- SPARK-53678 解决在 DataType 为 null 时创建 ColumnVector 子类的 NPE 问题
- SPARK-46679 修复了 SparkUnsupportedOperationException 在使用 Parameterized 类时找不到类型 T 的编码器
- SPARK-53444 重新调整立即执行、再次调整立即执行
- SPARK-53578 简化 LiteralValueProtoConverter 中的数据类型处理
- SPARK-53438 在 LiteralExpressionProtoConverter 中使用 CatalystConverter
- SPARK-53444 还原“[SC-206535][sql][CORE] 重新执行立即执行作业”
- SPARK-53444 重新调整立即执行、再次调整立即执行
- SPARK-53112 支持 PySpark 中make_timestamp_ntz和try_make_timestamp_ntz函数中的 TIME
- SPARK-53492 拒绝具有已完成操作 ID 的第二个 ExecutePlan
- SPARK-52772 转发修复黄金文件
- SPARK-53591 简化管道规格模式通配符匹配
- SPARK-53553 修复了 LiteralValueProtoConverter 对 null 值的处理问题
- SPARK-52772 更新期间表属性处理不一致
- SPARK-53544 支持观测数据的复杂类型
-
SPARK-53357 更新
pandas到 2.3.2 - SPARK-53402 支持 Scala 中的 Spark Connect 中的直接直通分区数据集 API
- SPARK-53372 SDP 端到端测试套件
- SPARK-53402 恢复“[SC-206163][connect] 在 Scala 中的 Spark Connect 中支持直接透传分区数据集 API”
- SPARK-53402 支持 Scala 中的 Spark Connect 中的直接直通分区数据集 API
-
SPARK-53233 使与
streaming相关的代码使用正确的包名称 -
SPARK-53233 还原“[SC-203716][sql][SS][mllib][CONNECT] 使与
streaming相关的代码使用正确的包名” -
SPARK-53233 使与
streaming相关的代码使用正确的包名称 - SPARK-53561 在 outputStream.flush 期间捕获 TransformWithStateInPySparkStateServer 中的中断异常,以避免工作线程崩溃。
-
SPARK-53486避免在火炬模型加载中设置
weights_only=False - SPARK-53391 删除未使用的 PrimitiveKeyOpenHashMap
- SPARK-52431 声明式流水线执行器的最后润饰
- SPARK-52980 支持箭头 Python UDTF
- SPARK-53453 取消阻止“torch<2.6.0”
- SPARK-52582 重新合并 “[SC-199314][sc-204581][SQL] 改进 XML 分析器内存使用情况”
- SPARK-52582 还原“[SC-199314][sc-204581][SQL] 改进 XML 分析器内存使用情况”
- SPARK-52582 改进 XML 分析器内存使用情况
- 在 alter table add columns 中使用的 Dsv2 表达式 - SPARK-51906
-
SPARK-53150 改进
list(File|Path)s以处理不存在的、非目录的符号链接输入 -
SPARK-53091 禁止
org.apache.commons.lang3.Strings - SPARK-52844 将 numpy 更新为 1.22
-
SPARK-52912 改进
SparkStringUtils以支持is(Not)?(Blank|Empty) - SPARK-52877 改进 Python UDF 箭头序列化程序性能
- SPARK-52877 还原“[SC-201914][python] 改进 Python UDF 箭头序列化程序性能”
- SPARK-52238 声明性管道的 Python 客户端
- SPARK-52877 改进 Python UDF 箭头序列化程序性能
- SPARK-53287 添加 ANSI 迁移指南
- SPARK-52110 实现对管道的 SQL 语法支持
-
SPARK-52897 更新
pandas到 2.3.1 - SPARK-52451 还原“[SC-202894][connect][SQL] 在 SparkConnectPlanner 中使 WriteOperation 无副作用”
- SPARK-52976 修复 Python UDF 不接受排序字符串作为输入参数/返回类型
- SPARK-52904 默认启用 convertToArrowArraySafely
- SPARK-52821 add int-DecimalType> pyspark udf return type coercion
- SPARK-52971 限制空闲的 Python 辅助角色队列大小
- SPARK-53013 修复箭头优化的 Python UDTF,在横向联接上不返回任何行
- SPARK-51834 同步 OSS:支持端到端表约束更改 add/drop 约束
- SPARK-52675 中断测试中的挂起 ML 处理程序
- SPARK-52959 在箭头优化的 Python UDTF 中支持 UDT
- SPARK-52961 修复使用 0 参数评估的箭头优化 Python UDTF 在横向连接上的问题
- SPARK-52949 避免在由箭头优化的 Python UDTF 中的 RecordBatch 和表之间往返
- SPARK-52946 修复 Arrow 优化的 Python UDTF 以支持大型变量类型
- SPARK-52934 允许使用箭头优化的 Python UDTF 生成标量值
- SPARK-52861 在 UDTF 箭头优化执行中跳过 Row 对象创建
- SPARK-51834 将 OSS 支持端到端创建/替换表与约束同步
- SPARK-44856 改进 Python UDTF 箭头序列化程序性能
- SPARK-51834 还原“[SQL] 通过添加构造函数修复 TableSpec”
- SPARK-51834 通过添加构造函数修复 TableSpec
- SPARK-51834 还原“[SQL] 同步 OSS(部分):支持创建/替换表中的端到端表约束”
- SPARK-51834 同步 OSS (部分):在 create/replace 表中支持端到端流程表约束条件
- SPARK-52885 在 Scala 中为 TIME 类型实现小时、分钟和秒函数
- SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
- SPARK-44856 还原“[SC-195808][python] 改进 Python UDTF 箭头序列化程序性能”
- SPARK-51834 撤销“[SQL] 同步 OSS 更新 ResolvedIdentifier unapply 函数调用”
- SPARK-44856 改进 Python UDTF 箭头序列化程序性能
- SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
- SPARK-52787 围绕运行时和检查点区域重新组织流式执行 dir
- SPARK-51695 通过 DSv2 为唯一约束同步 OSS 创建/替换/更改表
- SPARK-51695 通过 DSv2 同步 OSS 删除约束
- SPARK-51695 引入表约束分析器更改(CHECK、PK、FK)
- SPARK-51695 还原“[SQL] 引入表约束分析器更改(CHECK、PK、FK)”
- SPARK-51695 引入表约束分析器更改(CHECK、PK、FK)
- SPARK-49428 将 Scala 客户端从连接器移动到 SQL
-
SPARK-52422 更新
pandas到 2.3.0 - SPARK-52228 把状态交互微基准测试集成到 Quicksilver (TCP)
- SPARK-52300 使 SQL UDTVF 解析使用与视图解析一致的配置
- SPARK-52228 使用内存中状态 impls 和 python 中的基准代码构造基准用途的 TWS 状态服务器
-
SPARK-52174默认情况下启用
spark.checkpoint.compress - SPARK-52224 将 pyyaml 作为 Python 客户端的依赖项引入
- SPARK-52122 修复 DefaultParamsReader RCE 漏洞
- SPARK-51147 将流式处理相关类重构到专用流式处理目录
- SPARK-51789 在 Spark 提交中分析参数时,尊重 spark.api.mode 和 spark.remote
- SPARK-51212 默认情况下,为 Spark Connect 添加单独的 PySpark 包
- SPARK-50762 添加分析器规则以解析 SQL 标量 UDF
-
SPARK-49748在
getCondition中添加getErrorClass并弃用SparkThrowable - SPARK-50605 支持 SQL API 模式,以便更轻松地迁移到 Spark Connect
- SPARK-50458 针对读取文件时不支持的文件系统进行正确的错误处理
- SPARK-49700 用于连接和经典版的统一 Scala 接口
- SPARK-51779 使用虚拟列族进行流-流联接
-
SPARK-51820 在分析之前移动
UnresolvedOrdinal构造,以避免按序号分组出现问题。 -
SPARK-51814在 PySpark 中引入新的 API
transformWithState - SPARK-51635 合并 PushProjectionThroughLimit 和 PushProjectionThroughOffset
-
SPARK-51165默认情况下启用
spark.master.rest.enabled - SPARK-51688 在 Python 和 JVM 通信之间使用 Unix 域套接字
- SPARK-51503 支持 XML 扫描中的变体类型
-
SPARK-50564 将
protobufPython 包升级到 5.29.1 - SPARK-50359 将 PyArrow 升级到 18.0
- SPARK-51340 模型大小估计
-
SPARK-50657 将最低版本
pyarrow升级到 11.0.0 - SPARK-49282 创建共享的 SparkSessionBuilder 接口。
- SPARK-51371 在 ResolveAggregateFunctions 中生成别名时,将 toString 更改为 toPrettySQL
- SPARK-50694 支持在子查询中重命名
- SPARK-50601 还原“[SC-186342][sql] 支持在子查询中使用withColumns / withColumnsRenamed”
- SPARK-50601 在子查询中支持 withColumns / withColumnsRenamed
Azure Databricks ODBC/JDBC 驱动程序支持
Azure Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC,下载 JDBC)。
维护更新
系统环境
- 作系统:Ubuntu 24.04.3 LTS
- Java:Zulu21.42+19-CA
- Scala:2.13.16
- Python:3.12.3
- R:4.5.1
- Delta Lake:4.0.0
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| 标注文档 | 0.0.3 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| 箭头 | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | 属性 | 24.3.0 | 自动命令 | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.36.0 | Azure 身份识别 | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.27.1 |
| azure-storage-file-datalake | 12.22.0 | 巴别塔 | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | 黑色 | 24.10.0 | 漂白剂 | 6.2.0 |
| 闪烁器 | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools (缓存工具) | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 3.3.2 | click | 8.1.8 |
| cloudpickle | 3.0.0 | 通讯 | 0.2.1 | contourpy | 1.3.1 |
| 加密 | 44.0.1 | 骑行者 | 0.11.0 | Cython | 3.1.5 |
| databricks代理 | 1.4.0 | databricks-connect | 17.3.1 | Databricks软件开发工具包 (databricks-sdk) | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| 修饰器 | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | docstring-to-markdown | 0.11 |
| 正在执行 | 1.2.0 | 各个方面概述 | 1.1.1 | fastapi | 0.121.0 |
| fastjsonschema | 2.21.1 | 文件锁 (filelock) | 3.18.0 | fonttools(字体工具) | 4.55.3 |
| fqdn | 1.5.1 | fsspec | 2023.5.0 | gitdb (Git数据库) | 4.0.11 |
| GitPython | 3.1.43 | google-api-core (谷歌 API 核心库) | 2.28.1 | google-auth (谷歌身份验证) | 2.43.0 |
| google-cloud-core (Google云核心) | 2.5.0 | 谷歌云存储 (Google Cloud Storage) | 3.5.0 | google-crc32c | 1.7.1 |
| google-resumable-media (谷歌可恢复媒体) | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | httpcore | 1.0.9 |
| httplib2 | 0.20.4 | httpx | 0.28.1 | IDNA | 3.7 |
| importlib-metadata | 6.6.0 | inflect | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils(IPython通用工具) | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.2 |
| Jinja2 | 3.1.6 | jiter | 0.11.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | JSON补丁 | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | JSON模式规范 | 2023年7月1日 |
| jupyter-events | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_client(Jupyter 客户端) | 8.6.3 |
| jupyter_core(Jupyter核心) | 5.7.2 | Jupyter服务器 | 2.15.0 | Jupyter服务器终端 | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server (JupyterLab 服务器) | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.0.3 |
| langchain-openai | 1.0.2 | langsmith | 0.4.41 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | 棉花糖 | 3.26.1 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | 麦卡贝 | 0.7.0 | mdurl | 0.1.0 |
| mistune | 3.1.2 | mlflow-skinny | 3.5.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | MSAL | 1.34.0 | msal-extensions | 1.3.1 |
| mypy-extensions | 1.0.0 | nbclient | 0.10.2 | nbconvert | 7.16.6 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | nodeenv | 1.9.1 |
| 笔记本 | 7.3.2 | notebook_shim | 0.2.4 | numpy | 2.1.3 |
| oauthlib | 3.2.2 | openai | 2.7.1 | OpenTelemetry API | 1.38.0 |
| opentelemetry-proto | 1.38.0 | opentelemetry-sdk(开源遥测软件开发工具包) | 1.38.0 | opentelemetry-semantic-conventions | 0.59b0 |
| orjson | 3.11.4 | overrides | 7.4.0 | 包装 | 24.2 |
| 熊猫 | 2.2.3 | pandocfilters | 1.5.0 | 帕尔索 | 0.8.4 |
| pathspec | 0.10.3 | 替罪羊 | 1.0.1 | pexpect | 4.8.0 |
| 枕头 | 11.1.0 | pip | 25.0.1 | platformdirs | 4.3.7 |
| plotly | 5.24.1 | Pluggy (Python库) | 1.5.0 | prometheus_client | 0.21.1 |
| 提示工具包 (prompt-toolkit) | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| Python代码解析器 | 2.21 | pydantic (Python 数据验证库) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing | 3.2.0 | pyright | 1.1.394 | 火化 | 1.0.3 |
| pytest(Python 测试框架) | 8.3.5 | python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytoolconfig | 1.2.6 | pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | referencing | 0.30.2 | regex | 2024.11.6 |
| requests | 2.32.3 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986验证器 | 0.1.1 | rich | 13.9.4 | 绳子 | 1.13.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn | 1.6.1 | scipy | 1.15.3 | seaborn | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | 6 | 1.17.0 |
| smmap | 5.0.0 | sniffio | 1.3.0 | 排序容器 | 2.4.0 |
| soupsieve | 2.5 | sqlparse | 0.5.3 | ssh-import-id | 5.11 |
| 堆栈数据 | 0.6.3 | starlette | 0.49.3 | strictyaml | 1.7.3 |
| 毅力 | 9.0.0 | terminado | 0.17.1 | threadpoolctl | 3.5.0 |
| tiktoken | 0.12.0 | tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 |
| tomli | 2.0.1 | 龙卷风 | 6.5.1 | tqdm | 4.67.1 |
| Traitlets | 5.14.3 | typeguard | 4.3.0 | types-python-dateutil | 2.9.0.20251008 |
| 输入检查 | 0.9.0 | 输入扩展 (typing_extensions) | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | URI 模板 | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.38.0 | virtualenv | 20.29.3 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webcolors | 25.10.0 |
| Web编码 | 0.5.1 | WebSocket客户端 | 1.8.0 | whatthepatch | 1.0.2 |
| wheel | 0.45.1 | 每当 | 0.7.3 | widgetsnbextension | 3.6.6 |
| 裹住 | 1.17.0 | yapf | 0.40.2 | 齐普 | 3.21.0 |
| zstandard | 0.23.0 |
已安装的 R 库
R 库从 2025-03-20 的 Posit 包管理器 CRAN 快照中安装。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 22.0.0 | askpass | 1.2.1 | 断言 | 0.2.1 |
| backports | 1.5.0 | 基础映像 | 4.5.1 | base64enc | 0.1-3 |
| bigD | 0.3.1 | 比特 | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | blob | 1.2.4 | 靴子 | 1.3-30 |
| brew | 1.0-10 | 活力 | 1.1.5 | 扫帚 | 1.0.10 |
| bslib | 0.9.0 | 卡齐姆 | 1.1.0 | callr | 3.7.6 |
| caret | 7.0-1 | cellranger (细胞测序工具) | 1.1.0 | If "chron" is a standalone term with no additional context indicating its specific function or meaning, we may keep it as "Chron" unless context dictates a different interpretation. | 2.3-62 |
| 类 | 7.3-22 | 命令行界面 (CLI) | 3.6.5 | 剪辑器 | 0.8.0 |
| clock | 0.7.3 | 群集 | 2.1.6 | codetools | 0.2-20 |
| 通用标记 (commonmark) | 2.0.0 | 编译器 | 4.5.1 | config | 0.3.2 |
| 感到矛盾 | 1.2.0 | cpp11 | 0.5.2 | 蜡笔 | 1.5.3 |
| 凭据 | 2.0.3 | curl | 7.0.0 | 数据表 (data.table) | 1.17.8 |
| 数据集 | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| desc | 1.4.3 | devtools | 2.4.6 | 示意图 | 1.6.5 |
| diffobj | 0.3.6 | 摘要 | 0.6.39 | 向下照明 | 0.4.5 |
| dplyr | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| 省略号 | 0.3.2 | 评价 | 1.0.5 | fansi | 1.0.7 |
| 颜色 | 2.1.2 | 快速映射 | 1.2.0 | fontawesome | 0.5.3 |
| forcats | 1.0.1 | foreach | 1.5.2 | 国外 | 0.8-86 |
| fs | 1.6.6 | 未来 | 1.68.0 | future.apply | 1.20.0 |
| 漱口 | 1.6.0 | 泛型 | 0.1.4 | 格尔特 | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | 全局变量 | 0.18.0 |
| 胶水 | 1.8.0 | googledrive | 2.1.2 | googlesheets4 | 1.1.2 |
| gower | 1.0.2 | 图形 | 4.5.1 | grDevices | 4.5.1 |
| 网格 | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | 安全帽 | 1.4.2 |
| 避风港 | 2.5.5 | highr | 0.11 | 赫姆斯 | 1.1.4 |
| HTML工具 | 0.5.8.1 | HTML小插件 | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-15 | isoband | 0.2.7 |
| 迭代器 | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| JuicyJuice | 0.1.0 | KernSmooth | 2.23-22 | knitr | 1.50 |
| 标记 | 0.4.3 | 稍后 | 1.4.4 | 晶格 | 0.22-5 |
| 熔岩 | 1.8.2 | 生命周期 | 1.0.4 | listenv | 0.10.0 |
| litedown | 0.8 | lubridate | 1.9.4 | magrittr | 2.0.4 |
| markdown | 2.0 | 质量 | 7.3-60.0.1 | 矩阵 | 1.6-5 |
| 记忆化 | 2.0.1 | 方法 | 4.5.1 | mgcv | 1.9-1 |
| 默剧 | 0.13 | 迷你用户界面 | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv | 2016年8月至1月1日 | openssl(开放SSL) | 2.3.4 |
| 伊卡诺 | 0.2.0 | 平行 | 4.5.1 | 并行地 | 1.45.1 |
| 柱子 | 1.11.1 | pkgbuild (软件包构建工具) | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | 普洛格 | 0.2.0 |
| 普莱尔 | 1.8.9 | 赞美 | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | processx | 3.8.6 | prodlim | 2025.04.28 |
| profvis | 0.4.0 | 进展 | 1.2.3 | progressr | 0.18.0 |
| promises | 1.5.0 | 原型 (proto) | 1.0.0 | 代理 | 0.4-27 |
| 附注 (ps) | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| ragg | 1.5.0 | 随机森林 (randomForest) | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | reactable | 0.4.4 | reactR | 0.6.1 |
| readr(阅读器) | 2.1.6 | readxl | 1.4.5 | 食谱 | 1.3.1 |
| 重赛 | 2.0.0 | rematch2 | 2.1.2 | remotes | 2.5.0 |
| 可复制的示例 | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown(R语言动态文档生成工具) | 2.30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | rversions | 3.0.0 |
| rvest | 1.0.5 | S7 | 0.2.1 | Sass | 0.4.10 |
| 磅秤 | 1.4.0 | selectr | 0.4-2 | 会话信息 | 1.2.3 |
| 形状 | 1.4.6.1 | 光亮 | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| 空间 | 7.3-17 | splines | 4.5.1 | sqldf(R环境中的数据库操作软件包) | 0.4-11 |
| SQUAREM | 2021年1月 | 统计数据 | 4.5.1 | 统计数据4 | 4.5.1 |
| stringi | 1.8.7 | stringr | 1.6.0 | 生存 | 3.5-8 |
| 自信 | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.3.1 |
| Tcl/Tk 编程语言 | 4.5.1 | testthat | 3.3.0 | 文字排版 | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse(数据分析工具包) | 2.0.0 | 时间变化 | 0.3.0 | 时间日期 | 4051.111 |
| tinytex | 0.58 | tools | 4.5.1 | tzdb | 0.5.0 |
| URL检查器 | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| utils | 4.5.1 | UUID(通用唯一识别码) | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| 瓦尔多 | 0.6.2 | 晶 须 | 0.4.1 | withr | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | yaml | 2.3.10 | zeallot | 0.2.0 |
| 压缩包 | 2.3.3 |
已安装的 Java 和 Scala 库(Scala 2.13 群集版本)
| 群组标识符 | 工件编号 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.15.3 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.681 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.681 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.681 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.681 |
| com.amazonaws | AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.681 |
| com.amazonaws | aws-java-sdk-config(AWS Java SDK 配置) | 1.12.681 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.681 |
| com.amazonaws | aws-java-sdk-datapipeline(AWS Java SDK 数据流水线) | 1.12.681 |
| com.amazonaws | AWS Java SDK Direct Connect(直连) | 1.12.681 |
| com.amazonaws | aws-java-sdk-directory | 1.12.681 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.681 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.681 |
| com.amazonaws | aws-java-sdk-efs | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) | 1.12.681 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.681 |
| com.amazonaws | aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) | 1.12.681 |
| com.amazonaws | aws-java-sdk-emr | 1.12.681 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.681 |
| com.amazonaws | AWS Java SDK Glue | 1.12.681 |
| com.amazonaws | aws-java-sdk-iam | 1.12.681 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.681 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.681 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.681 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.681 |
| com.amazonaws | aws-java-sdk-logs(AWS Java开发包日志) | 1.12.681 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.681 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.681 |
| com.amazonaws | aws-java-sdk-rds | 1.12.681 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.681 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.681 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ses | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.681 |
| com.amazonaws | aws-java-sdk-sns | 1.12.681 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.681 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.681 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.681 |
| com.amazonaws | aws-java-sdk-sts | 1.12.681 |
| com.amazonaws | AWS Java SDK支持 | 1.12.681 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.681 |
| com.amazonaws | jmespath-java | 1.12.681 |
| com.clearspring.analytics | 数据流 | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.5.1 |
| com.fasterxml.jackson.core | Jackson注解 | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.18.2 |
| com.fasterxml.jackson.dataformat | Jackson 数据格式 YAML | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda(杰克逊数据类型-Joda) | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-原住民 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1-原住民 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-原住民 |
| com.github.fommil.netlib | netlib-本地系统-linux-x86_64 | 1.1-原住民 |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.auth | google-auth-library-credentials | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | auto-value-annotations | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | 丁克 | 1.16.0 |
| com.google.errorprone | 易出错的注释 | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | 访问失败 | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | 探查器 | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | 冷静_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | 稀疏比特集合 | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec(公共编解码器) | commons-codec(公共编解码器) | 1.19.0 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging(日志库) | commons-logging(日志库) | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | blas | 3.0.4 |
| dev.ludovic.netlib | lapack(线性代数软件包) | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.6 |
| io.dropwizard.metrics | 指标注释 | 4.2.37 |
| io.dropwizard.metrics | metrics-core | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | 指标-健康检查 | 4.2.37 |
| io.dropwizard.metrics | metrics-jetty10 | 4.2.37 |
| io.dropwizard.metrics | metrics-jmx | 4.2.37 |
| io.dropwizard.metrics | metrics-json | 4.2.37 |
| io.dropwizard.metrics | 指标-JVM | 4.2.37 |
| io.dropwizard.metrics | 指标-Servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.2.7.Final |
| io.netty | netty-buffer(Netty缓存) | 4.2.7.Final |
| io.netty | netty-codec | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | Netty编解码压缩 | 4.2.7.Final |
| io.netty | Netty HTTP 编解码器 | 4.2.7.Final |
| io.netty | netty-codec-http2 | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-marshalling | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks | 4.2.7.Final |
| io.netty | Netty-Common(网络通用组件) | 4.2.7.Final |
| io.netty | netty-handler | 4.2.7.Final |
| io.netty | netty-handler-proxy(Netty 处理器代理) | 4.2.7.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static(Netty高性能计算库) | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static(Netty高性能计算库) | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static(Netty高性能计算库) | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static(Netty高性能计算库) | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static(Netty高性能计算库) | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | Netty TcNative 类 | 2.0.74.Final |
| io.netty | netty-transport | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | 简单客户端通用 | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway (简单客户端推送网关) | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_服务_通用 | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient跟踪器_otel代理 | 0.16.1-databricks |
| io.prometheus.jmx | 收集器 | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api (Java中的注解API) | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.media | jai_core | jai_core_dummy |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc(远程调用协议库) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.10.11 |
| org.apache.ant | ant-jsch(Java的SSH库) | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | 箭头格式 | 18.3.0 |
| org.apache.arrow | 箭头-内存-核心 | 18.3.0 |
| org.apache.arrow | 箭头内存网状系统 | 18.3.0 |
| org.apache.arrow | 箭头内存-Netty-缓冲区-补丁 | 18.3.0 |
| org.apache.arrow | 箭头向量 | 18.3.0 |
| org.apache.avro | avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | commons-collections4(通用集合库) | 4.5.0 |
| org.apache.commons | commons-compress | 1.28.0 |
| org.apache.commons | commons-configuration2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text (通用文本库) | 1.14.0 |
| org.apache.curator | curator-client | 5.9.0 |
| org.apache.curator | curator-framework | 5.9.0 |
| org.apache.curator | curator-recipes | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | 数据素描-内存 | 3.0.2 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.4.2 |
| org.apache.hive | hive-beeline | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | 海蜂垫片 | 2.3.10 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json(日志4j布局模板JSON) | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| \ org.apache.orc | orc-core | 2.2.0-shaded-protobuf |
| \ org.apache.orc | orc格式 | 1.1.1-shaded-protobuf |
| \ org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| \ org.apache.orc | orc-shims | 2.2.0 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.9.4 |
| org.apache.zookeeper | zookeeper-jute | 3.9.4 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler(通用编译器) | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | Jetty-HTTP | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy | 10.0.26 |
| org.eclipse.jetty | 码头安全 | 10.0.26 |
| org.eclipse.jetty | jetty-server(Jetty服务器) | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | jetty-util | 10.0.26 |
| org.eclipse.jetty | Jetty 网页应用 | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.41 |
| org.glassfish.jersey.core | jersey-client | 2.41 |
| org.glassfish.jersey.core | jersey-common | 2.41 |
| org.glassfish.jersey.core | jersey-server | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss 日志 | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3.4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| .rocksdb | rocksdbjni | 9.8.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | 与Scalatest兼容 | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-平台_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | 尖塔_2.13 | 0.18.0 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| 斯塔克斯 | stax-api | 1.0.1 |
小窍门
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。