Databricks Runtime 18.0 (Beta)

以下发行说明提供有关 Databricks Runtime 18.0(Beta 版)的信息。

Azure Databricks 于 2025 年 12 月发布了此版本。

重要

Databricks Runtime 18.0 处于 Beta 阶段。 在 Beta 版期间,支持的环境的内容可能会更改。 更改可能包括包列表或已安装包的版本。

新功能和改进

Redshift JDBC 驱动程序升级到 2.1.0.28

Redshift JDBC 驱动程序已升级到版本 2.1.0.28。

Unity Catalog Python 用户自定义函数(UDF)的共享隔离执行环境

默认情况下,具有相同所有者的 Unity 目录 Python UDF 可以共享隔离环境。 这可以通过减少需要启动的独立环境的数量来提高性能和减少内存使用率。

若要确保 UDF 始终在完全隔离的环境中运行,请添加 STRICT ISOLATION 特征子句。 请参阅 环境隔离

指标视图中的 SQL 窗口函数

现在可以在指标视图中使用 SQL 窗口函数 来计算运行总计、排名和其他基于窗口的计算。

Spark 应用程序的正常关闭

Spark 应用程序现在支持正常关闭,允许在应用程序终止之前完成正在进行的任务。

无状态流式处理查询中的动态随机分区调整

现在可以在不重启查询的情况下更改 无状态流式处理查询 中的随机分区数。

无状态流式查询中的自适应查询执行和自动优化的洗牌机制

自适应查询执行(AQE)和自动优化洗牌(AOS)现在在无状态流式查询中受支持。

FILTER 度量值视图中度量聚合函数的子句

现在,可以将FILTER子句与度量值聚合函数一起使用,在指标视图中定义每聚合筛选器以引用指标视图度量值。

Apache Parquet 库已升级到 1.16.0

Apache Parquet 库已升级到版本 1.16.0。

行为变更

JDK 21 现在是默认 Java 开发工具包

Databricks Runtime 18.0 使用 JDK 21 作为默认的 Java 开发工具包。 JDK 21 是长期支持 (LTS) 版本。 以前,默认值为 JDK 17,现在可用作回退选项。

有关为群集配置 JDK 版本的信息,请参阅 创建具有特定 JDK 版本的群集

FSCK REPAIR TABLE 默认自带元数据修复功能

FSCK REPAIR TABLE命令现在增加了一个初步的元数据修复步骤,然后再检查是否有缺失的数据文件。 该命令可以处理具有损坏检查点或无效分区值的表。

Spark Connect Scala 客户端中数组和映射数据类型的可为空性保持不变

现在,对于 Spark Connect Scala 客户端中的类型化文本,数组和映射类型的可为 null 性保留。 以前,数组中的元素和映射中的值始终可以为 null。

FSCK REPAIR TABLE DRY RUN 输出架构已更新

dataFilePath输出架构中的FSCK REPAIR TABLE DRY RUN列现在可为 null,用于支持报告数据文件路径不适用的新问题类型。

SHOW TABLES DROPPED respects LIMIT 条款

SHOW TABLES DROPPED 命令现在正确遵守 LIMIT 子句的规定。

读取和自动优化写入之间的比例系数

分区大小设置的分摊系数现在在读操作和自动优化写入中一致地使用小数值。 此更改可能会导致读取操作的任务数量不同。

跨 PySpark 和 Unity 目录统一的 Python UDF 执行

Unity 目录 Python UDF 现在使用 Apache Arrow 作为默认交换格式,提高整体性能,并符合 Apache Spark 中箭头优化 Python UDF 的行为。 作为此更改的一部分,TIMESTAMP传递给 Python UDF 的值不再在对象的datetime属性中包含tzinfo时区信息。 时间戳值本身仍以 UTC 格式保存,但时区元数据现已删除。

如果 UDF 依赖于时区信息,则需要恢复 date = date.replace(tzinfo=timezone.utc)。 有关详细信息,请参阅 输入的时间戳时区行为

改进了 Kafka 连接器中有关登录模块问题的错误消息

将 Kafka 连接器与无阴影登录模块类结合使用时,Azure Databricks 现在提供错误消息,建议使用正确的着色类前缀(kafkashaded.org.apache.kafkakafkashaded.software.amazon.msk.auth.iam)。

时间旅行限制和 VACUUM 保留行为

Azure Databricks 现在阻止时间旅行查询超出所有表的 deletedFileRetentionDuration 阈值。 该 VACUUM 命令忽略保留期参数,但值为 0 小时除外。 不能设置 deletedFileRetentionDuration 大于 logRetentionDuration 或反之。

默认情况下,BinaryType 在 PySpark 中映射到 bytes

在 PySpark 中,BinaryType 现在一致地映射到 Python bytes 。 以前,PySpark 会根据上下文将 BinaryType 映射到 bytesbytearray。 若要还原旧行为,请设置为 spark.sql.execution.pyspark.binaryAsBytesfalse.

Delta MERGE、UPDATE 和流式写入操作中保留的 NULL 结构

NULL 结构体在 Delta MERGE、UPDATE 以及包含结构体类型转换的流式写入操作中现在保留为 NULL。 以前,NULL 结构已扩展为具有 NULL 字段的结构。 例如,NULL 结构现在仍然保持为 NULL,而不是扩展为具有所有 NULL 字段值的结构。

Parquet 文件中的分区列以具体形式生成

分区 Delta 表现在将分区列具体化为新写入的 Parquet 数据文件中。 以前,分区值存储在 Delta 事务日志元数据中,并反映在目录路径中,但不作为列写入 Parquet 文件本身。 此更改与 Apache Iceberg 和 UniForm 行为保持一致,可能会影响直接读取 Delta Lake 写入的 Parquet 文件的工作负荷,因为新写入的文件包括其他分区列。

图书馆升级

升级后的 Python 库

  • anyio 从 4.6.2 到 4.7.0
  • asttokens 2.0.5 至 3.0.0
  • azure-core 从 1.34.0 到 1.36.0
  • 从 1.5.0 到 1.6.0 的 azure-mgmt-core
  • azure-storage-blob 从 12.23.0 到 12.27.1
  • azure-storage-file-datalake 从 12.17.0 到 12.22.0
  • boto3 从 1.36.2 到 1.40.45
  • botocore 从 1.36.3 到 1.40.45
  • 证书从2025年1月31日到2025年4月26日
  • 点击将版本从 8.1.7 更新至 8.1.8
  • 加密从 43.0.3 到 44.0.1
  • Cython 从 3.0.12 到 3.1.5
  • databricks-sdk 从 0.49.0 到 0.67.0
  • 已从 1.2.13 弃用到 1.2.18
  • executing 已从 0.8.3 升级到 1.2.0
  • fastapi 从 0.115.12 到 0.121.0
  • google-api-core 从 2.20.0 到 2.28.1
  • google-auth 从 2.40.0 到 2.43.0
  • google-cloud-core 从 2.4.3 到 2.5.0
  • google-cloud-storage 从 3.1.0 到 3.5.0
  • h11 从 0.14.0 到 0.16.0
  • 从 1.0.2 到 1.0.9 的 httpcore
  • httpx 从 0.27.0 到 0.28.1
  • isodate 从 0.6.1 到 0.7.2
  • Jinja2 从 3.1.5 到 3.1.6
  • jupyter-events 从 0.10.0 到 0.12.0
  • jupyter-lsp 从 2.2.0 到 2.2.5
  • jupyter_server 2.14.1 到 2.15.0
  • jupyter_server_terminals从 0.4.4 到 0.5.3
  • mistune从2.0.4更新到3.1.2
  • mlflow-skinny 从 版本 3.0.1 到 版本 3.5.1
  • mmh3 从 5.1.0 到 5.2.0
  • msal 从 1.32.3 到 1.34.0
  • nbclient 从 0.8.0 到 0.10.2
  • nbconvert版本从7.16.4更新到7.16.6
  • notebook_shim 0.2.3 到 0.2.4
  • opentelemetry-api 版本更新:从 1.32.1 到 1.38.0
  • opentelemetry-sdk 从 1.32.1 到 1.38.0
  • opentelemetry-semantic-conventions 从版本 0.53b1 到版本 0.59b0
  • platformdirs 的版本从 3.10.0 升级到 4.3.7
  • prometheus_client从 0.21.0 到 0.21.1
  • psycopg2 从 2.9.3 到 2.9.11
  • pyarrow 从 19.0.1 到 21.0.0
  • 从 2.15.1 到 2.19.1 的 Pygments
  • pyiceberg 从 0.9.0 到 0.10.0
  • python-lsp-server 从 1.12.0 到 1.12.2
  • 从 1.12.0 到 1.13.0 的绳索
  • s3transfer 从 0.11.3 到 0.14.0
  • scipy 已更新版本从 1.15.1 至 1.15.3
  • setuptools 版本号从 74.0.0 更新到 78.1.1
  • 6 从 1.16.0 到 1.17.0
  • 从 0.2.0 到 0.6.3 的 stack-data
  • starlette 从 0.46.2 到 0.49.3
  • 龙卷风从 6.4.2 到 6.5.1
  • types-python-dateutil,从 2.9.0.20241206 到 2.9.0.20251008
  • uvicorn 从版本 0.34.2 升级到 0.38.0
  • 网页颜色从 24.11.1 版升级到 25.10.0 版

升级后的 R 库

  • 箭头从 19.0.1 到 22.0.0
  • 基础版本从 4.4.2 到 4.5.1
  • bigD 从 0.3.0 到 0.3.1
  • 将 broom 从 1.0.7 升级到 1.0.10
  • 从 0.7.2 到 0.7.3 的时钟
  • commonmark 从 1.9.5 到 2.0.0
  • 编译器从 4.4.2 到 4.5.1
  • 证书从版本 2.0.2 更新至 2.0.3
  • curl 版本从 6.4.0 升级到 7.0.0
  • data.table 版本从 1.17.0 到 1.17.8
  • 从 4.4.2 到 4.5.1 的数据集
  • dbplyr 从 2.5.0 到 2.5.1
  • devtools 从 2.4.5 到 2.4.6
  • diffobj 从 0.3.5 到 0.3.6
  • 摘要从 0.6.37 到 0.6.39
  • 从 0.4.5 降级到 0.4.4
  • dtplyr 从 1.3.1 到 1.3.2
  • 计算结果为 1.0.3 到 1.0.5
  • fansi 从 1.0.6 到 1.0.7
  • forcats 从 1.0.0 到 1.0.1
  • fs 从 1.6.5 到 1.6.6
  • future 版本从 1.34.0 更新到 1.68.0
  • future.apply 从 1.11.3 到 1.20.0
  • gargle从1.5.2升级到1.6.0
  • gert 从 2.1.4 到 2.2.0
  • ggplot2 从 3.5.1 到 4.0.1
  • gh 从 1.4.1 到 1.5.0
  • git2r 从 0.35.0 到 0.36.2
  • glmnet 从 4.1-8 到 4.1-10
  • googledrive 从 2.1.1 到 2.1.2
  • googlesheets4 从 1.1.1 到 1.1.2
  • 从 4.4.2 到 4.5.1 的图形
  • grDevices 从 4.4.2 到 4.5.1
  • 从 4.4.2 到 4.5.1 的网格
  • 将 gt 从 0.11.1 更新至 1.1.0
  • hardhat 从 1.4.1 到 1.4.2
  • haven 从 2.5.4 到 2.5.5
  • 从 1.1.3 到 1.1.4 的 hms
  • httpuv 从 1.6.15 到 1.6.16
  • httr2 从 1.1.1 到 1.2.1
  • 从 1.9.1 到 2.0.0 的 jsonlite
  • 稍后从 1.4.1 升级到 1.4.4
  • 熔岩从 1.8.1 到 1.8.2
  • listenv 从 0.9.1 到 0.10.0
  • magrittr 从 2.0.3 到 2.0.4
  • markdown 从 1.13 到 2.0
  • 从 4.4.2 到 4.5.1 的方法
  • miniUI 从 0.1.1.1 到 0.1.2
  • mlflow 从 2.20.4 到 3.6.0
  • openssl 从 2.3.3 到 2.3.4
  • 并行从 4.4.2 到 4.5.1
  • 并行从 1.42.0 到 1.45.1
  • 从 1.11.0 到 1.11.1 的支柱
  • pkgbuild 从 1.4.6 到 1.4.8
  • pkgdown 从版本 2.1.1 升级到 2.2.0
  • pkgload 从 1.4.0 到 1.4.1
  • pROC 从 1.18.5 到 1.19.0.1
  • prodlim 从 2024.06.25 到 2025.04.28
  • progressr 从 0.15.1 升级到 0.18.0
  • 承诺从 1.3.2 到 1.5.0
  • ps 版本从 1.9.0 升级到 1.9.1
  • 将 purrr 从 1.0.4 升级到 1.2.0
  • ragg版本从1.3.3更新到1.5.0
  • Rcpp 从 1.0.14 到 1.1.0
  • readr 从 2.1.5 到 2.1.6
  • 食谱从 1.2.0 到 1.3.1
  • reshape2 从 1.4.4 更新至 1.4.5
  • rmarkdown版本从2.29升级到2.30
  • roxygen2 从 7.3.2 到 7.3.3
  • rprojroot 从 2.0.4 到 2.1.1
  • RSQLite 从 2.3.9 到 2.4.4
  • 从 2.1.2 到 3.0.0 的 rversions
  • rvest 从 1.0.4 到 1.0.5
  • sass 从 0.4.9 到 0.4.10
  • 从版本 1.3.0 升级到 1.4.0
  • Shiny 软件包从版本 1.10.0 更新到 1.11.1
  • sparklyr 从 1.9.1 到 1.9.3
  • SparkR 从 4.0.0 到 4.1.0
  • sparsevctrs从0.3.1到0.3.4
  • 从 4.4.2 到 4.5.1 的样条
  • 从 4.4.2 到 4.5.1 的统计信息
  • stats4 从 4.4.2 到 4.5.1
  • stringr 从 1.5.1 到 1.6.0
  • Systemfonts 从 1.2.1 到 1.3.1
  • tcltk 从 4.4.2 到 4.5.1
  • testthat 从 3.2.3 到 3.3.0
  • 文本形状从 1.0.0 到 1.0.4
  • timeDate 从 4041.110 到 4051.111
  • tinytex 从 0.56 到 0.58
  • 工具从 4.4.2 到 4.5.1
  • 将 usethis 从 3.1.0 升级到 3.2.1
  • utils从4.4.2到4.5.1
  • V8 从 6.0.2 到 8.0.1
  • 从 1.6.5 到 1.6.6 的 vroom
  • waldo 从 0.6.1 到 0.6.2
  • xfun 从 0.51 到 0.54
  • xml2 从 1.3.8 到 1.5.0
  • zeallot 从 0.1.0 到 0.2.0
  • zip 从 2.3.2 到 2.3.3

升级后的 Java 库

  • com.amazonaws.amazon-kinesis-client 从 1.12.0 到 1.15.3
  • com.amazonaws.aws-java-sdk-autoscaling 从 1.12.638 升级到 1.12.681
  • com.amazonaws.aws-java-sdk-cloudformation 从版本 1.12.638 升级到版本 1.12.681
  • com.amazonaws.aws-java-sdk-cloudfront 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cloudhsm 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cloudsearch 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cloudtrail 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatch 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-codedeploy 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cognitoidentity 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-cognitosync 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-config 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-core 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-datapipeline 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-directconnect 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-directory 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-dynamodb 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-ec2 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-ecs 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-efs 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-elasticache 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-elasticloadbalancing 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-elastictranscoder,从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-emr 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-glacier 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-glue 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-iam 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-importexport 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-kinesis 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-kms 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-lambda 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-logs 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-machinelearning 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-opsworks 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-rds 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-redshift 从 1.12.638 升级到 1.12.681
  • com.amazonaws.aws-java-sdk-route53 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-s3 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-ses 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-simpledb 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-simpleworkflow 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-sns 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-sqs 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-ssm 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-storagegateway 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-sts 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-support 从 1.12.638 到 1.12.681
  • com.amazonaws.aws-java-sdk-workspaces 从 1.12.638 到 1.12.681
  • com.amazonaws.jmespath-java 从 1.12.638 到 1.12.681
  • com.databricks.databricks-sdk-java 从 0.27.0 到 0.53.0
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.18.2 到 2.18.3
  • com.github.luben.zstd-jni 从 1.5.6-10 到 1.5.7-6
  • com.google.flatbuffers.flatbuffers-java 从 24.3.25 到 25.2.10
  • com.google.guava.failureaccess 从 1.0.2 到 1.0.3
  • com.google.guava.guava 从 33.4.0-jre 到 33.4.8-jre
  • com.microsoft.sqlserver.mssql-jdbc 从 11.2.3.jre8 升级到 12.8.0.jre8
  • commons-cli.commons-cli 从 1.9.0 到 1.10.0
  • commons-codec.commons-codec 从 1.17.2 到 1.19.0
  • commons-fileupload.commons-fileupload 版本从 1.5 升级到 1.6.0
  • commons-io.commons-io 从 2.18.0 到 2.21.0
  • dev.ludovic.netlib.arpack 从 3.0.3 到 3.0.4
  • dev.ludovic.netlib.blas 从 3.0.3 升级到 3.0.4
  • dev.ludovic.netlib.lapack 从 3.0.3 到 3.0.4
  • io.delta.delta-sharing-client_2.13 从 1.3.5 到 1.3.6
  • io.dropwizard.metrics.metrics-annotation 从 4.2.30 到 4.2.37
  • io.dropwizard.metrics.metrics-core 从 4.2.30 升级到 4.2.37
  • io.dropwizard.metrics.metrics-graphite 从 4.2.30 到 4.2.37
  • io.dropwizard.metrics.metrics-healthchecks 从 4.2.30 升级到 4.2.37
  • io.dropwizard.metrics.metrics-jmx 从 4.2.30 升级到 4.2.37
  • io.dropwizard.metrics.metrics-json 从 4.2.30 到 4.2.37
  • io.dropwizard.metrics.metrics-jvm 从 4.2.30 到 4.2.37
  • io.dropwizard.metrics.metrics-servlets 从 4.2.30 到 4.2.37
  • io.netty.netty-all 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-buffer 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-codec 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-codec-http 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-codec-http2,从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-codec-socks 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-common 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-handler 从《4.1.118.Final》到《4.2.7.Final》
  • io.netty.netty-handler-proxy 版本从 4.1.118.Final 升级到 4.2.7.Final
  • io.netty.netty-resolver 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-tcnative-boringssl-static 从 2.0.70.Final-db-r0-windows-x86_64 到 2.0.74.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes 从 2.0.70.Final 到 2.0.74.Final
  • io.netty.netty-transport 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-transport-classes-epoll 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-transport-classes-kqueue 从 4.1.118.Final 到 4.2.7.Final
  • io.netty.netty-transport-native-epoll 从 4.1.118.Final-linux-x86_64 升级到 4.2.7.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue 从 4.1.118.Final-osx-x86_64 到 4.2.7.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 从 4.1.118.Final 到 4.2.7.Final
  • joda-time.joda-time 从 2.13.0 到 2.14.0
  • org.apache.arrow.arrow-format 从 18.2.0 到 18.3.0
  • org.apache.arrow.arrow-memory-core 从 18.2.0 到 18.3.0
  • org.apache.arrow.arrow-memory-netty 从 18.2.0 到 18.3.0
  • org.apache.arrow.arrow-memory-netty-buffer-patch 从 18.2.0 到 18.3.0
  • org.apache.arrow.arrow-vector 从 18.2.0 到 18.3.0
  • org.apache.avro.avro 从 1.12.0 到 1.12.1
  • org.apache.avro.avro-ipc 从 1.12.0 到 1.12.1
  • org.apache.avro.avro-mapred 从 1.12.0 到 1.12.1
  • org.apache.commons.commons-collections4 从 4.4 到 4.5.0
  • org.apache.commons.commons-compress 从 1.27.1 更新到 1.28.0
  • org.apache.commons.commons-lang3 从 3.17.0 到 3.19.0
  • org.apache.commons.commons-text 从 1.13.0 到 1.14.0
  • org.apache.curator.curator-client 从 5.7.1 到 5.9.0
  • org.apache.curator.curator-framework 从 5.7.1 到 5.9.0
  • org.apache.curator.curator-recipes 从 5.7.1 到 5.9.0
  • org.apache.datasketches.datasketches-java 从 6.1.1 到 6.2.0
  • org.apache.hadoop.hadoop-client-runtime 从 3.4.1 到 3.4.2
  • org.apache.orc.orc-core 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
  • org.apache.orc.orc-format 从 1.1.0-shaded-protobuf 到 1.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
  • org.apache.orc.orc-shims 从 2.1.1 到 2.2.0
  • org.apache.xbean.xbean-asm9-shaded 从 4.26 到 4.28
  • org.apache.zookeeper.zookeeper,从 3.9.3 到 3.9.4
  • org.apache.zookeeper.zookeeper-jute 从 3.9.3 到 3.9.4
  • org.eclipse.jetty.jetty-client 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-http 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-io 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-jndi 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-plus 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-proxy 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-security 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-server 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-servlet 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-servlets 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-util 从 9.4.53.v20231009 到 10.0.26
  • org.eclipse.jetty.jetty-webapp 从版本 9.4.53.v20231009 升级至版本 10.0.26
  • org.eclipse.jetty.jetty-xml 从 9.4.53.v20231009 到 10.0.26
  • org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.22.1
  • org.objenesis.objenesis 版本从 3.3 更新到 3.4
  • org.scala-lang.modules.scala-xml_2.13 从 2.3.0 到 2.4.0

Apache Spark

Databricks Runtime 18.0 (Beta) 包括 Apache Spark 4.0.0。 此版本包括以前版本中包含的所有 Spark 修复和改进,以及以下对 Spark 进行的其他 bug 修复和改进:

  • SPARK-54536 Shuffle FetchWaitTime 缺少收集创建客户端/等待成本
  • SPARK-54534 将 Hive 相关的旧错误代码迁移到适当的错误条件
  • SPARK-54565 SparkBuildInfo 应从自己的类加载器加载spark-version-info.properties
  • SPARK-54533 为指标 ExecutorSource.METRIC_RESULT_SIZE 设置正确的值
  • SPARK-54478 为连接兼容性测试 CI 重新启用流式测试
  • SPARK-54552修复了SparkConnectResultSet.getString以正确处理 BINARY 数据类型的问题UTF_8
  • SPARK-54501 改进 Hive 元存储库分区筛选器失败的错误处理
  • SPARK-54550ConnectException中优雅地SparkConnectStatement.close()处理
  • SPARK-54020 在 Spark 声明性管道的查询函数中支持 spark.sql(...) Python API
  • SPARK-53127 修复 LIMIT 使用 CTE 规范化进行无限制递归的 ALL
  • SPARK-50072 处理间隔解析时出现的大值算术异常
  • SPARK-54299 修复错误的示例查询 WindowGroupLimit
  • SPARK-54505 更正 makeNegative 中 createMetrics 调用的参数顺序
  • SPARK-54462 添加 SupportsV1OverwriteWithSaveAsTable 的混入TableProvider
  • SPARK-54540 连接 JDBC 驱动程序的几个次要修复
  • SPARK-54508 修复 spark-pipelines 以更可靠地解析 spec 文件路径
  • SPARK-54087 Spark 执行程序启动任务失败应返回任务终止消息
  • SPARK-53797 修复 并使用 FileStreamSource.takeFilesUntilMax 以避免 zipWithIndex 的使用
  • SPARK-54418 修复错误消息和代码格式
  • SPARK-54114 支持获取 SparkConnectDatabaseMetaData 的列信息
  • SPARK-54209 支持 SparkConnectResultSet 中的 TIMESTAMP 类型
  • SPARK-54208 支持 SparkConnectResultSet 中的 TIME 类型
  • SPARK-54528 急切地关闭 URLClassLoader 以避免 OOM
  • SPARK-54464 删除重复 output.reserve 调用 assembleVariantBatch
  • SPARK-53635 支持具有 Seq[Row] 类型的输入参数的 Scala UDF
  • SPARK-54493 修复 MapType 的 assertSchemaEqual
  • SPARK-52515 在标志开关状态下测试approx_top_k
  • SPARK-54413 将 Bootstrap v4.4.1 升级到 v4.6.2
  • SPARK-54497在转换器缓存中应用functools.lru_cache
  • SPARK-54306 使用 Variant 逻辑类型批注对 Variant 列进行批注
  • SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION 应该从1开始
  • SPARK-54130 为目录断言失败添加详细的错误消息
  • SPARK-54220 Parquet 中的 NullType/VOID/UNKNOWN 类型支持
  • SPARK-54163 扫描规范化处理以获取分区和排序的信息
  • SPARK-54377 修复 COMMENT ONTABLE IS NULL,以便能够正确删除表上的注释
  • SPARK-52767 针对联接和联合优化 maxRows 和 maxRowsPerPartition
  • SPARK-54063 当上传延迟时触发下一批快照
  • SPARK-54384 更新 BatchedSerializer 的 _batched 方法
  • SPARK-54378CreateXmlParser.scala模块中删除catalyst
  • SPARK-53103 还原“[SC-204946][ss] 如果在查询启动时状态目录不为空,则引发错误”
  • SPARK-53103 如果在查询启动时状态目录不为空,则引发错误
  • SPARK-54397 使 UserDefinedType 可哈希化
  • SPARK-54440 为默认管道规范文件提供更惯用的名称, spark-pipeline.yml
  • SPARK-54324 为 client-user-context-extensions 添加测试
  • SPARK-54456 在分叉后导入辅助角色模块以避免死锁
  • SPARK-54427允许 ColumnarRow 使用可变类型进行调用copy
  • SPARK-54136MergeScalarSubqueries提取计划合并逻辑至PlanMerger
  • SPARK-54389 修复当任务在初始化期间标记为失败时,RocksDB 状态存储无效标记错误
  • SPARK-54346 引入状态重新分区 API 和重新分区执行器
  • SPARK-53809 为 DataSourceV2ScanRelation 添加标准化处理
  • SPARK-54280 要求管道检查点存储目录为绝对路径
  • SPARK-54206 支持 SparkConnectResultSet 中的 BINARY 类型数据
  • 禁用 codegen 时,BHJ LeftAnti 对 numOutputRows 的更新出错。
  • SPARK-54355使spark.connect.session.planCompression.defaultAlgorithm能够支持NONE
  • SPARK-54341 记住要对通过 TableProvider 加载的表保持 TimeTravelSpec
  • SPARK-54280 还原“[SC-212148][sdp] 要求将管道检查点存储 dir 设置为绝对路径”
  • SPARK-54354 修复在没有足够的 JVM 堆内存用于广播哈希关系时挂起的 Spark
  • SPARK-54439 KeyGroupedPartitioning 和联接密钥大小不匹配
  • SPARK-54280 要求管道检查点存储目录为绝对路径
  • SPARK-54395 RemoteBlockPushResolver 类重复初始化 ObjectMapper
  • SPARK-54207 支持 SparkConnectResultSet 中的日期类型数据
  • SPARK-54182 优化非箭头转换 df.toPandas
  • SPARK-54312 避免在独立工作节点中为 SendHeartbeat/WorkDirClean 重复调度任务
  • SPARK-54394isJavaVersionAtMost17isJavaVersionAtLeast21core移动到common/utils
  • SPARK-53927 升级 kinesis 客户端
  • SPARK-54358 当不同模式中的流式处理表具有相同名称时,检查点目录会发生冲突
  • SPARK-54310 还原“[SC-212003][sql] 为numSourceRows添加MergeIntoExec度量”
  • SPARK-54310numSourceRows添加MergeIntoExec指标
  • SPARK-53322 仅当可以完全向下推送联接键位置时,才选择 KeyGroupedShuffleSpec
  • SPARK-54270 SparkConnectResultSet get* 方法应调用 checkOpen 并检查索引边界
  • SPARK-53849 更新 netty 和 netty tc 本地库
  • SPARK-54205 支持 SparkConnectResultSet 中的十进制类型数据
  • SPARK-54417 修复在IDENTIFIER子句中与标量子查询相关的错误消息
  • SPARK-54113 支持 SparkConnectDatabaseMetaData 中的 getTables
  • SPARK-54303 标准化错误状态 MISSING_CATALOG_ABILITY
  • SPARK-54153 支持基于分析迭代器的 Python UDF
  • SPARK-54349 重构代码以简化 faulthandler 集成扩展
  • SPARK-54317 统一经典和连接到Pandas 的箭头转换逻辑
  • SPARK-54339 修复 AttributeMap 非确定性
  • SPARK-54112 支持 SparkConnectDatabaseMetaData 的 getSchemas功能
  • SPARK-54180 重写 BinaryFileFormat 的 toString
  • SPARK-54213 从 Spark Connect 中删除 Python 3.9
  • SPARK-54215 将 SessionStateHelper 特征添加到 FilePartition
  • SPARK-54115 提升线程转储页面中连接服务器操作线程的显示排序优先级
  • SPARK-54193 已弃用的 spark.shuffle.server.finalizeShuffleMergeThreadsPercent
  • SPARK-54149 尽可能启用尾递归
  • SPARK-54185 已弃用 spark.shuffle.server.chunkFetchHandlerThreadsPercent
  • SPARK-54056 解决目录中 SQLConf 设置替换的问题
  • SPARK-54147 在 BaseScriptTransformationExec 中默认将 OMP_NUM_THREADS 设置为 spark.task.cpus
  • SPARK-54229 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目
  • SPARK-53337 XSS:确保历史记录页中的应用程序名称得到转义
  • SPARK-54229 还原“[SC-211321][python] 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目”
  • SPARK-54373 扩大作业 DAG 初始化时的 SVG viewBox 属性
  • SPARK-54323 更改访问 TVF 的日志而不是系统视图的方式
  • SPARK-54229 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目
  • SPARK-53978 支持在驱动端工作进程中进行日志记录
  • SPARK-54146 清理已弃用的 Jackson API 的使用
  • SPARK-54383 为 InternalRowComparableWrapper util 添加预计算架构变体
  • SPARK-54030 为视图元数据损坏添加用户友好断言消息
  • SPARK-54144 短路评估类型推理
  • SPARK-54030 还原“[SC-210301][sql] 为视图元数据损坏添加用户友好断言消息”
  • SPARK-54028 更改与 Hive 不兼容的视图时使用空架构
  • SPARK-54030 为视图元数据损坏添加用户友好断言消息
  • SPARK-54085 修复initialize,此外在CREATE中添加DriverRunner选项
  • SPARK-53482MERGE INTO 支持源嵌套字段少于目标嵌套字段时的情况
  • SPARK-53905 重构 RelationResolution 以启用代码重用
  • SPARK-53732 记住 DataSourceV2Relation 中的 TimeTravelSpec
  • SPARK-54014 支持 SparkConnectStatement 的最大行数
  • SPARK-50906 修复重新排序的结构体字段的 Avro 空值性检查
  • SPARK-54396 优化 Dataframe.toArrow 中的 Py4J 调用
  • SPARK-54344 如果在 daemon.py 中数据刷新失败,则杀掉工作线程
  • SPARK-53977 支持在 UDTF 中进行日志记录
  • SPARK-52515 重新应用“[SC-199815][sql] 添加approx_top_k函数”
  • SPARK-54340 添加在 pyspark 守护程序/辅助角色上使用 viztracer 的功能
  • SPARK-54379 将 lambda 绑定移动到单独的 LambdaBinder 对象
  • SPARK-54029 添加表元数据损坏的详细错误消息以简化调试
  • SPARK-54002 支持将 BeeLine 与 Connect JDBC 驱动程序集成
  • SPARK-54336 修复 BloomFilterMightContain 输入类型检查 ScalarSubqueryReference
  • SPARK-53406 避免在直接传递的 shuffle ID 中进行不必要的 shuffle 联接
  • SPARK-54347 优化经典数据帧中的 Py4J 调用
  • SPARK-54062 MergeScalarSubqueries 代码清理
  • SPARK-54054 支持 SparkConnectResultSet 的行位置
  • SPARK-54330 优化 Py4J 调用 spark.createDataFrame
  • SPARK-54332 无需在汇总/多维数据集/groupingSets 中的分组列名称中附加 PlanId
  • SPARK-53976 支持 Pandas/Arrow UDF 中的日志记录
  • SPARK-54123 添加时区以使时间戳成为绝对时间
  • SPARK-54356 修复由缺少存储根架构导致的 EndToEndAPISuite
  • SPARK-54292 支持聚合函数和 GROUP BY in |>SELECT 管道运算符 (#180106) (#180368)
  • SPARK-54376 将大多数管道配置选项标记为内部
  • SPARK-53975 添加基本的 Python 工作节点日志支持
  • SPARK-54361 将 Spark 版本设定为 spark.sql.parser.singleCharacterPipeOperator.enabled 的目标值 4.2.0
  • SPARK-51518 支持 | 作为 SQL 管道运算符令牌的替代方法 | >
  • SPARK-53535 修复始终假定为 null 的缺失结构
  • SPARK-54294 规范化 Connect 服务器打印出的 IP 地址
  • SPARK-52439 支持具有 null 值的 check 约束
  • SPARK-54352 引入 SQLConf.canonicalize 以集中规范化字符串
  • SPARK-54183 还原还原“[SC-211824][python][CONNECT] 避免在 Spark 连接到Pandas()期间出现一个中间临时数据帧”
  • SPARK-53573IDENTIFIER 到处
  • SPARK-53573 允许在任何地方合并字符串文本
  • SPARK-54240 将获取数组项催化剂表达式转换为连接器表达式
  • SPARK-54334 将 lambda 和更高顺序函数下的子查询表达式的验证移动到 SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
  • SPARK-54183 还原“[SC-211824][python][CONNECT] 避免在 spark 连接到Pandas()期间使用一个中间临时数据帧”
  • SPARK-54183 避免在 spark 连接到Pandas 期间使用一个中间临时数据帧()
  • SPARK-54264 DeDup 运算符可以使用 RocksDB 的 keyExists()
  • SPARK-54269 升级到 cloudpickle 3.1.2 for Python 3.14
  • SPARK-54300 优化 Py4J 调用 df.toPandas
  • SPARK-54307 如果在状态目录为空的情况下用有状态操作重启流式查询,则会引发错误。
  • SPARK-54117 提供更明确的错误提示,表明 TWS 仅支持 RocksDB 状态存储器
  • SPARK-53917 支持大型本地关系 - 后续步骤
  • SPARK-54275 清理 pipeline 模块中未使用的代码
  • SPARK-54287pyspark-clientpyspark-connect 中添加对 Python 3.14 的支持
  • SPARK-53614Iterator[pandas.DataFrame] 添加 applyInPandas 支持
  • SPARK-54191 向 Defineflow Proto 添加一次
  • SPARK-54234 不需要在 df.groupBy 中将 PlanId 附加到分组列名称上
  • SPARK-54231 填写 SDP 文档中的空白
  • SPARK-54199 为新的 KLL 分位数草图函数添加 DataFrame API 支持(#178526)
  • SPARK-52463 重新应用“[SC-211221][sdp] 在 Python Pipelines API 中添加对cluster_by的支持”
  • SPARK-52463 还原“[SC-211221][sdp] 在 Python Pipelines API 中添加对cluster_by的支持”
  • SPARK-53786 具有特殊列名的默认值不应与实际列冲突
  • SPARK-54200 更新 KafkaConsumerPoolRealTimeModeSuite 以使用 groupIdPrefix 实现并发运行安全性
  • SPARK-52463 在 Python Pipelines API 中添加对cluster_by的支持
  • SPARK-52509 从回退存储中清理单个洗牌在RemoveShuffle事件上
  • SPARK-54187 重新应用“[SC-211150][python][CONNECT] 在 toPandas 中批量获取所有配置”
  • SPARK-53942 支持在重新启动流式处理查询时更改无状态随机分区
  • SPARK-52515 还原“[SC-199815][sql] 添加approx_top_k函数”
  • SPARK-52515 添加approx_top_k函数
  • SPARK-54078StateStoreSuite SPARK-40492: maintenance before unload进行新测试,并移除旧测试中的基础设施部分。
  • SPARK-54178 改进 ResolveSQLOnFile 的错误
  • SPARK-53455 添加 CloneSession RPC
  • SPARK-54178 还原“[SC-211111][sql] 改进 ResolveSQLOnFile 错误”
  • SPARK-53489 移除使用v2ColumnsToStructTypeApplyDefaultCollationToStringType
  • SPARK-54178 改进 ResolveSQLOnFile 的错误
  • SPARK-54187 还原“[SC-211150][python][CONNECT] 在 toPandas 中获取批处理中的所有配置”
  • SPARK-53942 还原“[SC-209873][ss] 支持在重新启动流式处理查询时更改无状态随机分区”
  • SPARK-54187 在 toPandas 中获取批处理中的所有配置
  • SPARK-54145 修复嵌套类型在数值聚合中的列检查问题
  • SPARK-53942 支持在重新启动流式处理查询时更改无状态随机分区
  • SPARK-53991 基于 DataSketches (#178089) (#178234) 添加对 KLL 量子函数的 SQL 支持
  • SPARK-53128 在执行内存 OOM 之前,在使用情况日志中包含非托管内存字节
  • SPARK-53731 更新迭代器 API 的类型提示
  • SPARK-53967 避免在 df.toPandas 中创建中间 pandas 数据帧
  • SPARK-53455 还原“[SC-208758][connect] 添加 CloneSession RPC”
  • SPARK-54108 修改 SparkConnectStatement 的执行* 方法
  • SPARK-54052 添加 bridge 对象以解决 Py4J 限制
  • SPARK-54128 使用 Spark Connect 服务器中的正确错误类将 IllegalArgumentException 转换为 SparkException
  • SPARK-53880 通过添加 SupportsPushDownVariants 修复 PushVariantIntoScan 中的 DSv2
  • SPARK-54111 支持 SparkConnectDatabaseMetaData 的 getCatalogs
  • SPARK-53455 添加 CloneSession RPC
  • SPARK-54118 改进多个值情况下 ListState 中的 put/merge操作
  • SPARK-54038 支持 SparkConnectDatabaseMetaData 的 getSQLKeywords 功能
  • SPARK-54013 实现 SparkConnectDatabaseMetaData 简单方法
  • SPARK-53934 初始实现 Connect JDBC 驱动程序
  • SPARK-53959 在从具有索引但没有数据的 pandas 数据帧创建数据帧时,引发客户端端错误
  • SPARK-53573 还原“[SC-210255][sql] 允许在任何地方聚合字符串文本”
  • SPARK-54094 将常用方法提取到 KafkaOffsetReaderBase
  • SPARK-53573 允许在任何地方合并字符串文本
  • SPARK-54039 将 TaskContext 信息添加到 KafkaDataConsumer release()日志,以便更好地进行调试
  • SPARK-54031 为分析边缘案例添加新的黄金文件测试
  • SPARK-54067改进SparkSubmit以使用根本原因而不是exitFnSparkUserAppException
  • SPARK-54047 在空闲超时终止时使用差异错误
  • SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
  • SPARK-54061 为非法日期时间模式的 IllegalArgumentException 添加合适的错误代码包装
  • SPARK-54031 撤销“[SC-210084][sql] 为分析边缘案例添加新的黄金文件测试”
  • SPARK-54075 使 ResolvedCollation 可评估
  • SPARK-54001 使用 ref-counted 缓存的本地关系优化会话克隆中的内存使用情况
  • SPARK-54031 为分析边缘案例添加新的黄金文件测试
  • SPARK-53923 重命名 spark.executor.(log -> logs).redirectConsoleOutputs
  • SPARK-54007 使用 Java Set.of 而不是 Collections.emptySet
  • SPARK-53755 在 BlockManager 中添加日志支持
  • SPARK-54041 重构 ParameterizedQuery 参数验证过程
  • SPARK-53696 在 PySpark 中,将 BinaryType 的默认设置为使用字节
  • SPARK-53921 将 GeometryType 和 GeographyType 引入 PySpark API
  • SPARK-53788 将 VersionUtils 移动到 common 模块
  • SPARK-53999 BSD/MacOS 上的原生 KQueue 传输支持
  • SPARK-54021 在 Catalyst 框架中实现 Geography 和 Geometry 访问方法
  • SPARK-53921 撤销“[SC-209482][geo][PYTHON] 引入 GeometryType 和 GeographyType 到 PySpark API”
  • SPARK-53920 将 GeometryType 和 GeographyType 引入 Java API
  • SPARK-53610 限制 CoGrouped applyInPandas 和 applyInArrow 中的箭头批大小
  • SPARK-53659 在写入 Parquet 时推断 Variant 切碎架构
  • SPARK-53922 介绍物理几何图形和地理类型
  • SPARK-54059 如果使用 ZGC 或 ShenandoahGC 和 ON_HEAP,请减少默认页面大小LONG_ARRAY_OFFSET
  • SPARK-53921 将 GeometryType 和 GeographyType 引入 PySpark API
  • SPARK-54048更新dev/requirements.txt以在 Python 3.14 中安装torch(vision)
  • SPARK-53917 支持大型本地关联
  • SPARK-53760 引入几何类型和地理类型
  • SPARK-53530 清理与以下相关无用代码 TransformWithStateInPySparkStateServer
  • SPARK-53636 修复 SortShuffleManager.unregisterShuffle 中的线程安全问题
  • SPARK-52762 添加 PipelineAnalysisContext 消息以支持 Spark Connect 查询执行期间的管道分析
  • SPARK-53631 优化 SHS 启动上的内存和性能
  • SPARK-53857 允许 messageTemplate 传送至 SparkThrowable
  • SPARK-53891 DSV2模型 提交写入摘要 API
  • SPARK-53966 添加实用工具函数以检测 JVM GC
  • SPARK-53149 修复测试 BeeLine 进程是否在后台运行
  • SPARK-53738 修复查询输出包含可折叠排序时的计划内写入问题
  • SPARK-53949 使用 Utils.getRootCause 而不是 Throwables.getRootCause
  • SPARK-53696 恢复“[SC-209330][python][CONNECT][sql] 将 BinaryType 在 PySpark 中的默认值设为字节”
  • SPARK-53804 支持 TIME 基数排序
  • SPARK-54004 修复按名称取消缓存表而不进行级联操作
  • SPARK-53261 使用 Java String.join|StringJoiner 而不是 Guava Joiner
  • SPARK-53319 通过 try_make_timestamp_ltz() 函数支持时间类型
  • SPARK-53280 使用 Java instanceof 而不是 Throwables.throwIf* 方法
  • SPARK-53696 在 PySpark 中,将 BinaryType 的默认设置为使用字节
  • SPARK-53258 使用JavaUtilscheck(Argument|State)
  • SPARK-53773 恢复规则的字母顺序 RuleIdCollection
  • SPARK-53256 提升 check(Argument|State)JavaUtils
  • SPARK-54008 跳过 QO DESCRIBE QUERY
  • SPARK-53573 将预处理器用于通用参数标记处理
  • SPARK-53980 添加 SparkConf.getAllWithPrefix(String, String => K) API
  • SPARK-54009 支持 spark.io.mode.default
  • SPARK-51903 验证在添加 CHECK 约束时的数据
  • SPARK-53573 还原“[SC-209126][sql] 将预处理器用于通用参数标记处理”
  • SPARK-53573 将预处理器用于通用参数标记处理
  • SPARK-53573 还原“[SC-209126][sql] 将预处理器用于通用参数标记处理”
  • SPARK-53956 支持 PySpark 中 try_make_timestamp 函数中的 TIME
  • SPARK-53930 支持在 PySpark 中的 make_timestamp 函数中使用 TIME
  • SPARK-53573 将预处理器用于通用参数标记处理
  • SPARK-53564 避免因 DAGSchedulerEventProcessLoop 中的 blockManager RPC 超时导致 DAGScheduler 退出
  • SPARK-53879 升级到 Ammonite 3.0.3
  • SPARK-53938 修复 LocalDataToArrowConversion 中的小数调整
  • SPARK-53845 SDP 接收端
  • SPARK-53908 使用计划缓存修复 Spark Connect 上的观察结果
  • SPARK-53841在列 API 中实现transform()
  • SPARK-53929 支持在 Scala 中的 make_timestamp 和 try_make_timestamp 函数中使用 TIME 数据类型
  • SPARK-53902 为参数列表中的支持表达式增加树节点模式位
  • SPARK-53064 在 Java 中重写 MDC LogKey
  • SPARK-53762 向优化器添加日期和时间转换简化规则
  • SPARK-53916 删除 PythonArrowInput 中的变量
  • SPARK-53690 修复了在进行中的 JSON 中 Kafka 源对象的 avgOffsetsBehindLatest 和 estimatedTotalBytesBehindLatest 的指数格式设置问题。
  • SPARK-53789 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53720 简化从 DataSourceV2Relation 中提取表(#52460)
  • SPARK-45530 使用 java.lang.ref.Cleaner 而不是 finalize 用于 NioBufferedFileInputStream
  • SPARK-53789 还原“[SC-208902][sql][CONNECT] 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG”
  • SPARK-53789 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG
  • SPARK-53111 在 PySpark 中实现 time_diff 函数
  • SPARK-53896默认情况下启用spark.io.compression.lzf.parallel.enabled
  • SPARK-53856 删除 denylist 备用配置名称
  • SPARK-53611 限制窗口 agg UDF 中的箭头批大小
  • SPARK-53575 针对重试的随机映射任务检测到校验和不匹配时重试整个使用者阶段
  • SPARK-53867 限制SQL_GROUPED_AGG_ARROW_UDF中的箭头批大小
  • SPARK-53877 介绍 BITMAP_AND_AGG 函数
  • SPARK-51426 修复了“将元数据设置为空字典无效”
  • SPARK-53868 在 V2ExpressionBuilder 中使用数组长度检查而不是直接引用检查
  • SPARK-53609 限制SQL_GROUPED_AGG_PANDAS_UDF中的箭头批大小
  • SPARK-53892 使用 DescribeTopicsResult.allTopicNames 而不是弃用的 all API
  • SPARK-53878 修复与 ObservedMetrics 相关的争用条件问题
  • SPARK-53796 向几个管道协议缓冲(proto)添加 extension 字段以支持向前兼容性
  • SPARK-53850 定义接收器的 proto 并将 DefineDataset 重命名为 DefineOutput
  • SPARK-53812 重构 DefineDataset 和 DefineFlow protos,以分组相关属性并适应未来需求
  • SPARK-53870 修复 TransformWithStateInPySparkStateServer 中大型协议缓冲区消息的部分读取错误
  • SPARK-53751 显式版本控制检查点位置
  • SPARK-52407 添加对 Theta Sketch 的支持(#171135)
  • SPARK-53779在Column API中实现transform()
  • SPARK-49547 将 API 迭代 RecordBatch 器添加到 applyInArrow
  • SPARK-53802 支持 SDP 表中用户指定架构的字符串值
  • SPARK-53865 从 ResolveGenerate 规则中提取常见逻辑
  • SPARK-53113 通过 try_make_timestamp() 支持时间类型
  • SPARK-53868 仅在 V2ExpressionSQBuilder 中将签名与 Expression[] visitAggregateFunction 一起使用
  • SPARK-53792 修复了限定内存时 rocksdbPinnedBlocksMemoryUsage ...
  • SPARK-53248checkedCast中支持JavaUtils
  • SPARK-52640 传播 Python 源代码位置
  • SPARK-52924 支持 ZSTD_strategy 压缩策略
  • SPARK-53562 重新应用“[SC-207233][python] 限制 applyInArrow 和 applyInPandas 中的箭头批大小”
  • SPARK-51272 在 ResubmitFailedStages 中中止执行,而不是继续处理未完全完成的不确定结果阶段
  • SPARK-53795 在 LiteralValueProtoConverter 中删除未使用的参数
  • SPARK-53808 允许将可选 JVM 参数传递给 spark-connect-scala-client
  • SPARK-52614 支持产品编码器中的行编码器
  • SPARK-53833更新以在 Python 3.14 中跳过dev/requirements.txttorch/torchvision
  • SPARK-53715 重构 MergeIntoTable 的 getWritePrivileges
  • SPARK-53516 修复 spark.api.mode SparkPipelines 中的 arg 进程
  • SPARK-53507 请勿使用 BreakingChangeInfo 的用例类
  • SPARK-53645 实现 skipna 参数用于 ps.DataFrame any()
  • SPARK-53717 正确修改 MapType.valueContainsNull 参数注释
  • SPARK-53700 删除在DataSourceV2RelationBase.simpleString中的冗余
  • SPARK-53667 修复 CALL 使用
  • SPARK-53562 还原“[SC-207233][python] 限制 Arrow 批处理大小在 applyInArrowapplyInPandas 中”
  • SPARK-51169 在 Spark 经典版中添加 Python 3.14 支持
  • SPARK-53562限制箭头批大小applyInArrowapplyInPandas
  • SPARK-53806 允许 AES 解密时对空输入进行错误分类处理
  • SPARK-51756 计算 ShuffleWriters 中的 RowBasedChecksum
  • SPARK-52807 Proto 更改以支持声明性管道查询函数内的分析
  • SPARK-53728 打印测试中出现错误的 PipelineEvent 消息
  • SPARK-53207 以异步方式将管道事件发送到客户端
  • SPARK-53829datetime.time列运算符支持
  • SPARK-53638 限制 TWS 中 Apache Arrow 批次的字节大小以避免内存溢出(OOM)
  • SPARK-53593 修复:对响应字段使用未加引号
  • SPARK-53734 解析数组索引时首选表列而不是 LCA
  • SPARK-53593 为 DefineDataset 和 DefineFlow RPC 添加响应字段
  • SPARK-53734 还原“[SC-207697][sql] 解析数组索引时首选表列而不是 LCA”
  • SPARK-53621 添加对执行 CONTINUE HANDLER 的支持
  • SPARK-53734 解析数组索引时首选表列而不是 LCA
  • SPARK-53507 向错误添加重大变更信息
  • SPARK-53707 改进属性元数据处理。
  • SPARK-53629 实现 MERGE INTO 和 SCHEMA 演化的类型拓宽
  • SPARK-53719 增强函数中的 _to_col 类型检查
  • SPARK-53735 在 spark-pipelines 输出中默认隐藏服务器端 JVM 堆栈跟踪
  • SPARK-53651 在管道中添加对持久视图的支持
  • SPARK-53678 解决在 DataType 为 null 时创建 ColumnVector 子类的 NPE 问题
  • SPARK-46679 修复了 SparkUnsupportedOperationException 在使用 Parameterized 类时找不到类型 T 的编码器
  • SPARK-53444 重新调整立即执行、再次调整立即执行
  • SPARK-53578 简化 LiteralValueProtoConverter 中的数据类型处理
  • SPARK-53438 在 LiteralExpressionProtoConverter 中使用 CatalystConverter
  • SPARK-53444 还原“[SC-206535][sql][CORE] 重新执行立即执行作业”
  • SPARK-53444 重新调整立即执行、再次调整立即执行
  • SPARK-53112 支持 PySpark 中make_timestamp_ntz和try_make_timestamp_ntz函数中的 TIME
  • SPARK-53492 拒绝具有已完成操作 ID 的第二个 ExecutePlan
  • SPARK-52772 转发修复黄金文件
  • SPARK-53591 简化管道规格模式通配符匹配
  • SPARK-53553 修复了 LiteralValueProtoConverter 对 null 值的处理问题
  • SPARK-52772 更新期间表属性处理不一致
  • SPARK-53544 支持观测数据的复杂类型
  • SPARK-53357 更新 pandas 到 2.3.2
  • SPARK-53402 支持 Scala 中的 Spark Connect 中的直接直通分区数据集 API
  • SPARK-53372 SDP 端到端测试套件
  • SPARK-53402 恢复“[SC-206163][connect] 在 Scala 中的 Spark Connect 中支持直接透传分区数据集 API”
  • SPARK-53402 支持 Scala 中的 Spark Connect 中的直接直通分区数据集 API
  • SPARK-53233 使与 streaming 相关的代码使用正确的包名称
  • SPARK-53233 还原“[SC-203716][sql][SS][mllib][CONNECT] 使与 streaming 相关的代码使用正确的包名”
  • SPARK-53233 使与 streaming 相关的代码使用正确的包名称
  • SPARK-53561 在 outputStream.flush 期间捕获 TransformWithStateInPySparkStateServer 中的中断异常,以避免工作线程崩溃。
  • SPARK-53486避免在火炬模型加载中设置weights_only=False
  • SPARK-53391 删除未使用的 PrimitiveKeyOpenHashMap
  • SPARK-52431 声明式流水线执行器的最后润饰
  • SPARK-52980 支持箭头 Python UDTF
  • SPARK-53453 取消阻止“torch<2.6.0”
  • SPARK-52582 重新合并 “[SC-199314][sc-204581][SQL] 改进 XML 分析器内存使用情况”
  • SPARK-52582 还原“[SC-199314][sc-204581][SQL] 改进 XML 分析器内存使用情况”
  • SPARK-52582 改进 XML 分析器内存使用情况
  • 在 alter table add columns 中使用的 Dsv2 表达式 - SPARK-51906
  • SPARK-53150 改进 list(File|Path)s 以处理不存在的、非目录的符号链接输入
  • SPARK-53091 禁止 org.apache.commons.lang3.Strings
  • SPARK-52844 将 numpy 更新为 1.22
  • SPARK-52912 改进 SparkStringUtils 以支持 is(Not)?(Blank|Empty)
  • SPARK-52877 改进 Python UDF 箭头序列化程序性能
  • SPARK-52877 还原“[SC-201914][python] 改进 Python UDF 箭头序列化程序性能”
  • SPARK-52238 声明性管道的 Python 客户端
  • SPARK-52877 改进 Python UDF 箭头序列化程序性能
  • SPARK-53287 添加 ANSI 迁移指南
  • SPARK-52110 实现对管道的 SQL 语法支持
  • SPARK-52897 更新 pandas 到 2.3.1
  • SPARK-52451 还原“[SC-202894][connect][SQL] 在 SparkConnectPlanner 中使 WriteOperation 无副作用”
  • SPARK-52976 修复 Python UDF 不接受排序字符串作为输入参数/返回类型
  • SPARK-52904 默认启用 convertToArrowArraySafely
  • SPARK-52821 add int-DecimalType> pyspark udf return type coercion
  • SPARK-52971 限制空闲的 Python 辅助角色队列大小
  • SPARK-53013 修复箭头优化的 Python UDTF,在横向联接上不返回任何行
  • SPARK-51834 同步 OSS:支持端到端表约束更改 add/drop 约束
  • SPARK-52675 中断测试中的挂起 ML 处理程序
  • SPARK-52959 在箭头优化的 Python UDTF 中支持 UDT
  • SPARK-52961 修复使用 0 参数评估的箭头优化 Python UDTF 在横向连接上的问题
  • SPARK-52949 避免在由箭头优化的 Python UDTF 中的 RecordBatch 和表之间往返
  • SPARK-52946 修复 Arrow 优化的 Python UDTF 以支持大型变量类型
  • SPARK-52934 允许使用箭头优化的 Python UDTF 生成标量值
  • SPARK-52861 在 UDTF 箭头优化执行中跳过 Row 对象创建
  • SPARK-51834 将 OSS 支持端到端创建/替换表与约束同步
  • SPARK-44856 改进 Python UDTF 箭头序列化程序性能
  • SPARK-51834 还原“[SQL] 通过添加构造函数修复 TableSpec”
  • SPARK-51834 通过添加构造函数修复 TableSpec
  • SPARK-51834 还原“[SQL] 同步 OSS(部分):支持创建/替换表中的端到端表约束”
  • SPARK-51834 同步 OSS (部分):在 create/replace 表中支持端到端流程表约束条件
  • SPARK-52885 在 Scala 中为 TIME 类型实现小时、分钟和秒函数
  • SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
  • SPARK-44856 还原“[SC-195808][python] 改进 Python UDTF 箭头序列化程序性能”
  • SPARK-51834 撤销“[SQL] 同步 OSS 更新 ResolvedIdentifier unapply 函数调用”
  • SPARK-44856 改进 Python UDTF 箭头序列化程序性能
  • SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
  • SPARK-52787 围绕运行时和检查点区域重新组织流式执行 dir
  • SPARK-51695 通过 DSv2 为唯一约束同步 OSS 创建/替换/更改表
  • SPARK-51695 通过 DSv2 同步 OSS 删除约束
  • SPARK-51695 引入表约束分析器更改(CHECK、PK、FK)
  • SPARK-51695 还原“[SQL] 引入表约束分析器更改(CHECK、PK、FK)”
  • SPARK-51695 引入表约束分析器更改(CHECK、PK、FK)
  • SPARK-49428 将 Scala 客户端从连接器移动到 SQL
  • SPARK-52422 更新 pandas 到 2.3.0
  • SPARK-52228 把状态交互微基准测试集成到 Quicksilver (TCP)
  • SPARK-52300 使 SQL UDTVF 解析使用与视图解析一致的配置
  • SPARK-52228 使用内存中状态 impls 和 python 中的基准代码构造基准用途的 TWS 状态服务器
  • SPARK-52174默认情况下启用spark.checkpoint.compress
  • SPARK-52224 将 pyyaml 作为 Python 客户端的依赖项引入
  • SPARK-52122 修复 DefaultParamsReader RCE 漏洞
  • SPARK-51147 将流式处理相关类重构到专用流式处理目录
  • SPARK-51789 在 Spark 提交中分析参数时,尊重 spark.api.mode 和 spark.remote
  • SPARK-51212 默认情况下,为 Spark Connect 添加单独的 PySpark 包
  • SPARK-50762 添加分析器规则以解析 SQL 标量 UDF
  • SPARK-49748getCondition中添加getErrorClass并弃用SparkThrowable
  • SPARK-50605 支持 SQL API 模式,以便更轻松地迁移到 Spark Connect
  • SPARK-50458 针对读取文件时不支持的文件系统进行正确的错误处理
  • SPARK-49700 用于连接和经典版的统一 Scala 接口
  • SPARK-51779 使用虚拟列族进行流-流联接
  • SPARK-51820 在分析之前移动 UnresolvedOrdinal 构造,以避免按序号分组出现问题。
  • SPARK-51814在 PySpark 中引入新的 API transformWithState
  • SPARK-51635 合并 PushProjectionThroughLimit 和 PushProjectionThroughOffset
  • SPARK-51165默认情况下启用spark.master.rest.enabled
  • SPARK-51688 在 Python 和 JVM 通信之间使用 Unix 域套接字
  • SPARK-51503 支持 XML 扫描中的变体类型
  • SPARK-50564protobuf Python 包升级到 5.29.1
  • SPARK-50359 将 PyArrow 升级到 18.0
  • SPARK-51340 模型大小估计
  • SPARK-50657 将最低版本 pyarrow 升级到 11.0.0
  • SPARK-49282 创建共享的 SparkSessionBuilder 接口。
  • SPARK-51371 在 ResolveAggregateFunctions 中生成别名时,将 toString 更改为 toPrettySQL
  • SPARK-50694 支持在子查询中重命名
  • SPARK-50601 还原“[SC-186342][sql] 支持在子查询中使用withColumns / withColumnsRenamed”
  • SPARK-50601 在子查询中支持 withColumns / withColumnsRenamed

Azure Databricks ODBC/JDBC 驱动程序支持

Azure Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC下载 JDBC)。

维护更新

请参阅 Databricks Runtime 维护更新

系统环境

  • 作系统:Ubuntu 24.04.3 LTS
  • Java:Zulu21.42+19-CA
  • Scala:2.13.16
  • Python:3.12.3
  • R:4.5.1
  • Delta Lake:4.0.0

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
标注文档 0.0.3 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
箭头 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 属性 24.3.0 自动命令 2.2.2
azure-common 1.1.28 azure-core 1.36.0 Azure 身份识别 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.27.1
azure-storage-file-datalake 12.22.0 巴别塔 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 黑色 24.10.0 漂白剂 6.2.0
闪烁器 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools (缓存工具) 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer (字符集正常化工具) 3.3.2 click 8.1.8
cloudpickle 3.0.0 通讯 0.2.1 contourpy 1.3.1
加密 44.0.1 骑行者 0.11.0 Cython 3.1.5
databricks代理 1.4.0 databricks-connect 17.3.1 Databricks软件开发工具包 (databricks-sdk) 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
修饰器 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 docstring-to-markdown 0.11
正在执行 1.2.0 各个方面概述 1.1.1 fastapi 0.121.0
fastjsonschema 2.21.1 文件锁 (filelock) 3.18.0 fonttools(字体工具) 4.55.3
fqdn 1.5.1 fsspec 2023.5.0 gitdb (Git数据库) 4.0.11
GitPython 3.1.43 google-api-core (谷歌 API 核心库) 2.28.1 google-auth (谷歌身份验证) 2.43.0
google-cloud-core (Google云核心) 2.5.0 谷歌云存储 (Google Cloud Storage) 3.5.0 google-crc32c 1.7.1
google-resumable-media (谷歌可恢复媒体) 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 IDNA 3.7
importlib-metadata 6.6.0 inflect 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils(IPython通用工具) 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isoduration 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jedi 0.19.2
Jinja2 3.1.6 jiter 0.11.1 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 JSON补丁 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 JSON模式规范 2023年7月1日
jupyter-events 0.12.0 jupyter-lsp 2.2.5 jupyter_client(Jupyter 客户端) 8.6.3
jupyter_core(Jupyter核心) 5.7.2 Jupyter服务器 2.15.0 Jupyter服务器终端 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server (JupyterLab 服务器) 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.0.3
langchain-openai 1.0.2 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.1 matplotlib 3.10.0
matplotlib-inline 0.1.7 麦卡贝 0.7.0 mdurl 0.1.0
mistune 3.1.2 mlflow-skinny 3.5.1 mmh3 5.2.0
more-itertools 10.3.0 MSAL 1.34.0 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
笔记本 7.3.2 notebook_shim 0.2.4 numpy 2.1.3
oauthlib 3.2.2 openai 2.7.1 OpenTelemetry API 1.38.0
opentelemetry-proto 1.38.0 opentelemetry-sdk(开源遥测软件开发工具包) 1.38.0 opentelemetry-semantic-conventions 0.59b0
orjson 3.11.4 overrides 7.4.0 包装 24.2
熊猫 2.2.3 pandocfilters 1.5.0 帕尔索 0.8.4
pathspec 0.10.3 替罪羊 1.0.1 pexpect 4.8.0
枕头 11.1.0 pip 25.0.1 platformdirs 4.3.7
plotly 5.24.1 Pluggy (Python库) 1.5.0 prometheus_client 0.21.1
提示工具包 (prompt-toolkit) 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
Python代码解析器 2.21 pydantic (Python 数据验证库) 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 火化 1.0.3
pytest(Python 测试框架) 8.3.5 python-dateutil 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referencing 0.30.2 regex 2024.11.6
requests 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986验证器 0.1.1 rich 13.9.4 绳子 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 scipy 1.15.3 seaborn 0.13.2
Send2Trash 1.8.2 setuptools 78.1.1 6 1.17.0
smmap 5.0.0 sniffio 1.3.0 排序容器 2.4.0
soupsieve 2.5 sqlparse 0.5.3 ssh-import-id 5.11
堆栈数据 0.6.3 starlette 0.49.3 strictyaml 1.7.3
毅力 9.0.0 terminado 0.17.1 threadpoolctl 3.5.0
tiktoken 0.12.0 tinycss2 1.4.0 tokenize_rt 6.1.0
tomli 2.0.1 龙卷风 6.5.1 tqdm 4.67.1
Traitlets 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20251008
输入检查 0.9.0 输入扩展 (typing_extensions) 4.12.2 tzdata 2024.1
ujson 5.10.0 unattended-upgrades 0.1 URI 模板 1.3.0
urllib3 2.3.0 uvicorn 0.38.0 virtualenv 20.29.3
wadllib 1.3.6 wcwidth 0.2.5 webcolors 25.10.0
Web编码 0.5.1 WebSocket客户端 1.8.0 whatthepatch 1.0.2
wheel 0.45.1 每当 0.7.3 widgetsnbextension 3.6.6
裹住 1.17.0 yapf 0.40.2 齐普 3.21.0
zstandard 0.23.0

已安装的 R 库

R 库从 2025-03-20 的 Posit 包管理器 CRAN 快照中安装

图书馆 版本 图书馆 版本 图书馆 版本
箭头 22.0.0 askpass 1.2.1 断言 0.2.1
backports 1.5.0 基础映像 4.5.1 base64enc 0.1-3
bigD 0.3.1 比特 4.6.0 bit64 4.6.0-1
bitops 1.0-9 blob 1.2.4 靴子 1.3-30
brew 1.0-10 活力 1.1.5 扫帚 1.0.10
bslib 0.9.0 卡齐姆 1.1.0 callr 3.7.6
caret 7.0-1 cellranger (细胞测序工具) 1.1.0 If "chron" is a standalone term with no additional context indicating its specific function or meaning, we may keep it as "Chron" unless context dictates a different interpretation. 2.3-62
7.3-22 命令行界面 (CLI) 3.6.5 剪辑器 0.8.0
clock 0.7.3 群集 2.1.6 codetools 0.2-20
通用标记 (commonmark) 2.0.0 编译器 4.5.1 config 0.3.2
感到矛盾 1.2.0 cpp11 0.5.2 蜡笔 1.5.3
凭据 2.0.3 curl 7.0.0 数据表 (data.table) 1.17.8
数据集 4.5.1 DBI 1.2.3 dbplyr 2.5.1
desc 1.4.3 devtools 2.4.6 示意图 1.6.5
diffobj 0.3.6 摘要 0.6.39 向下照明 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
省略号 0.3.2 评价 1.0.5 fansi 1.0.7
颜色 2.1.2 快速映射 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 国外 0.8-86
fs 1.6.6 未来 1.68.0 future.apply 1.20.0
漱口 1.6.0 泛型 0.1.4 格尔特 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 全局变量 0.18.0
胶水 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 图形 4.5.1 grDevices 4.5.1
网格 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 安全帽 1.4.2
避风港 2.5.5 highr 0.11 赫姆斯 1.1.4
HTML工具 0.5.8.1 HTML小插件 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
迭代器 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
JuicyJuice 0.1.0 KernSmooth 2.23-22 knitr 1.50
标记 0.4.3 稍后 1.4.4 晶格 0.22-5
熔岩 1.8.2 生命周期 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
markdown 2.0 质量 7.3-60.0.1 矩阵 1.6-5
记忆化 2.0.1 方法 4.5.1 mgcv 1.9-1
默剧 0.13 迷你用户界面 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv 2016年8月至1月1日 openssl(开放SSL) 2.3.4
伊卡诺 0.2.0 平行 4.5.1 并行地 1.45.1
柱子 1.11.1 pkgbuild (软件包构建工具) 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 普洛格 0.2.0
普莱尔 1.8.9 赞美 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 进展 1.2.3 progressr 0.18.0
promises 1.5.0 原型 (proto) 1.0.0 代理 0.4-27
附注 (ps) 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 随机森林 (randomForest) 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 reactable 0.4.4 reactR 0.6.1
readr(阅读器) 2.1.6 readxl 1.4.5 食谱 1.3.1
重赛 2.0.0 rematch2 2.1.2 remotes 2.5.0
可复制的示例 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown(R语言动态文档生成工具) 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 Sass 0.4.10
磅秤 1.4.0 selectr 0.4-2 会话信息 1.2.3
形状 1.4.6.1 光亮 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
空间 7.3-17 splines 4.5.1 sqldf(R环境中的数据库操作软件包) 0.4-11
SQUAREM 2021年1月 统计数据 4.5.1 统计数据4 4.5.1
stringi 1.8.7 stringr 1.6.0 生存 3.5-8
自信 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
Tcl/Tk 编程语言 4.5.1 testthat 3.3.0 文字排版 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse(数据分析工具包) 2.0.0 时间变化 0.3.0 时间日期 4051.111
tinytex 0.58 tools 4.5.1 tzdb 0.5.0
URL检查器 1.0.1 usethis 3.2.1 utf8 1.2.6
utils 4.5.1 UUID(通用唯一识别码) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.6
瓦尔多 0.6.2 晶 须 0.4.1 withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 yaml 2.3.10 zeallot 0.2.0
压缩包 2.3.3

已安装的 Java 和 Scala 库(Scala 2.13 群集版本)

群组标识符 工件编号 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.15.3
com.amazonaws AWS Java SDK 自动扩展 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws AWS Java SDK CloudFront 1.12.681
com.amazonaws AWS-Java-SDK-云HSM 1.12.681
com.amazonaws AWS Java SDK 云搜索 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.12.681
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.681
com.amazonaws aws-java-sdk-datapipeline(AWS Java SDK 数据流水线) 1.12.681
com.amazonaws AWS Java SDK Direct Connect(直连) 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.12.681
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws AWS Java SDK Glacier 1.12.681
com.amazonaws AWS Java SDK Glue 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.12.681
com.amazonaws AWS-Java-SDK-机器学习 1.12.681
com.amazonaws aws-java-sdk-opsworks 1.12.681
com.amazonaws aws-java-sdk-rds 1.12.681
com.amazonaws aws-java-sdk-redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm 1.12.681
com.amazonaws AWS Java SDK 存储网关 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws AWS Java SDK支持 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics 数据流 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.5.1
com.fasterxml.jackson.core Jackson注解 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat Jackson 数据格式 YAML 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine 咖啡因 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-原住民
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-原住民
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-原住民
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-原住民
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value auto-value-annotations 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink 丁克 1.16.0
com.google.errorprone 易出错的注释 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava 访问失败 1.0.3
com.google.guava guava 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger 探查器 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter 冷静_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer 稀疏比特集合 1.3
commons-cli commons-cli 1.10.0
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.19.0
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
commons-logging(日志库) commons-logging(日志库) 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack(线性代数软件包) 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 2.0.2
io.delta delta-sharing-client_2.13 1.3.6
io.dropwizard.metrics 指标注释 4.2.37
io.dropwizard.metrics metrics-core 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics 指标-健康检查 4.2.37
io.dropwizard.metrics metrics-jetty10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics 指标-JVM 4.2.37
io.dropwizard.metrics 指标-Servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer(Netty缓存) 4.2.7.Final
io.netty netty-codec 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty Netty编解码压缩 4.2.7.Final
io.netty Netty HTTP 编解码器 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty Netty-Common(网络通用组件) 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy(Netty 处理器代理) 4.2.7.Final
io.netty netty-resolver (Netty 解析器) 4.2.7.Final
io.netty netty-tcnative-boringssl-static(Netty高性能计算库) 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static(Netty高性能计算库) 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static(Netty高性能计算库) 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static(Netty高性能计算库) 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static(Netty高性能计算库) 2.0.74.Final-db-r0-windows-x86_64
io.netty Netty TcNative 类 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus 简单客户端通用 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway (简单客户端推送网关) 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_服务_通用 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient跟踪器_otel代理 0.16.1-databricks
io.prometheus.jmx 收集器 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api (Java中的注解API) 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc(远程调用协议库) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch(Java的SSH库) 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow 箭头格式 18.3.0
org.apache.arrow 箭头-内存-核心 18.3.0
org.apache.arrow 箭头内存网状系统 18.3.0
org.apache.arrow 箭头内存-Netty-缓冲区-补丁 18.3.0
org.apache.arrow 箭头向量 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4(通用集合库) 4.5.0
org.apache.commons commons-compress 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (通用文本库) 1.14.0
org.apache.curator curator-client 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator curator-recipes 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches 数据素描-内存 3.0.2
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive 海蜂垫片 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json(日志4j布局模板JSON) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
\ org.apache.orc orc-core 2.2.0-shaded-protobuf
\ org.apache.orc orc格式 1.1.1-shaded-protobuf
\ org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
\ org.apache.orc orc-shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper 动物园管理员 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty Jetty-HTTP 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty jetty-plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty 码头安全 10.0.26
org.eclipse.jetty jetty-server(Jetty服务器) 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty Jetty 网页应用 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss 日志 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest 与Scalatest兼容 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-平台_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel 尖塔_2.13 0.18.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
斯塔克斯 stax-api 1.0.1

小窍门

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。