通过

Databricks Connect for Scala 的限制

注释

本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。

本文列出了 Databricks Connect for Scala 的限制。 Databricks Connect 使你能够将常用的 IDE、笔记本服务器和自定义应用程序连接到 Azure Databricks 计算资源。 请参阅什么是 Databricks Connect？。 有关本文的 Python 版本，请参阅 Databricks Connect for Python 的限制。

重要

根据所使用的 Scala、Java、Databricks Runtime 和 Databricks Connect 版本，某些功能可能存在版本要求。 请参阅 要求。

功能可用性

在适用于 Databricks Runtime 13.3 LTS 及更低版本的 Databricks Connect 上不可用：

  • 流式处理 foreachBatch
  • 创建大于 128 MB 的数据帧
  • 超过 3600 秒的长查询
  • 使用专用访问模式（以前称为单用户模式）的计算资源上的标量 UDF

不可用：

  • Databricks 实用工具：credentials、library、notebook workflow、widgets
  • Spark 上下文
  • 多个RDD
  • CREATE TABLE <table-name> AS SELECT（改用 spark.sql("SELECT ...").write.saveAsTable("table")）
  • 不能通过 SparkContext 更改 Log4j 日志级别
  • 分布式 ML 训练
  • 将本地开发环境与远程计算资源同步
  • Last updated on