注意
本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。
本文列出了适用于 Scala 的 Databricks Connect 的限制。 Databricks Connect 使你能够将常用的 IDE、笔记本服务器和自定义应用程序连接到 Azure Databricks 计算资源。 请参阅什么是 Databricks Connect?。 有关本文的 Python 版本,请参阅适用于 Python 的 Databricks Connect 的限制。
重要
根据所使用的 Scala、Java、Databricks Runtime 和 Databricks Connect 版本,某些功能可能存在版本要求。 请参阅 要求。
功能可用性
在适用于 Databricks Runtime 13.3 LTS 及更低版本的 Databricks Connect 上不可用:
- 流式处理
foreachBatch - 创建大于 128 MB 的数据帧
- 超过 3600 秒的长查询
- 使用专用访问模式(以前称为单用户模式)的计算资源上的标量 UDF
不可用:
- Databricks 实用工具:
credentials、library、notebook workflow、widgets - Spark 上下文
- RDD
-
CREATE TABLE <table-name> AS SELECT(改用spark.sql("SELECT ...").write.saveAsTable("table")) - 不能通过
SparkContext更改 Log4j 日志级别 - 分布式 ML 训练
- 将本地开发环境与远程计算资源同步