适用于 Scala 的 Databricks Connect 的限制
注意
本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。
本文列出了适用于 Scala 的 Databricks Connect 的限制。 Databricks Connect 使你能够将常用 IDE、笔记本服务器和自定义应用程序连接到 Azure Databricks 群集。 请参阅什么是 Databricks Connect?。 有关本文的 Python 版本,请参阅适用于 Python 的 Databricks Connect 的限制。
在适用于 Databricks Runtime 13.3 LTS 及更低版本的 Databricks Connect 上不可用:
- 流式处理
foreachBatch
- 创建大于 128 MB 的数据帧
- 超过 3600 秒的长查询
- 使用单用户群集访问模式的群集上的标量 UDF
不可用:
- Databricks 实用工具:
credentials
、library
、notebook workflow
、widgets
SparkContext
RDDs
- MLflow 模型推理:
pyfunc.spark_udf()
API - Mosaic 地理空间
CREATE TABLE <table-name> AS SELECT
(改用spark.sql("SELECT ...").write.saveAsTable("table")
)- 不能通过
SparkContext
更改 Log4j 日志级别 - 分布式 ML 训练
- 将本地开发环境与远程群集同步