本文介绍了笔记本和作业中无服务器计算能力的当前限制。 它首先概述了最重要的注意事项,然后提供一个全面的限制参考列表。
已知限制
只能在 2025 年 7 月 1 日或之后创建的中国北部 3 区的 Azure Databricks 工作区中启用无服务器功能。 在该日期之前创建的中国北部 3 工作区无法直接启用无服务器功能。
建议的解决方法
在中国北部 3 中创建新的工作区。 数据迁移已简化,因为 Unity 目录允许新工作区在不移动现有数据的情况下访问现有数据。 如果需要利用于2025年7月1日之前在 China North 3 创建的工作区,请联系你的客户团队以获取帮助。
语言和 API 支持
不支持 R。
仅支持 Spark Connect API。 不支持 Spark RDD API。
Spark Connect(由无服务器计算使用)将分析和名称解析推迟到执行时间,这可能会更改代码的行为。 请参阅 “将 Spark 连接与 Spark 经典版进行比较”。
ANSI 模式默认启用。 无效的类型转换、算术溢出和错误的输入会引发运行时错误,而不是默然返回
NULL或错误的结果。 关于如何处理改变行为的操作以及选择退出的限制,请参阅迁移指南中的 SQL行为差异部分 。默认会话时区为
Etc/UTC(协调世界时)。 要使用不同的时区,可以设置spark.sql.session.timeZone。 请参阅 为无服务器笔记本和作业配置 Spark 属性。使用
spark.createDataFrame本地数据创建数据帧时,行大小不能超过 128MB。
数据访问和存储
必须使用 Unity Catalog 连接到外部数据源。 使用外部位置访问云存储。
笔记本和作业任务的工作目录并不保证,因此相对文件路径和相对的 Python 导入可能会失败。 使用绝对路径来引用文件,并将共享的 Python 代码导入为工作区文件,而非相对模块。 请参阅 使用 Python 和 R 模块。
不支持 Maven 坐标。
不支持全局临时视图。 需要跨会话数据传递时,Databricks 建议使用 会话临时视图 或创建表。
用户定义函数 (UDF)
用户定义的函数 (UDF) 无法访问 Internet。 因此,不支持 CREATE FUNCTION (External) 命令。 Databricks 建议使用 CREATE FUNCTION(SQL 和 Python) 创建 UDF。
用户定义的自定义代码(例如 UDF),
map并且mapPartitions内存使用量不能超过 1 GB。不能在 高阶函数中使用 Scala UDF。
用户界面(UI)与日志记录
Spark UI 不可用。 请改用查询概要文件来查看有关 Spark 查询的信息。 请参阅查询简介。
Spark 日志不可用。 用户只能访问客户端应用程序日志。
网络和工作区访问
仅当工作区位于同一区域且目标工作区未配置 IP ACL 或前端 PrivateLink 时,才允许跨工作区访问。
不支持 Databricks 容器服务。
无服务器计算无法连接到只能通过IPv6访问的资源。 资源必须通过IPv4可访问。
流式处理限制
笔记本和作业的无服务器计算支持以下 结构化流触发器:
Trigger.AvailableNow()。 Databricks 建议使用此触发器模式进行无服务器计算。Trigger.Once()。 此弃用模式受支持,但不建议这样做。
以下触发器在无服务器笔记本或作业中不受支持:
Trigger.Continuous(interval)。Trigger.ProcessingTime(interval)。- 默认情况下,如果未指定触发器模式,Apache Spark 会将触发器设置为
Trigger.ProcessingTime("0 seconds")。 必须在无服务器计算上设置受支持的触发器。
- 默认情况下,如果未指定触发器模式,Apache Spark 会将触发器设置为
如果尝试使用不受支持的触发器,查询将引发错误 INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED。
这些触发限制不适用于Lakeflow管道的处理模式。 对于连续流工作负载,可以在无服务器流水线中使用连续模式,或者在Trigger.AvailableNow()中使用。
Lakeflow 管道中的实时模式 支持亚秒级的操作工作负载,并有特定的运行时、源、汇和算子要求。
有关将流式处理用例映射到正确的无服务器产品的决策指南,请参阅无服务器计算上的流式处理。
标准访问模式的所有流媒体限制也适用。 请参阅 流式处理限制。
笔记本电脑的限制
笔记本不支持 Scala 和 R。
笔记本不支持 JAR 库。 有关解决方法,请参阅无服务器计算的最佳做法。 支持作业中的 JAR 任务。 请参阅用于作业的 JAR 任务。
笔记本范围内的库不会在开发会话之间缓存。
在用户之间共享笔记本时,不支持共享 TEMP 表和视图。
不支持在笔记本中对数据帧使用自动补全和变量浏览器。
默认情况下,新的笔记本会以
.ipynb格式保存。 如果笔记本以源格式保存,则无法正确捕获无服务器元数据,并且某些功能可能无法按预期工作。不支持笔记本标记。 使用 无服务器使用策略 标记无服务器使用情况。
作业限制
任务日志不是针对每次任务运行而单独隔离的。 日志将包含多个任务的输出。
笔记本任务不支持任务库功能。 请改用笔记本范围的库。 请参阅笔记本范围的 Python 库。
默认情况下,无服务器任务没有查询执行超时。 可以使用该
spark.databricks.execution.timeout属性为作业查询设置执行超时。 有关详细信息,请参阅 为无服务器笔记本和作业配置 Spark 属性。无服务器计算的最大运行时为 7 天。 超过 7 天的运行由平台终止,不会重试。 若要运行超过 7 天的工作负荷,请将它们分解为较小的运行或使用经典计算。
计算专用限制
不支持以下特定于计算的功能:
计算策略
计算作用域初始化脚本。 安装包或配置 Python 环境时,建议使用基础环境或笔记本依赖。 请参阅 配置无服务器环境。
计算范围限定的库,包括自定义数据源和 Spark 扩展。 请改用笔记本级别的库。
实例池
计算事件日志
大多数 Apache Spark 计算配置。 有关受支持的配置列表,请参阅 为无服务器笔记本和作业配置 Spark 属性。
缓存限制
元数据缓存在无服务器计算会话中。 因此,切换目录时,会话上下文可能无法完全重置。 若要清除会话上下文,请重置无服务器计算资源或启动新会话。
df.cache()、df.persist()和df.unpersist()受支持。以下缓存API和SQL命令不支持无服务器计算。 使用这些 API 或 SQL 命令中的任何一个会导致异常。
Spark ML 模型缓存每个会话限制为 1 GB(1073741824 字节),单个模型限制为 100 MB。 这两个限制在无服务器计算中都低于经典计算,且都无法更改。 超过会话限制会引发 ML_CACHE_SIZE_OVERFLOW_EXCEPTION。 超过单个模型的限制会引发 MODEL_SIZE_OVERFLOW_EXCEPTION。 为了腾出缓存空间,删除你不再使用的模型的 Python 引用。 未使用15分钟的模型会移动到本地磁盘,但仍然计入会话限制。
Hive 限制
不支持 Hive SerDe 表。 此外,不支持将数据加载到 Hive SerDe 表中的相应 LOAD DATA 命令。 使用该命令会导致异常。
对数据源的支持仅限于 AVRO、BINARYFILE、CSV、DELTA、JSON、KAFKA、ORC、PARQUET、TEXT 和 XML。
不支持 Hive 变量(例如
${env:var}、${configName}、${system:var}和spark.sql.variable)或使用${var}语法的配置变量引用。 使用 Hive 变量会导致异常。请改用 DECLARE VARIABLE、 SET VARIABLE 和 SQL 会话变量引用 和参数标记(“?”或“:var”)声明、修改和引用会话状态。 在许多情况下,还可以使用 IDENTIFIER 子句 参数化对象名称。
支持的数据源
无服务器计算支持以下数据源进行 DML 操作(写入、更新、删除):
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
无服务器计算支持以下数据源进行读取操作:
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKESQLDW(Azure Synapse)DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB