无服务器环境版本 3

本文概述了无服务器环境版本 3 的系统环境信息。

为了确保应用程序的兼容性，无服务器工作负荷使用版本控制 API（称为环境版本），该 API 与较新的服务器版本保持兼容。

可以使用无服务器笔记本中的 环境 侧面板选择环境版本。 请参阅 “选择环境版本”。

新功能和改进

无服务器环境 3 中提供了以下新功能和改进。

API 更新

2025 年 8 月 18 日

标量 Python UDF 现在支持服务凭据

标量 Python UDF 可以使用 Unity 目录服务凭据安全地访问外部云服务。 有关详细信息，请参阅 Scalar Python UDF 中的服务凭据。

2025 年 6 月 13 日

无服务器环境 3 包括以下 API 更新：

• 向 Python 数据源添加了筛选器下推 API 支持。 请参阅 向 Python 数据源添加筛选器下推 API 支持。
• Python UDF 回溯现在包括驱动程序和执行程序的帧以及客户端帧。 请参阅 Python UDF 异常追踪改进。
• 新的 listagg 和 string_agg 函数聚合 STRING 和 BINARY 组中的值。 请参阅 “新建 listagg ”和 string_agg “函数”。
• variant_get 和 get_json_object 现在会考虑 Apache Spark 中路径的前导空格。 请参阅 variant_get 和 get_json_object 现在会考虑 Apache Spark 中路径的前导空格。
• SPARK-51079 使用 Arrow 支持 pandas UDF、createDataFrame 和 toPandas 中的大型变量类型。
• SPARK-51186 在 PySpark 的基本异常中添加 StreamingPythonRunnerInitializationException。
• SPARK-51112 避免在空表中使用 pyarrow to_pandas 。
• SPARK-51506 [PYTHON][ss] 不要强制用户在 TransformWithStateInPandas 中实现 close()
• SPARK-51425 [Connect] 添加客户端 API 以设置自定义 operation_id
• SPARK-51206 [PYTHON][connect] 将箭头转换帮助程序移出 Spark Connect

Databricks Connect 已升级到 16.3

2025 年 6 月 13 日

使用 Databricks Connect for Databricks Runtime 16.3 上提供的功能和改进。 请参阅 Databricks Connect for Databricks Runtime 16.3。

改进的 Python 语法错误突出显示

2025 年 6 月 13 日

Python 语法错误突出显示将进行以下改进：

• 更快的错误处理延迟。
• 支持 Python 类型错误突出显示。
• 通过 pyproject.toml 文件实现 Linter 可配置性。

请参阅 Python 错误高亮显示。

Web 终端和笔记本中的 Git CLI 支持

2025 年 6 月 13 日

现在可以在无服务器笔记本和无服务器笔记本的 Web 终端中使用 Git CLI。

关于冲突的环境版本的行为变化

2025 年 6 月 13 日

如果无服务器环境版本在笔记本 的环境 面板和自定义基础环境文件中声明，则基本环境的版本优先，除非两个声明的版本都低于版本 3，在这种情况下使用笔记本的版本。

例如：

• 如果笔记本使用 v1，并且基础环境使用 v3，则工作负荷将使用 v3。
• 如果笔记本使用 v1，并且基础环境使用 v2，则工作负荷将使用 v1。
• 如果笔记本使用 v3，并且基础环境使用 v1，则工作负荷将使用 v1。
• 如果笔记本使用 v2，并且基础环境使用 v1，则工作负荷将使用 v2。

系统环境

• 操作系统：Ubuntu 24.04.2 LTS
• Python：3.12.3
• Databricks Connect：16.4.2

已安装的 Python 库

若要在本地 Python 虚拟环境中重现无服务器环境 3，请下载 requirements-env-3.txt 文件并运行 pip install -r requirements-env-3.txt。 此命令从无服务器环境 3 安装所有开源库。