这些功能和 Azure Databricks 平台改进于 2025 年 5 月发布。
注释
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注释
发布过程分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Beta 版中的新警报
2025 年 5 月 22 日
Databricks SQL 警报的新版本现在处于 Beta 版中。 可以使用警报定期运行查询、评估定义的条件,以及满足条件时发送通知。 此版本通过将查询设置、条件、计划和通知目标合并到单个界面,简化了创建和管理警报。 你仍然可以将旧版警报与新版本一起使用。 请参阅 Databricks SQL 警报。
管道系统表现已推出(公共预览版)
2025 年 5 月 20 日
该 system.lakeflow.pipelines
表是一个渐变的维度表(SCD2),用于跟踪在 Azure Databricks 帐户中创建的所有管道。
Azure Databricks 支持对 AWS S3 存储的跨云读取访问
2025 年 5 月 20 日
使用 Unity 目录从安全的 Azure Databricks 环境中访问和管理所有 S3 数据。 无需迁移或复制数据集。 对 S3 的访问是只读的。
工作区中的 Databricks 资源包(公测版)
2025 年 5 月 19 日
现在,使用工作区中的捆绑包可以更轻松地与组织中的其他用户协作处理 Databricks 资产捆绑包,这样工作区用户就可以通过 UI 编辑、提交、测试和部署捆绑包更新。
工作流任务修复现在遵从传递性依赖关系
2025 年 5 月 19 日
以前,修复的任务在直接依赖项完成后被解除阻止。 现在,修复的任务会等待所有传递依赖关系的完成。 例如,在图形 A → B → C 中,修复 A 和 C 将阻止 C,直到 A 完成。
Databricks 应用(正式发布)
2025 年 5 月 13 日
Databricks Apps 现已一般可用(GA)。 借助此功能,可以直接在 Databricks 工作区中生成和运行交互式全堆栈应用程序。 应用在托管基础结构上运行,并与 Delta Lake、笔记本、ML 模型和 Unity 目录集成。
Databricks Runtime 16.4 LTS 正式发布
2025 年 5 月 13 日
Databricks Runtime 16.4 和 Databricks Runtime 16.4 ML 现已正式发布。
请参阅 用于机器学习的 Databricks Runtime 16.4 LTS 和 Databricks Runtime 16.4 LTS。
用于模型服务的 CPU 工作负载现在支持合规性安全配置文件标准。
2025 年 5 月 13 日
模型服务的 CPU 工作负载现在支持由符合性安全配置文件提供的以下符合性标准:
- HIPAA
- HITRUST (健康信息信托联盟)
- PCI-DSS
- ISMAP
- 英国 Cyber Essentials Plus
Databricks JDBC 驱动程序 2.7.3
2025 年 5 月 12 日
Databricks JDBC 驱动程序版本 2.7.3 现在可从 JDBC 驱动程序下载页下载。
此版本包括以下增强功能和新功能:
- 添加了对 Azure 托管标识 OAuth 2.0 身份验证的支持。 若要启用此功能,请将
Auth_Flow
属性设置为 3。 - 添加了对与主机不同的 IDP 的 OAuth 令牌交换的支持。 OAuth 访问令牌(包括 BYOT)将被转换为 Databricks 访问令牌。
- OAuth 浏览器 (
Auth_Flow=2
) 现在支持 Linux 和 Mac作系统的令牌缓存。 - 添加了对
VOID
、Variant
和TIMESTAMP_NTZ
数据类型在getColumns()
和getTypeInfo()
API中的支持。 - 驱动程序现在列出类型未知或不受支持的列,并将其映射到 SQL
VARCHAR
在getColumns()
元数据 API 中。 - 添加了在使用 OAuth
AuthMech=11
连接到 Databricks 时对 cloud.databricks.us 和 cloud.databricks.mil 域的支持。 - 升级到 netty-buffer 4.1.119 和 netty-common 4.1.119(以前为 4.1.115)。
此版本解决了以下问题:
- 使用 Java JVMs 版本 11 或更高版本反序列化 Apache Arrow 数据时的兼容性问题。
- 在连接到使用 Arrow 进行结果集序列化的特定 Spark 版本时,遇到了在格里高利历开始之前的日期和时间戳的问题。
有关完整配置信息,请参阅随驱动程序下载包一起安装的 Databricks JDBC 驱动程序指南 。
更新了世系系统表架构
2025 年 5 月 11 日
世系系统表(system.access.column_lineage
和 system.access.table_lineage
)已更新为更好的日志实体信息。
-
entity_metadata
列替换了已被弃用的entity_type
、entity_run_id
和entity_id
列。 - 该
record_id
列是世系记录的新主键。 - 该
event_id
列记录世系事件的标识符,如果这些行由同一事件生成,则可以由多个行共享。 - 该
statement_id
列记录生成世系事件的查询的查询语句 ID。 它是一个可以与system.query.history
表联接的外键。
现在,可以使用 Azure Databricks Clean Room 与多个参与方协作
2025 年 5 月 14 日
Azure Databricks Clean Room 现在支持:
- 最多 10 个协作者用于更复杂的多方数据项目。
- 新的笔记本审批工作流,可增强安全性和符合性,允许指定的运行程序,在执行前需要显式批准
- 受信任合作伙伴的自动批准方案。
- 用于轻松查看和审核的不同视图。
这些更新可实现更安全、可缩放和可审核的协作。
Azure Databricks GitHub 应用添加了工作流范围以支持创作 GitHub Actions
2025 年 5 月 9 日
Azure Databricks 进行了更改,您可能会收到一封请求访问 Azure Databricks GitHub 应用 工作流范围的读取和写入权限 的电子邮件。 此更改使 Azure Databricks GitHub 应用的范围与其他受支持的身份验证方法所需的范围一致,并允许用户使用 Azure Databricks GitHub 应用从 Azure Databricks Git 文件夹提交 GitHub Actions 进行授权。
如果您拥有一个已安装并配置为支持 OAuth 的 Azure Databricks GitHub 应用的 Azure Databricks 帐户,您可能会收到来自 GitHub 标题为“Databricks 正在请求更新权限”的电子邮件中的以下通知。 (这是 Databricks 的合法电子邮件请求。接受新权限,以便通过 Databricks GitHub 应用从 Azure Databricks Git 文件夹提交 GitHub Actions。
自动预配用户 (JIT) GA
2025 年 5 月 9 日
现在可以启用实时(JIT)预配,以便在首次身份验证期间自动创建新用户帐户。 当用户首次使用单一登录(SSO)登录到 Azure Databricks 时,Azure Databricks 会检查用户是否已拥有帐户。 否则,Azure Databricks 会使用标识提供者的详细信息立即预配新的用户帐户。 请参阅“自动预配用户”(JIT)。
现在,新的 SQL 编辑器、笔记本、文件和仪表板中提供了查询代码片段
2025 年 5 月 9 日
查询片段是可以通过自动完成来共享和触发的查询的一部分。 现在,可以通过新 SQL 编辑器中的 “视图” 菜单以及笔记本和文件编辑器创建查询片段。 可以在 SQL 编辑器、笔记本 SQL 单元格、SQL 文件中使用查询代码片段,并在仪表板中使用 SQL 数据集。
请参阅 查询代码片段。
现在可以在 ETL 管道中创建视图
2025 年 5 月 8 日
CREATE VIEW
SQL 命令现已在 ETL 管道中提供。 可以创建数据的动态视图。 请参阅 CREATE VIEW (DLT)。
在 Databricks 笔记本中配置 Python 语法突出显示
2025 年 5 月 8 日
现在可以通过在笔记本的上级路径或主文件夹中放置 pyproject.toml
文件,在笔记本中配置 Python 语法突出显示。 通过pyproject.toml
文件,可以配置ruff
、pylint
、pyright
和flake8
linters,还可以禁用特定于Databricks的规则。 运行 Databricks Runtime 16.4 或更高版本或客户端 3.0 或更高版本的群集支持此配置。
请参阅 配置 Python 语法高亮。
AI Builder:自定义生成式人工智能文本代理的模型专门化处于测试版
2025 年 5 月 7 日
AI Builder 提供了一种简单的无代码方法来生成和优化特定于域的高质量 AI 代理系统,用于常见 AI 用例。 在 Beta 版中,AI Builder 支持基于自定义文本的任务(例如摘要、分类、文本转换和内容生成)的模型专用化。
作业和管道现在共享单个统一视图(公测版)
2025 年 5 月 7 日
现在可以在单个统一列表中查看所有工作流,包括作业、ETL 管道和引入管道。 请参阅 “查看作业和管道”。
为所有现有 Azure Databricks 帐户启用预测优化
2025 年 5 月 7 日
从 2025 年 5 月 7 日开始,默认情况下,Databricks 为所有 现有 Azure Databricks 帐户启用了预测优化。 这将根据你的区域逐步推出,将于 2025 年 7 月 1 日完成。 启用预测性优化后,Azure Databricks 会自动运行 Unity Catalog 托管表的维护操作。
外部位置的文件事件可改进自动加载程序中的文件通知和作业中的文件到达触发器(公共预览版)
2025 年 5 月 5 日
现在可以在 Unity 目录中定义的外部位置上启用文件事件。 这使得作业中的文件到达触发器和自动加载程序中的文件通知更加具备可扩展性和效率。
该功能处于公开预览阶段。 自动加载器的文件事件支持需要 Azure Databricks 代表进行启用。 若要访问,请联系 Azure Databricks 帐户团队。
有关详细信息,请参阅以下内容:
Mosaic AI 模型服务区域扩展
2025 年 5 月 5 日
马赛克 AI 模型服务现已在以下区域提供:
eastasia
francecentral
germanywestcentral
koreacentral
swedencentral
switzerlandnorth
uaenorth
westus3
作业系统表(公共预览版)默认处于启用状态
2025 年 5 月 1 日
架构 system.lakeflow
(包含与作业相关的系统表)现在在所有 Unity 目录工作区中默认启用。