2023 年 7 月
这些功能和 Azure Databricks 平台的改进已于 2023 年 7 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。
工作区管理员现在可以创建帐户组
2023 年 7 月 31 日
工作区管理员现在可以从其标识联合工作区创建帐户组。 以前,工作区管理员只能创建工作区本地组。 可以向帐户组授予对 Unity Catalog 元存储中数据以及标识联合工作区的访问权限。 Databricks 建议使用帐户组而不是工作区本地组来利用 Unity Catalog 和集中位置来管理标识。
请参阅使用工作区管理员设置页管理帐户组。
组管理员角色目前处于公共预览版阶段
2023 年 7 月 31 日
现在,可以向 Databricks 用户、服务主体和组授予管理组的权限。 组管理员可以管理组成员身份。 他们还可以为其他用户分配组管理员角色。 帐户管理员对帐户上的所有组具有组管理员角色。 工作区管理员对自己创建的帐户组具有组管理员角色。
请参阅谁可以管理帐户组?。
Databricks CLI 已更新到版本 0.202.0(公共预览版)
2023 年 7 月 27 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.202.0。 如需更多详细信息,请参阅版本 0.202.0 的更改日志。
Databricks SDK for Python 已更新至版本 0.3.0(Beta 版本)
2023 年 7 月 27 日
Databricks SDK for Python 版本 0.3.0 引入了对“帐户网络策略”服务的支持;处理嵌套查询参数;添加、删除和创建各种方法、字段、数据类和服务等。 如需更多详细信息,请参阅版本 0.3.0 的更改日志。
Databricks SDK for Go 已更新到版本 0.14.1(Beta 版本)
2023 年 7 月 27 日
Databricks SDK for Go 版本 0.14.1 可妥善处理嵌套查询参数,修复了 QueryHistory 列表中存在的筛选问题。 如需更多详细信息,请参阅版本 0.14.1 的更改日志。
Databricks SDK for Go 已更新到版本 0.14.0(Beta 版本)
2023 年 7 月 26 日
Databricks SDK for Go 版本 0.14.0 添加了对“帐户网络策略”服务的支持,并能添加、删除和更改了多种方法、字段和类型。 如需更多详细信息,请参阅版本 0.14.0 的更改日志。
在 Azure Databricks 作业中将另一个作业作为任务运行
2023 年 7 月 25 日
可以使用全新的 Run Job
任务在 Azure Databricks 作业中将另一个作业添加为任务,允许将大型处理工作流分解成多个组件作业,或创建可在多个作业中重复使用的组件。 有关在作业 UI 中使用任务的信息,请参阅创建和运行 Azure Databricks 作业。 有关利用作业 REST API 使用任务的信息,请参阅 REST API 2.1 参考中的“作业”或作业 API 2.0 参考。
工作区网络更新获得 UI 支持(正式发布)
2023 年 7 月 24 日
以前,可以通过命令行或 Azure 门户使用 ARM 模板来启用安全群集连接线或启用 Azure 专用链接。
现在,还可以不使用模板,直接在 Azure Databricks 工作区实例上使用 Azure 门户 UI 进行网络更新。 两种类型的网络更新现均已正式发布。
经典键盘快捷方式模式
2023 年 7 月 21 日
新的设置允许你使用新编辑器中的功能(例如,输入时自动补全、语法突出显示、代码格式设置等),同时保留以前编辑器中熟悉的相同键盘快捷方式。 若要访问此设置,打开编辑器配置并将笔记本编辑器快捷方式模式切换到“经典(代码镜像)”。
Lakehouse Federation 允许你对外部数据库提供程序运行查询(公共预览版)
2023 年 7 月 21 日
Lakehouse Federation 是面向 Azure Databricks 的查询联合平台,充分利用 Unity Catalog 让用户和系统无需将所有数据迁移至统一系统即可对多个外部数据源运行查询。
Lakehouse Federation 适用于如下用例:
- 特别报告。
- 概念证明工作。
- 新 ETL 管道或报表的探索阶段。
- 在增量迁移期间支持工作负载。
在这些方案中,查询联合可以更快地获得见解,因为可以就地查询数据并避免复杂且耗时的 ETL 处理。 此外,还可以获得 Unity Catalog 接口和数据治理的优势,包括精细访问控制、数据世系和搜索。
请参阅“什么是 Lakehouse Federation?”。
Repos 已启用移动到回收站
2023 年 7 月 19 日
现在,删除存储库的方式与删除其他工作区资产相同。 在“存储库”列表中,右键单击存储库名称并选择“移动到回收站”。 30 天后,将会自动永久删除“回收站”文件夹。
请参阅删除对象。
为运行缓慢或停滞的作业创建警报
2023 年 7 月 18 日
现在,可以为 Azure Databricks 作业或作业任务配置预期持续时间,并在有作业或任务超出预期持续时间时添加通知。 此功能让你无需取消运行即可获取运行缓慢的作业的警报。 请参阅为作业配置预期完成时间或超时,了解如何在 Azure Databricks 作业 UI 中配置预期持续时间。 请参阅 REST API 参考中的“作业”,了解如何利用作业 2.1 API 配置预期持续时间。
Databricks SDK for Go 已更新到版本 0.13.0(Beta 版本)
2023 年 7 月 18 日
Databricks SDK for Go 版本 0.13.0 添加了对 Azure 托管标识身份验证的支持,以执行帐户级别操作、添加、更改和移除多种方法和字段等。 如需更多详细信息,请参阅版本 0.13.0 的更改日志。
Databricks SDK for Python 已更新至版本 0.2.0(Beta 版本)
2023 年 7 月 18 日
Databricks SDK for Python 版本 0.2.0 添加了本地实现 dbutils.widgets
、添加、更改和删除多种方法、字段和数据类等。 如需更多详细信息,请参阅版本 0.2.0 的更改日志。
Databricks CLI 已更新到版本 0.201.0(公共预览版)
2023 年 7 月 18 日
Databricks 命令行接口 (Databricks CLI) 版本 0.201.0 改进了 auth login
体验,支持用于引用 Azure Databricks 身份验证配置文件的选项卡补全、对多个命令组和命令等进行添加、更改和删除。 有关详细信息,请参阅版本 0.201.0 的更改日志。
Databricks SDK for Python 已更新至版本 0.2.1(Beta 版本)
2023 年 7 月 18 日
Databricks SDK for Python 版本 0.2.1 支持更早版本的 urllib
。 有关详细信息,请参阅版本 0.2.1 的更改日志。
Databricks 助手目前处于公共预览版阶段
2023 年 7 月 18 日
Databricks 助手充当基于 AI 的助手对编程程序,使你在创建笔记本、查询和文件时更高效。 它可以帮助你通过生成、优化、完成、解释和修复代码和查询来快速回答问题。
从帐户停用用户和服务主体
2023 年 7 月 13 日
现在可以从 Azure Databricks 帐户停用用户和服务主体。 停用的用户无法登录到 Azure Databricks 帐户或标识联合工作区。 但是,用户的所有权限和工作区对象保持不变。 有关详细信息,请参阅停用 Azure Databricks 帐户中的用户和停用 Azure Databricks 帐户中的服务主体。
帐户级 SCIM 预配现在在标识提供者中停用用户时停用用户
2023 年 7 月 13 日
帐户级 SCIM 预配现在可在标识提供者中停用用户时停用用户。 以前,在标识提供者中停用用户时,帐户级 SCIM 预配会将其从 Azure Databricks 帐户中删除。 有关详细信息,请参阅从 Microsoft Entra ID 同步用户和组和停用 Azure Databricks 帐户中的用户。
回收站目录管理员访问权限
2023 年 7 月 13 日
工作区管理员现在可以访问其他用户的回收站目录。
现在始终启用 MIME 类型探查和 XSS 攻击页面呈现的防护
2023 年 7 月 12 日
Azure Databricks 通过添加适当的 HTTP 标头,降低了 MIME 类型探查和 XSS 攻击页面呈现的风险。 这些功能默认已启用,以前可以禁用。 为了提高安全性,Azure Databricks 现在始终启用这两项功能,并且不再有工作区管理员设置来禁用它们。 对于以前禁用了其中一项或两项功能的工作区,这两项功能现在都已启用。
Unity Catalog 卷以公共预览版提供
2023 年 7 月 12 日
现在可以使用 Unity Catalog 中的卷来管理对 Databricks Runtime 13.2 及更高版本上云对象存储位置的访问。 卷提供用于访问、存储、管理和组织文件的功能。 请参阅什么是 Unity Catalog 卷?。
简化从工作区提交产品反馈的体验
2023 年 7 月 11 日
现在可以更轻松地从工作区发送产品反馈。 可以提交反馈并附加屏幕截图,步骤更少,无需离开工作区 UI。 有关详细信息,请参阅产品反馈。
Visual Studio Code 教程的 Databricks 扩展已更新至版本 1.1.0
2023 年 7 月 10 日
适用于 Visual Studio Code 的 Databricks 扩展版本 1.1.0 默认启用 Databricks Connect 集成,添加了面向 Jupyter 笔记本的多项实验性功能等。 有关详细信息,请参阅版本 1.1.0 的更改日志。
函数现在显示在目录资源管理器(公共预览版)中
2023 年 7 月 10 日
SQL 和 Python 用户定义的函数现在在目录资源管理器中可见。 可以使用此新 UI 查看函数详细信息和管理权限。
Databricks Terraform 提供程序已更新到版本 1.21.0
2023 年 7 月 7 日
Databricks Terraform 提供程序版本 1.21.0 添加了对仪表板中的订阅和针对 databricks_job
中的 SQL 任务发送警报的支持,定义了用于定义工作区和帐户级别数据源的通用 Azure Databricks 数据实用工具。 有关详细信息,请参阅版本 1.21.0 的更改日志。
和 List all jobs
API 请求的最大偏移量List job runs
现在受到限制
2023 年 7 月 6 日
可以在 作业 API 中的 List all jobs
和 List job runs
请求中指定的最大偏移量现在受到限制。 若要在使用这些请求时避免此限制,请使用不具有此限制的基于令牌的分页。 请参阅 REST API 参考中的 GET /api/2.1/jobs/list 和 GET /api/2.1/jobs/runs/list。
Databricks Runtime 13.2 已推出正式版
2023 年 7 月 6 日
Databricks Runtime 13.2 和 Databricks Runtime 13.2 ML 现已推出正式版。
请参阅 Databricks Runtime 13.2 (EoS) 和用于机器学习的 Databricks Runtime 13.2 (EoS)。
Delta Sharing 和 Databricks Marketplace 支持视图共享(公共预览版)
2023 年 7 月 6 日
现在可以在 Delta Sharing 和 Databricks Marketplace 中共享视图。 请参阅向共享添加视图。
DBFS 上的初始化脚本已于 2023 年 9 月 1 日终止生命周期
2023 年 7 月 5 日
2023 年 9 月 1 日,DBFS 上对初始化脚本的支持将达到生命周期结束,并且该功能将不再正常运行。 将初始化脚本存储在工作区文件中,以确保它们在 2023 年 9 月 1 日之后继续运行。