2022 年 3 月
这些功能和 Azure Databricks 平台改进已于 2022 年 3 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
使用 Databricks 增强的自动缩放提高 Delta Live Tables 管道的性能并降低成本
2022 年 3 月 31 日
Databricks 增强型自动缩放通过添加流式处理工作负载优化和改进对批处理工作负载的支持,改进了现有群集自动缩放功能。 增强的自动缩放改进可提高群集利用率、降低资源使用率和成本。 请参阅使用增强型自动缩放来优化增量实时表管道的群集利用率。
默认情况下在新工作区中启用 Files in Repos
2022 年 3 月 30 日
现在,新创建的工作区中默认启用 Files in Repos 功能。
Databricks Feature Store 已正式发布
2022 年 3 月 22 日
Databricks Feature Store 已正式发布。 Databricks Feature Store 能够在组织内实现功能共享和发现,还可以确保一致的功能计算代码用于模型训练和推理。
从试验页共享试验
2022 年 3 月 21-28 日:版本 3.68
MLflow 试验页上的“权限”按钮已重命名为“共享”。 对话框现在包含指向试验的可共享链接。 请参阅更改试验权限。
RStudio Workbench bug 修补程序
2022 年 3 月 21-28 日:版本 3.68
使用许可证文件时,最新的 RStudio Workbench 取决于 cookie。 这些 cookie 未列入用于代理的允许列表。 现在已修复此问题。
新的工作区语言选项
2022 年 3 月 21 日
工作区现在提供下列语言版本:
- Español
- Português (Brasil)
Databricks Runtime 10.4 LTS 和 10.4 LTS ML 现已正式发布;10.4 Photon 目前为公共预览版
2022 年 3 月 18 日
Databricks Runtime 10.4 LTS 和 Databricks Runtime 10.4 LTS ML 现已正式发布。 Databricks Runtime 10.4 Photon 目前为公共预览版。
注意
LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期。
请参阅 Databricks Runtime 10.4 LTS 和用于机器学习的 Databricks Runtime 10.4 LTS。
Unity 目录在公共预览版中提供
2022 年 3 月 10 日
Unity Catalog(预览版)是 Databricks 湖屋数据和 AI 的细化治理解决方案。
Unity 目录可帮助简化数据的安全性和管理,并提供以下关键功能:
- 定义一次,全面安全:Unity Catalog 提供单一位置来管理跨所有工作区和角色应用的数据访问策略。
- 符合标准的安全模型:Unity Catalog 的安全模型基于标准 ANSI SQL,允许管理员使用熟悉的语法在其现有数据湖中授予目录、数据库(也称为架构)、表和视图级别的权限。
- 内置审核:Unity Catalog 自动捕获记录对数据的访问的用户级审核日志。
可以通过与访问以下工作区的本地数据相同的方式访问 Unity Catalog 中的数据:从数据科学与工程或 Databricks Mosaic AI 群集、SQL 仓库、Databricks SQL 编辑器,或者使用 Unity Catalog REST API 或 Unity Catalog 命令行接口 (CLI) 访问数据。
有关详细信息,请参阅什么是 Unity Catalog?。 若要参与使用 Unity 目录公共预览版,请联系 Azure Databricks 帐户团队。
增量共享在公共预览版中提供
2022 年 3 月 10 日
Delta Sharing(预览版)是由 Databricks 开发的开放协议,用于与其他组织进行安全的数据共享,无论他们使用哪个计算平台。 Databricks 用户也称为“数据提供方”,可以使用增量共享在其组织外部的人员或组(称为“数据接收方”)中共享 Unity 目录元存储中的数据。 数据接收方可以立即开始使用最新版本的共享数据。 有关连接器的完整列表以及如何使用它们的信息,请参阅增量共享项目文档。 如果对 Unity 目录元存储启用了增量共享,则 Unity 目录将运行增量共享服务器。
有关详细信息,请参阅什么是 Delta Sharing?。 若要参与使用增量共享公共预览版,请联系 Azure Databricks 帐户团队。
轮换托管服务的客户托管密钥
2022 年 3 月 10 日
可以添加用于托管服务的客户托管密钥 (CMK)。 Azure Databricks 使用密钥来保护和控制对密钥的访问权限,该密钥用于在笔记本源、机密和 Databricks SQL 查询历史记录的控制平面中加密数据。 此功能目前以公共预览版提供。
现在可以轮换(更新)密钥。
增量动态表管道的增强访问控制
2022 年 3 月 9 日
现在可以更好地控制对增量实时表管道的访问,包括管道的所有者、可以查看或管理管道的人员,以及可以运行管道的人员。 请参阅增量实时表管道 ACL。
Test Delta Live Tables 预览版功能,具有新的 channel
设置(公共预览版)
2022 年 3 月 7 日到 3 月 14 日:版本 3.67
可以使用新的 channel
设置测试 Delta Live Tables 管道中即将发布的功能。 若要使用即将推出的功能测试管道,可以将 channel
设为 preview
。 若要切换回当前版本,可以将 channel
设为 current
。
改进了 Delta Live Tables Python 函数的错误处理(公共预览版)
2022 年 3 月 7 日到 3 月 14 日:版本 3.67
此版本添加了类型检查以验证 Delta Live Tables Python 函数在为表属性设置名称和值时,使用 string
数据类型。 以前,使用非字符串值设置表属性可能会导致管道失败,且不会显示指示根本原因的错误消息。
对 Databricks Repos 的改进
2022 年 3 月 7-14 日:版本 3.67
对 Databricks Repos 进行了以下改进。
- 文本搜索和替换存储库中的文件。 文件编辑器现在提供了“文件”和“编辑”菜单,可提供搜索、替换和全部替换功能。
- 之前,Databricks 建议存储库中笔记本和文件的总数不超过 2000。 该上限已增加到 5000。
群集策略更改的诊断日志记录
2022 年 3 月 7-14 日:版本 3.67
如果启用了审核日志记录,则在创建、更新或删除群集策略时,或在更新群集策略的用户权限时,将记录一个审核事件。 有关详细信息,请参阅诊断日志参考。
Databricks Runtime 10.4(beta 版本)
2022 年 3 月 4 日
Databricks Runtime 10.4、10.4 Photon 和 10.4 ML 现已作为 Beta 版本提供。
有关信息,请参阅 Databricks Runtime 10.4 LTS 和用于机器学习的 Databricks Runtime 10.4 LTS 提供的完整发行说明。