2023 年 4 月
这些功能和 Azure Databricks 平台的改进已于 2023 年 4 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks 市场(公共预览版):数据、分析和 AI 的开放市场
2023 年 4 月 27 日
现在,可以使用 Databricks 市场来发现、访问数百种数据产品并将其部署到 AI 和分析工作流中。 Databricks 市场利用 Delta Sharing 在任何云或区域中提供免费和商用数据产品的安全无缝共享。
配置 Python 格式化程序
2023 年 4 月 25 日
对于 Databricks Repos 中的文件和笔记本,现在可以根据 Black 规范配置 Python 格式化程序。 请参阅 Python Black 格式化程序库。
工作区文件已正式发布
2023 年 4 月 24 日
现在可以在 Azure Databricks 中使用非笔记本文件。 工作区文件默认已在所有工作区中启用。 请参阅什么是工作区文件?。
群集范围的 init 脚本现在可以存储在工作区文件中
2023 年 4 月 24 日
现在,无论计算使用的 Databricks Runtime 版本如何,都可以将群集范围的 init 脚本存储在工作区文件中。 Databricks 建议将所有群集范围的 init 脚本存储在工作区文件中。 请参阅在工作区文件中存储 init 脚本。
使用服务主体创建 Azure 密钥保管库支持的机密范围
2023 年 4 月 19 日
现在,可以使用服务主体创建 Azure 密钥保管库支持的机密范围。 请参阅创建 Azure 密钥保管库支持的机密范围
新的 Delta Sharing 特权允许委托共享、接收者和提供者管理任务
2023 年 4 月 18 日
使用新的特权 USE SHARE
、USE RECIPIENT
、USE PROVIDER
和 SET SHARE PERMISSION
可以委派共享、接收者和提供者管理任务,否则这些任务需要元存储管理员角色或对象所有权。 这些权限使你能够限制具有强大的元存储管理员角色的用户数。 请参阅仅适用于 Delta Sharing 或 Databricks Marketplace 的特权类型。
Databricks Connect V2(公共预览版)
2023 年 4 月 17 日
从 Databricks Runtime 13.0 开始,Databricks Connect 构建在 Spark Connect 基础之上,使开发人员能够利用 Databricks 的强大功能和所选的 IDE 在任何 Azure Databricks 工作区中以交互方式开发和调试代码。
新的群集指标 UI
2023 年 4 月 14 日
使用 Databricks Runtime 13.0 及更高版本的群集可以访问新的群集指标 UI。 作为群集指标监视工具,此功能取代了 Ganglia。 新的群集指标 UI 包括群集性能的实时视图和自定义的每分钟历史视图。 有关详细信息,请参阅查看计算指标。
Databricks Runtime 13.0 已推出正式版
2023 年 4 月 14 日
Databricks Runtime 13.0 和 Databricks Runtime 13.0 ML 现已推出正式版。
请参阅 Databricks Runtime 13.0 (EoS) 和用于机器学习的 Databricks Runtime 13.0 (EoS)。
通过 IP 地址范围控制对帐户控制台的访问(公共预览版)
2023 年 4 月 17 日
Azure Databricks 帐户控制台现在支持 IP 访问列表,以通过 IP 地址范围控制对帐户控制台的访问,类似于对工作区 IP 访问列表的现有支持。 使用帐户控制台 UI 或 REST API 来管理访问。 请参阅配置帐户控制台的 IP 访问列表。
当 Azure Databricks 阻止请求时,Azure Databricks 会在包含服务 accounts
和事件 accountIpAclsValidationFailed
的帐户级审核日志中生成一个新事件。 请参阅诊断日志参考。
Databricks Terraform 提供程序已更新到版本 1.14.3
2023 年 4 月 14 日
版本 1.14.3 添加了 databricks_sql_alert
的导出程序支持,添加了 databricks_pipeline
中的通知支持,等等。 有关详细信息,请参阅版本 1.14.3 的更改日志。
工作区的已更改管理员设置的诊断日志条目
2023 年 4 月 14 日
现在,工作区诊断日志会针对某些管理设置的更改提供审核日志事件。 在 accounts
服务中,新的事件操作名称为 deleteSetting
和 setSetting
。 请参阅诊断日志参考。 并非所有设置都会生成可审核事件。
对于托管磁盘的初始客户管理密钥,Azure Databricks 现在会终止计算资源
2023 年 4 月 10 日
以前,在初次添加托管磁盘的客户管理的密钥后会重启所有正在运行的计算资源(群集、池)。 计算资源现在会终止而不重启,这意味着必须在更新完成后手动启动它们。 在添加密钥时,Azure Databricks 会阻止群集运行或启动。 请规划停机时间,并在添加密钥之前终止所有计算资源以防止自动终止,这可能会导致某些类型的工作负载出现问题。
对于已经为托管磁盘提供了客户管理的密钥的工作区,如果你轮换密钥,则无需终止计算资源。
Databricks Terraform 提供程序已更新到版本 1.14.1 和 1.14.2
2023 年 4 月 4-6 日
版本 1.14.1 排除了 SCIM API 列出调用中的角色以减少 Databricks SCIM 服务上的负载,此外还有其他改进。 版本 1.14.2 向 databricks_job
资源添加了一个 SQL 文件任务,修复了多个 bug,此外还有其他改进。 有关详细信息,请参阅版本 1.14.1 和 1.14.2 的更改日志。
组合的 SQL 用户设置和常规用户设置
2023 年 4 月 3-5 日
SQL 用户设置已与常规工作区用户设置相结合,为工作区用户创建统一的体验。 现在,可从“设置”访问所有 SQL 用户设置:
- “密码”选项卡现在是“帐户和密码”选项卡。
- 具有 SQL 权利的用户可以看到“查询代码片段”选项卡。
已弃用旧笔记本可视化效果
2023 年 4 月 4 日
旧笔记本可视化效果的创建和编辑已弃用,很快就会从产品中删除。 将继续呈现现有的旧式可视化效果。 详细信息将显示在产品的通知中。
从文件上传页创建或修改表支持 JSON 文件上传
2023 年 4 月 3 日
“通过文件上传页创建或修改表”页现在支持 JSON 文件上传。 有关详细信息,请参阅使用文件上传创建或修改表。