2022 年 7 月
这些功能和 Azure Databricks 平台的改进已于 2022 年 7 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Runtime 11.1 和 11.1 ML 已正式发布
2022 年 7 月 27 日
Databricks Runtime 11.1 和 Databricks Runtime 11.1 ML 现已正式发布。
请参阅 Databricks Runtime 11.1 (EoS) 和用于机器学习的 Databricks Runtime 11.1 (EoS)。
Photon 已正式发布
2022 年 7 月 27 日
Photon 现已正式发布(从 Databricks Runtime 11.1 开始)。
Photon 是 Azure Databricks 本机向量化查询引擎,直接与 Apache Spark API 兼容,因此可以处理现有的代码。 Photon 是使用 C++ 开发的,它利用了新式硬件,并使用最新的向量化查询处理技术基于 CPU 中的数据级和指令级并行度产生价值,可以增强实际数据和应用程序的性能 - 所有这些功能在数据湖上都以本机方式实现。
Photon 是能够更快运行现有 SQL 和数据帧 API 调用,并降低每个工作负载总成本的高性能运行时的一部分。 默认在 Databricks SQL 仓库中使用 Photon。
请参阅 Databricks Runtime 11.1 发行说明中的 Photon 已正式发布。
笔记本完成时的通知
2022 年 7 月 27 日 - 8 月 15 日
如果在笔记本运行时离开笔记本,则在笔记本完成时将显示通知。 可以在浏览器中启用或禁用这些通知。
增加 Azure Databricks 工作区中作业数量的限制
2022 年 7 月 19-22 日
在 Azure Databricks 管理控制台中启用“增加作业数”切换时,可以在 Azure Databricks 工作区中创建多达 10,000 个作业。 在作业用户界面中查看作业时,此功能还支持对作业列表进行分页,从而减少加载作业列表视图所需的时间。
如果启用增加作业限制,Databricks 建议使用作业 API 2.1。 返回大量作业时,使用作业 2.0 API 会导致性能下降。
运行 Databricks SQL 查询时,现在将记录详细审核日志
2022 年 7 月 14 日
现在可将审核日志配置为在 Databricks SQL 查询运行时记录。 为此,请使用工作区配置设置详细的审核日志。 请参阅启用详细审核日志。 有一条关于提交查询的审核日志记录和另一条关于查询完成(包括取消)的记录。
如果为工作区启用了详细审核日志以记录笔记本命令,则详细审核日志现在会自动包含工作区的 Databricks SQL 查询。
Databricks JDBC 驱动程序 2.6.27
2022 年 7 月 11 日
已发布 Databricks JDBC 驱动程序版本 2.6.27(下载)。 此版本升级了第三方库,例如 Apache Arrow 7.0.0。 此版本还包括对许可证文件和配置安装指南的更新。
此外,此版本还解决了以下问题:
- 在某些情况下,当 HTTP 连接长时间处于活动状态时,连接器会返回
NoHttpResponseException
错误。 - 在某些情况下,连接器 JAR 文件中未改装的
Log4j
类会与最终用户环境中部署的文件冲突。 未改装的类已从连接器 JAR 文件中删除。 - 使用 DataSource 类时,子协议名称不正确。
Databricks ODBC 驱动程序 2.6.25
2022 年 7 月 11 日
已发布 Databricks ODBC 驱动程序版本 2.6.25(下载)。 此版本增加了对配置连接器的支持,以缓解散乱的结果文件下载操作。
Databricks Runtime 11.1(beta 版本)
2022 年 7 月 8 日
Databricks Runtime 11.1、11.1 Photon 和 11.1 ML 现已作为 beta 版本提供。
有关信息,请参阅 Databricks Runtime 11.1 (EoS) 和用于机器学习的 Databricks Runtime 11.1 (EoS) 中的完整发行说明。
改进了笔记本可视化效果
2022 年 7 月 5 日至 11 日:版本 3.75
对笔记本中图表和可视化效果的内置支持现在支持多个图表和数据配置文件。 在笔记本中运行 SQL 单元格或在数据帧上使用 display
函数时,笔记本会显示选项卡式结果,类似于 Databricks SQL 中显示的结果。 现在可以在笔记本中创建与在 Databricks SQL 中创建的相同的丰富可视化效果。 有关详细信息,请参阅 Databricks 笔记本中的可视化效果。