2022 年 2 月

  • 项目

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考，这些内容可能不适用于 Azure 中国云。

这些功能和 Azure Databricks 平台改进已于 2022 年 2 月发布。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

更轻松地计划增量实时表管道（公共预览版）

2022 年 2 月 28 日 - 3 月 2 日

现在，可以直接从增量实时表 UI 为触发的管道创建计划的 Azure Databricks 作业。 以前，需要从作业 UI 创建该作业及其运行计划。

轻松浏览增量实时表管道更新的历史记录（公共预览版）

2022 年 2 月 28 日 - 3 月 2 日

现在，可以使用增量实时表 UI 中的“更新历史记录”下拉菜单查看管道更新历史记录，包括更新状态、详细信息和事件。

确保作业 API“立即运行”请求的作业幂等性

2022 年 2 月 22 日 - 28 日：版本 3.66

现在，可将可选的 idempotency_token 参数与作业 API“立即运行”操作一起使用，以确保只启动作业的一个运行。 以前，为同一个作业提交多个 Run now 请求可能会启动多个运行。

若要详细了解作业幂等性，请参阅如何确保作业的幂等性。

作业服务稳定性和可扩展性改进

2022 年 2 月 22 日 - 28 日：版本 3.66

以下更改提高了作业服务的稳定性和可伸缩性：

  • 每个新作业都分配有一个较长的、唯一的、数字的、非连续的标识符。 使用作业 API 并依赖于固定标识符长度或连续的或单调递增标识符的客户端必须修改为接受较长、非连续和无序的标识符。 int64 的标识符类型保持不变，并为使用 IEEE 754 64 位浮点数的客户端（例如 JavaScript 客户端）保留兼容性。
  • number_in_job 字段的值（包含在对某些作业 API 请求的响应中）现在设置为与 run_id 相同的值。

比较不同试验中的 MLflow 运行

2022 年 2 月 22 日 - 28 日：版本 3.66

现在可以显示和比较多个试验中的运行。 请参阅比较多个试验中的运行。

对 MLflow 比较运行显示的改进

2022 年 2 月 22 日 - 28 日：版本 3.66

改进了“比较运行”显示画面。 可视化效果现在显示在页面顶部。 现在可以滚动浏览或折叠显示运行信息、参数和指标的表。 现在，还可以通过隐藏在不同运行中没有差异的参数和指标来简化显示画面。

有关“比较运行”页的信息，请参阅比较运行。 有关如何比较运行的说明，请参阅比较运行。

提高了对群集 UI 中作业运行所有者的可见性

2022 年 2 月 22 日 - 28 日：版本 3.66

“计算”UI 中的“作业群集”选项卡已更新，将显示“作业运行身份”用户而不是“作业所有者”。 此项更新基于对作业权限模型所做的更改，改进了作业运行所有者的可见性。 请参阅查看计算。

在 AutoML 中删除数据集列

2022 年 2 月 22 日 - 28 日：版本 3.66

在 Databricks Runtime 10.3 ML 和更高版本中，对于分类和回归问题，现在可以在数据集中指定不应由 AutoML 用来进行训练的列。 请参阅分类和回归参数。

“试验”页现已正式发布

2022 年 2 月 22 日 - 28 日：版本 3.66

试验页现已推出正式版。

支持增量实时表 Python 接口中的临时表

2022 年 2 月 22 日 - 28 日：版本 3.66

现在，使用 Delta Live Tables Python 接口声明表时，可以使用 temporary 属性。 定义临时表指示 Delta Live Tables 不保留表的元数据，并阻止在配置 target 设置的情况下发布表。 有关定义 Python 表的信息，请参阅 Python 规范。

增量实时表的用户界面改进（公共预览版）

2022 年 2 月 22 日 - 28 日：版本 3.66

此版本包含对增量实时表 UI 的以下增强功能：

  • 现在，可以在更加用户友好的增量实时表 UI 中的“设置”对话框内编辑管道设置。 以前，只能通过编辑 JSON 规范来更改设置。 若要选择 UI 或 JSON 视图来编辑管道设置，请单击“设置”对话框中的“UI”或“JSON”按钮。
  • “管道详细信息”页上的事件日志现在会突出显示错误记录，让你可以更轻松地识别和解决管道中的错误。
  • 改进了管道运行进度的显示画面。 现在，当你查看管道图形时，处于 RUNNING 状态的节点具有动画切入边和动画上边框。

对 Databricks Runtime 9.0 系列的支持已终止

2022 年 2 月 17 日

对 Databricks Runtime 9.0 和用于机器学习的 Databricks Runtime 9.0 的支持已于 2 月 17 日结束。 请参阅 Databricks Runtime 支持生命周期。

数据科学与工程登陆页面更新

2022 年 2 月 10 日

我们更新了数据科学与工程登陆页面的外观与风格。 更改了某些链接，但未做出其他重大功能更改。

Databricks Repos 现在支持用于 Git 集成的 AWS CodeCommit

2022 年 2 月 7 日 - 2 月 14 日：版本 3.65

现在可以将 AWS CodeCommit 存储库用于 Databricks Repos。

提高了增量实时表管道的可视化效果（公共预览版）

2022 年 2 月 7 日 - 2 月 14 日：版本 3.65

管道 DAG 可视化经过重新设计，以提高可用性和导航能力。 这些改进包括从左到右（而不是从上到下）显示图表，从而为管道执行提供了更直观的视图。

更新了 Markdown 解析器

2022 年 2 月 7 日 - 2 月 14 日：版本 3.65

Azure Databricks 笔记本中使用的 Markdown 分析器已更新。 之前的更新中所述的一些问题已修复。 具体而言，不再需要在井号标签与标题文本之间放置空格，并且带有空格的链接现在可以正确呈现。

增量实时表现在支持变更数据捕获处理（公共预览版）

2022 年 2 月 7 日 - 2 月 14 日：版本 3.65

现在可以在增量实时表管道中实现变更数据捕获 (CDC) 处理。 SQL 和 Python 接口支持 CDC 处理。 请参阅在 Delta Live Tables 中使用 APPLY CHANGES API 简化变更数据捕获。

现在可以在多个区域使用更多元存储

2022 年 2 月 8 日

以下元存储现已在以下区域提供：

brazilsouth：

  • consolidated-brazilsouth-prod-metastore.mysql.database.azure.com

centralus：

  • consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com

eastus：

  • consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-eastus-prod-metastore-addl-3.mysql.database.azure.com
  • consolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com

eastus2

  • consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com

francecentral

  • consolidated-francecentral-prod-metastore.mysql.database.azure.com

northeurope

  • consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com

southeastasia

  • consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com

switzerlandnorth

  • consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com

switzerlandwest

  • consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com

uksouth

  • consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com

westeurope

  • consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com

你应该始终在用户定义的路由 (UDR) 中包含你使用的每个区域的所有相关主机名。 请参阅用户定义的 Azure Databricks 路由设置。

选择要用于 AutoML 的算法框架

2022 年 2 月 7 日 - 2 月 14 日：版本 3.65

在 Databricks Runtime 10.3 ML 及更高版本中，可以指定 AutoML 在开发模型时不应考虑的算法框架，例如 scikit-learn。 默认情况下，AutoML 将 scikit-learn、XGBoost 和 LightGBM 中的模型用于分类和回归问题，并将 Prophet 和Auto-ARIMA 的模型用于预测问题。 请参阅分类和回归参数。

Databricks 托管的 MLflow 模型现在可以查找联机存储中的特征

2022 年 2 月 3 日

用特征存储元数据打包的模型可以在服务时间从在线商店自动查找特征值。

Databricks Runtime 10.3 和 10.3 ML 现已正式发布；10.3 Photon 目前为公共预览版

2022 年 2 月 2 日

Databricks Runtime 10.3 和 Databricks Runtime 10.3 ML 现已正式发布。 Databricks Runtime 10.3 Photon 目前为公共预览版。