2021 年 11 月

这些功能和 Azure Databricks 平台的改进已于 2021 年 11 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

为特征表创建标记(公共预览版)

2021 年 11 月 30 日 - 12 月 6 日:版本 3.60

现在,你可以为特征表创建标记并使用标记进行搜索。

Python 单元格中 SQL 命令的语法突出显示和自动完成

2021 年 11 月 30 日 - 12 月 6 日:版本 3.60

当你在 Python 命令(例如 spark.sql 命令)中使用 SQL 时,可以使用语法突出显示和 SQL 自动完成

从实验页面重命名、删除和更改 MLflow 实验的权限(公共预览版)

2021 年 11 月 30 日 - 12 月 6 日:版本 3.60

现在可以从试验页面重命名、删除和更改 MLflow 试验的权限。 有关详细信息,请参阅管理试验

笔记本中的新数据配置文件:数据的表格和图形摘要(公共预览版)

2021 年 11 月 30 日 - 12 月 6 日:版本 3.60

在 Scala 或 Python 中使用 display(<dataframe>) 或运行 SQL 查询时,结果窗格将显示一个新选项卡 Data Profile,其中显示数据帧或表的交互式表格和图形摘要。 有关详细信息,请参阅创建新的数据配置文件创建新的可视化效果

你还可以使用 Databricks 实用程序命令 dbutils.data.summarize

改进了在运行增量实时表管道时架构演变时的日志记录

2021 年 11 月 30 日 - 12 月 6 日:版本 3.60

如果增量实时表管道使用自动加载程序读取数据,并且输入数据的架构在更新运行时发生更改,则更新将记录为 CANCELED 并自动重试。 使用状态 SCHEMA_CHANGE 记录新更新。 以前,当输入架构发生更改时,即使增量实时表自动重试更新,也会将更新记录为 FAILED

重大更改:在用于群集创建的环境变量值中删除 $ 中的转义和引号

2021 年 11 月 15 日 - 30 日:版本 3.59

注意

此更改将于 2021 年 12 月 3 日 01:00-03:00 UTC 恢复

创建群集时,可以指定环境变量。 在此更改之前,要在环境变量值中使用 $,你需要对其进行转义或用引号将其括起来。 进行此更改后,不再需要转义字符或引号。 此更改引入了中断行为,因为环境变量值中的转义或带有引号的 $ 字符现在不再解释为 $。 例如,现在假设有以下环境变量声明:

WITH_ESCAPING=\\$123
WITH_DOUBLE_QUOTING="$123"
NO_ESCAPING=$123
WITH_SINGLE_QUOTING='$123'
NO_QUOTING=$123

从笔记本打印这些值,例如:

%sh
echo ${WITH_ESCAPING}
echo ${WITH_DOUBLE_QUOTING}
echo ${NO_ESCAPING}
echo ${WITH_SINGLE_QUOTING}
echo ${NO_QUOTING}

返回以下值:

\\$123
"$123"
$123
driver23
$123

注意

此更改仅适用于环境变量。 这不适用于机密。

存储库中文件的易用性改进

2021 年 11 月 15 日 - 30 日:版本 3.59

文件文本编辑器中添加了新功能:

  • 创建标记时会自动生成关闭标签。
  • 代码折叠现已可用。

此外,对于文本文件,除了存储库根目录的路径外,你现在还可以复制完整的存储库路径。 有关详细信息,请参阅以编程方式与工作区文件交互

对旧版 SQL 小组件的支持于 2022 年 1 月 15 日结束

2021 年 11 月 15 日

Databricks 将于 2022 年 1 月 15 日结束对旧版 SQL 小组件的支持。 在此日期之后,笔记本将不再在 UI 中呈现旧版 SQL 小部件,但通过 传递的参数%run仍然适用于旧版 SQL 小组件 API。 要确保你的小组件继续在 UI 中呈现,请更新代码以使用 SQL 小组件

Azure Databricks 作业的用户界面改进

2021 年 11 月 15 日 - 30 日:版本 3.59

此版本包括对作业 UI 进行的以下增强功能:

  • 现在,你可以克隆单个任务,从而更轻松地将新任务添加到现有作业。 请参阅重命名、克隆或删除作业
  • 查看作业运行详细信息或任务运行详细信息时,作业 ID 和作业运行 ID 现在是链接,使你可以轻松地在作业详细信息视图之间切换。 请参阅查看作业运行详细信息
  • 现在,你可以在查看或编辑任务时将路径复制到任务,例如笔记本路径。 请参阅复制任务路径

用于 Power BI 的 Delta Sharing 连接器

2021 年 11 月 15 日

我们已发布 Power BI Delta Sharing 连接器,允许用户通过 Delta Sharing 开放协议发现、分析和可视化共享数据集。 该协议利用 REST 和云存储实现跨产品和平台的数据集安全交换。 有关详细信息,请参阅 Power BI Delta Sharing 连接器

Databricks ODBC 驱动程序 2.6.19

2021 年 11 月 12 日

已发布 Databricks ODBC 驱动程序版本 2.6.19(下载)。 新驱动程序将 Databricks 返回的 SQL 错误条件 (SQLState) 传播到客户端。

Databricks Runtime 10.1 和 10.1 ML 现已正式发布;10.1 Photon 目前为公共预览版

2021 年 11 月 10 日

Databricks Runtime 10.1 和 10.1 ML 现已正式发布。 10.1 Photon 处于公共预览版。

请参阅 Databricks Runtime 10.1 (EoS)用于 ML 的 Databricks Runtime 10.1 (EoS)

Databricks Runtime 10.1(beta 版本)

2021 年 11 月 4 日

Databricks Runtime 10.1、10.1 Photon 和 10.1 ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 10.1 (EoS)用于 ML 的 Databricks Runtime 10.1 (EoS) 中的完整发行说明。

重命名并删除 MLflow 试验(公共预览版)

2021 年 11月 2 日至 8 日:版本 3.58

现在可以从试验页面重命名、删除和更改 MLflow 试验的权限。

现在可以通过克隆现有的策略来创建群集策略

2021 年 11月 2 日至 8 日:版本 3.58

现在已支持通过克隆现有的策略来创建新的群集策略。 请参阅创建和管理计算策略

更轻松地更改笔记本和笔记本单元格的默认语言

2021 年 11月 2 日至 8 日:版本 3.58

笔记本顶部及其各 cell 中会出现新的语言按钮。 可使用此按钮选择笔记本的默认语言,并选择特定单元格的语言。 有关详细信息,请参阅设置默认语言混合语言

从 Web 终端使用 Repos 中的文件

2021 年 11月 2 日至 8 日:版本 3.58

现可使用 /Workspace 路径从 Web 终端访问 Repos 中的文件