2021 年 11 月
这些功能和 Azure Databricks 平台的改进已于 2021 年 11 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
为特征表创建标记(公共预览版)
2021 年 11 月 30 日 - 12 月 6 日:版本 3.60
现在,你可以为特征表创建标记并使用标记进行搜索。
Python 单元格中 SQL 命令的语法突出显示和自动完成
2021 年 11 月 30 日 - 12 月 6 日:版本 3.60
当你在 Python 命令(例如 spark.sql
命令)中使用 SQL 时,可以使用语法突出显示和 SQL 自动完成。
从实验页面重命名、删除和更改 MLflow 实验的权限(公共预览版)
2021 年 11 月 30 日 - 12 月 6 日:版本 3.60
现在可以从试验页面重命名、删除和更改 MLflow 试验的权限。 有关详细信息,请参阅管理试验。
笔记本中的新数据配置文件:数据的表格和图形摘要(公共预览版)
2021 年 11 月 30 日 - 12 月 6 日:版本 3.60
在 Scala 或 Python 中使用 display(<dataframe>)
或运行 SQL 查询时,结果窗格将显示一个新选项卡 Data Profile
,其中显示数据帧或表的交互式表格和图形摘要。 有关详细信息,请参阅创建新的数据配置文件和创建新的可视化效果。
你还可以使用 Databricks 实用程序命令 dbutils.data.summarize。
改进了在运行增量实时表管道时架构演变时的日志记录
2021 年 11 月 30 日 - 12 月 6 日:版本 3.60
如果增量实时表管道使用自动加载程序读取数据,并且输入数据的架构在更新运行时发生更改,则更新将记录为 CANCELED
并自动重试。 使用状态 SCHEMA_CHANGE
记录新更新。 以前,当输入架构发生更改时,即使增量实时表自动重试更新,也会将更新记录为 FAILED
。
重大更改:在用于群集创建的环境变量值中删除 $ 中的转义和引号
2021 年 11 月 15 日 - 30 日:版本 3.59
注意
此更改将于 2021 年 12 月 3 日 01:00-03:00 UTC 恢复。
创建群集时,可以指定环境变量。 在此更改之前,要在环境变量值中使用 $
,你需要对其进行转义或用引号将其括起来。 进行此更改后,不再需要转义字符或引号。 此更改引入了中断行为,因为环境变量值中的转义或带有引号的 $
字符现在不再解释为 $
。 例如,现在假设有以下环境变量声明:
WITH_ESCAPING=\\$123
WITH_DOUBLE_QUOTING="$123"
NO_ESCAPING=$123
WITH_SINGLE_QUOTING='$123'
NO_QUOTING=$123
从笔记本打印这些值,例如:
%sh
echo ${WITH_ESCAPING}
echo ${WITH_DOUBLE_QUOTING}
echo ${NO_ESCAPING}
echo ${WITH_SINGLE_QUOTING}
echo ${NO_QUOTING}
返回以下值:
\\$123
"$123"
$123
driver23
$123
注意
此更改仅适用于环境变量。 这不适用于机密。
存储库中文件的易用性改进
2021 年 11 月 15 日 - 30 日:版本 3.59
文件文本编辑器中添加了新功能:
- 创建标记时会自动生成关闭标签。
- 代码折叠现已可用。
此外,对于文本文件,除了存储库根目录的路径外,你现在还可以复制完整的存储库路径。 有关详细信息,请参阅以编程方式与工作区文件交互。
对旧版 SQL 小组件的支持于 2022 年 1 月 15 日结束
2021 年 11 月 15 日
Databricks 将于 2022 年 1 月 15 日结束对旧版 SQL 小组件的支持。 在此日期之后,笔记本将不再在 UI 中呈现旧版 SQL 小部件,但通过 传递的参数%run
仍然适用于旧版 SQL 小组件 API。 要确保你的小组件继续在 UI 中呈现,请更新代码以使用 SQL 小组件。
Azure Databricks 作业的用户界面改进
2021 年 11 月 15 日 - 30 日:版本 3.59
此版本包括对作业 UI 进行的以下增强功能:
- 现在,你可以克隆单个任务,从而更轻松地将新任务添加到现有作业。 请参阅重命名、克隆或删除作业。
- 查看作业运行详细信息或任务运行详细信息时,作业 ID 和作业运行 ID 现在是链接,使你可以轻松地在作业详细信息视图之间切换。 请参阅查看作业运行详细信息。
- 现在,你可以在查看或编辑任务时将路径复制到任务,例如笔记本路径。 请参阅复制任务路径。
用于 Power BI 的 Delta Sharing 连接器
2021 年 11 月 15 日
我们已发布 Power BI Delta Sharing 连接器,允许用户通过 Delta Sharing 开放协议发现、分析和可视化共享数据集。 该协议利用 REST 和云存储实现跨产品和平台的数据集安全交换。 有关详细信息,请参阅 Power BI Delta Sharing 连接器。
Databricks ODBC 驱动程序 2.6.19
2021 年 11 月 12 日
已发布 Databricks ODBC 驱动程序版本 2.6.19(下载)。 新驱动程序将 Databricks 返回的 SQL 错误条件 (SQLState) 传播到客户端。
Databricks Runtime 10.1 和 10.1 ML 现已正式发布;10.1 Photon 目前为公共预览版
2021 年 11 月 10 日
Databricks Runtime 10.1 和 10.1 ML 现已正式发布。 10.1 Photon 处于公共预览版。
请参阅 Databricks Runtime 10.1 (EoS) 和用于 ML 的 Databricks Runtime 10.1 (EoS)。
Databricks Runtime 10.1(beta 版本)
2021 年 11 月 4 日
Databricks Runtime 10.1、10.1 Photon 和 10.1 ML 现已作为 Beta 版本提供。
请参阅 Databricks Runtime 10.1 (EoS) 和用于 ML 的 Databricks Runtime 10.1 (EoS) 中的完整发行说明。
重命名并删除 MLflow 试验(公共预览版)
2021 年 11月 2 日至 8 日:版本 3.58
现在可以从试验页面重命名、删除和更改 MLflow 试验的权限。
现在可以通过克隆现有的策略来创建群集策略
2021 年 11月 2 日至 8 日:版本 3.58
现在已支持通过克隆现有的策略来创建新的群集策略。 请参阅创建和管理计算策略。
更轻松地更改笔记本和笔记本单元格的默认语言
2021 年 11月 2 日至 8 日:版本 3.58
笔记本顶部及其各 cell 中会出现新的语言按钮。 可使用此按钮选择笔记本的默认语言,并选择特定单元格的语言。 有关详细信息,请参阅设置默认语言和混合语言。
从 Web 终端使用 Repos 中的文件
2021 年 11月 2 日至 8 日:版本 3.58
现可使用 /Workspace
路径从 Web 终端访问 Repos 中的文件。