2021 年 10 月
这些功能和 Azure Databricks 平台的改进已于 2021 年 10 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Runtime 8.2 系列支持结束
2021 年 10 月 22 日
对 Databricks Runtime 8.2 和用于机器学习的 Databricks Runtime 8.2 的支持已于 10 月 22 日结束。 请参阅 Databricks 支持生命周期。
Databricks Runtime 10.0 和 10.0 ML 现已正式发布;10.0 Photon 现在是公共预览版
2021 年 10 月 20 日
Databricks Runtime 10.0 和 10.0 ML 现已正式发布。 10.0 Photon 处于公共预览版。
请参阅 Databricks Runtime 10.0 (EoS) 和用于 ML 的 Databricks Runtime 10.0 (EoS) 中的发行说明。
增量实时表的用户界面改进(公共预览版)
2021 年 10 月 18-25,版本 3.57
此版本包含对增量实时表 UI 的以下增强功能:
- 如果提供了无效的笔记本路径,“创建管道”对话框或“数据集详细信息”面板中将显示“找不到笔记本”消息 。
- 现在可以通过单击“管道”页或“管道详细信息”页上的“提供反馈”链接来提供有关增量实时表的反馈 。 单击“提供反馈”链接时,将在新窗口中打开客户反馈调查。
在增量实时表(公共预览版)中创建新的管道时,请指定固定大小的群集
2021 年 10 月 18-25,版本 3.57
现在,你可以使用固定数量的工作器节点为增量实时表管道创建群集,从而更好地控制管道使用的群集资源。 若要创建具有固定数量节点的群集,请禁用“启用自动缩放”,并在创建新管道时在工作器字段输入节点数 。
在增量实时表触发的管道(公共预览版)中查看表的数据质量指标
2021 年 10 月 18-25,版本 3.57
现在可以在管道以触发模式运行时查看表的数据质量指标,包括写入的记录数、删除的记录数,以及每个数据质量约束的已通过或未通过的记录数。 若要查看数据质量指标,请在“管道详细信息”页上的“图表”选项卡中选择表 。
作业业务流程现已正式发布
2021 年 10 月 14 日
Databricks 很高兴地宣布 Azure Databricks 作业业务流程正式发布。 使用作业业务流程可以定义和运行包含多个任务的作业,简化复杂数据和机器学习应用程序的创建、计划、执行和监视。 作业业务流程需要由管理员启用,并且默认情况下处于禁用状态。 请参阅计划和协调工作流。
Databricks 也很高兴公布作业 API 2.1 的正式发布。 此版本包含完全支持使用 Azure Databricks 作业协调多个任务的更新。 有关更新客户端来支持协调多个任务的作业的信息,请参阅从作业 API 2.0 更新到 2.1。
适用于 Power BI 的 Databricks 连接器
**2021 年 10 月 13 日**
现在提供了新版本的 Power BI 连接器。 此版本添加了对在 Unity 目录中三个级别的命名空间中导航的支持,确保可以取消查询执行,并启用本机查询传递以减少 Databricks SQL 和 Databricks Runtime 8.3 及更高版本的延迟。
Repos 现在支持任意文件类型
2021 年 10 月 7 日
除了可以使用远程 Git 存储库同步笔记本以外,Repos 中的文件还允许同步任意类型的文件,例如 .py
文件、.csv
或 .json
格式的数据文件,或 .yaml
配置文件。 可以在 Databricks 存储库中导入并读取这些文件。 还可以在 UI 中查看和编辑文本编码文件。 有关详细信息,请参阅 Databricks Git 文件夹的 Git 集成。
作业 API 的更详细的运行输出
2021 年 10 月 4 日到 11 日:版本 3.56
对作业 API 的运行 get output 请求的响应已更新并增加新的字段,以返回更多作业运行的输出、日志记录和错误详细信息。
提高了作业 UI 中笔记本路径的可读性
2021 年 10 月 4 日到 11 日:版本 3.56
在作业 UI 中查看作业详细信息时,笔记本路径现在会从左截断,这确保了笔记本名称的可见性。 以前,笔记本路径从右侧截断,通常会隐藏笔记本名称。
在新的选项卡或窗口中打开增量实时表管道
2021 年 10 月 4 日到 11 日:版本 3.56
当你在增量实时表 UI 中查看管道列表时,管道名称现在呈现为链接,提供对上下文菜单选项(如在新的选项卡或窗口中打开管道详细信息)的访问权限。
SQL 中旧输入小组件中的 $
的新转义序列
2021 年 10 月 4 日到 11 日:版本 3.56
要在 SQL 的旧版输入小部件中转义 $
字符,请使用 \$
。 如果已在现有小组件中使用 $\
,则它将继续工作,但 Databricks 建议将小组件更新为使用新的转义序列。 请参阅 Databricks 小组件。
使用自动生成的批量推理笔记本加快模型部署
2021 年 10 月 4 日到 11 日:版本 3.56
在模型注册表中注册某一模型后,可以自动生成一个笔记本,以便使用该模型进行批处理推理,或创建一个终结点来使用该模型提供实时服务。 有关详细信息,请参阅使用模型进行推理。