2020 年 11 月
这些功能和 Azure Databricks 平台的改进已于 2020 年 11 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Runtime 6.6 系列支持结束
2020 年 11 月 26 日
对 Databricks Runtime 6.6、用于机器学习的 Databricks Runtime 6.6 以及用于基因组学的 Databricks Runtime 6.6 的支持已于 11 月 26 日结束。 请参阅 Databricks 支持生命周期。
MLflow 模型注册表正式版
2020 年 11 月 18 日- 12 月 1 日:版本 3.33
MLflow 模型注册表现已正式发布。 自从模型注册表发布公共预览版以来,已经进行了一些改进:
- 对模型注册表对象的操作的审核日志记录。 现在,模型注册表中的操作会捕获到审核日志中。 有关记录的操作和参数,请参阅审核日志参考中的
modelRegistry
条目。 - 模型版本的注释。 你现在可以添加对模型版本的注释,以便使用模型注册表进行团队讨论,帮助管理模型生产化管道。
- 有关模型和模型版本的标记。 你可以为模型和模型版本创建标记,并使用 API 搜索它们。
- 对已注册模型页的 URL 的改进。 此页面的 URL 现在保留其历史记录,因此,在此页中进行查询和查看模型时,可以使用浏览器的后退和前进按钮进行导航。 你还可以将该 URL 与同事共享,同事会看到同一视图。
根据注册的模型是否关联来筛选试验运行
2020 年 11 月 18 日- 12 月 1 日:版本 3.33
查看试验的运行时,现在可以根据运行是否创建了模型版本来筛选运行。 有关详细信息,请参阅筛选运行。
现可通过“数据”选项卡获取合作伙伴集成库
2020 年 11 月 18 日- 12 月 1 日:版本 3.33
合作伙伴集成库已从“帐户”菜单移动到“添加数据”选项卡。有关详细信息,请参阅技术合作伙伴。
群集策略现使用“允许列表”和“阻止列表”作为策略类型名称
2020 年 11 月 18 日- 12 月 1 日:版本 3.33
群集策略现在使用“允许列表”和“阻止列表”作为策略类型,替换了“白名单”和“黑名单”。请参阅计算策略参考。 请注意,这最初是作为 3.31 版功能发布的,这是不正确的。
创建作业群集失败时自动重试
重要
此更新已于版本 3.33 发布后恢复。
2020 年 11 月 18 日- 12 月 1 日:版本 3.33
当发生特定的可恢复错误时,Azure Databricks 现在会自动重试创建作业群集。 作业运行会保持 RunLifeCycleState:挂起状态,直到群集成功启动。 每次尝试都有不同的 cluster_id
和名称。 成功创建群集后,运行会转变为 RunLifeCycleState:正在运行状态。
使用目录导航笔记本
2020 年 11 月 18 日- 12 月 1 日:版本 3.33
你现在可以查看笔记本的目录,并使用它在笔记本中快速导航。 笔记本目录是基于 Markdown 标题自动创建的。 有关详细信息,请参阅笔记本目录。
Databricks SQL(公共预览版)
2020 年 11 月 18 日
Databricks 很高兴推出 Databricks SQL,这是一个直观的环境,用于运行临时查询和基于数据湖中存储的数据创建仪表板。 Databricks SQL 使你的组织能够运行多云 lakehouse 体系结构,该体系结构可为数据仓库性能提供数据湖经济性,同时提供良好的 SQL 分析用户体验。 Databricks SQL:
- 与当前使用的 BI 工具(例如 Tableau 和 Microsoft Power BI)集成,查询数据湖中最完整和最新的数据。
- 使用 SQL 原生接口对现有 BI 工具进行补充,该接口支持数据分析师和数据科学家直接在 Azure Databricks 中查询数据湖数据。
- 支持通过丰富的可视化效果和拖放式仪表板共享查询见解,以及自动在重要数据发生更改时发出警报。
- 通过 SQL 仓库为数据湖带来可靠性、质量、缩放、安全性和性能,这样就可以使用最新和最完整的数据来运行传统的分析工作负荷。
有关详细信息,请参阅什么是 Azure Databricks 上的数据仓库?。
单节点群集现支持 Databricks 容器服务
2020 年 11 月 4-10 日:版本 3.32
你现在可以在单节点群集上使用 Databricks 容器服务。 有关详细信息,请参阅单节点或多节点计算和使用 Databricks 容器服务自定义容器。
Databricks Runtime 7.4 正式版
2020 年 11 月 3 日
Databricks Runtime 7.4、Databricks Runtime 7.4 ML 和用于基因组学的 Databricks Runtime 7.4 现已正式发布。
有关信息,请参阅 Databricks Runtime 7.4 (EoS) 和用于 ML 的 Databricks Runtime 7.4 (EoS) 中的完整发行说明。
Databricks JDBC 驱动程序更新
2020 年 11 月 3 日
已发布新版本的 Databricks JDBC 驱动程序。 新版本包含很多 bug 修复,最值得注意的是,驱动程序现在会返回通过 DML 操作修改的行的正确数目(如果 Databricks Runtime 提供该行数)。
Databricks Connect 7.3(beta 版本)
2020 年 11 月 3 日
Databricks Connect 7.3 现在作为 Beta 版本提供。
Databricks Connect 7.3 允许你使用 Microsoft Entra ID 令牌向 Azure Databricks 进行身份验证,并支持 Microsoft Entra ID 凭据直通。 这样,你就可通过 Databricks Connect 使用向 Azure Databricks 进行身份验证所用的 Microsoft Entra ID 标识向 Azure Data Lake Storage Gen2 自动进行身份验证。
有关详细信息,请参阅 Databricks Connect 和 Databricks Connect 发行说明。