2021 年 6 月
这些功能和 Azure Databricks 平台改进已于 2021 年 6 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
更正:在某些区域,在新工作区和现有工作区中默认启用 Git 的存储库
2021 年 6 月 30 日
在 2021 年 6 月 2 日的发行说明中,Databricks 宣布默认在某些区域的新工作区中启用用于 Git 的 Repos,但省略了以下重要详细信息:如果已启用笔记本 Git 版本控制,则在现有工作区中也会启用用于 Git 的 Repos。 原始发行说明已更新。
对功能存储权限的更改
2021 年 6 月 28 日 - 7 月 6 日:版本 3.49
对功能表具有 CAN_VIEW_METADATA
权限的用户现在可以将其发布到在线商店。
改进了对 MLflow 运行表中结果的访问权限
2021 年 6 月 28 日 - 7 月 6 日:版本 3.49
MLflow 运行表发生了更改,现在可以更快地访问结果。
- “指标”列现在显示在“参数”列之前,可以更轻松地识别最佳运行。
- “开始时间”列现在显示运行的已存在时长,而非开始时间。 这会减小列的宽度,并可在不需要进行水平滚动的情况下显示更多的信息。 若要显示开始时间,请将鼠标悬停在列中的值上。
提高了增量实时表的成本可见性
2021 年 6 月 28 日 - 7 月 6 日:版本 3.49
创建新管道或查看“管道详细信息”UI 时,现在会看到增量实时表默认群集的每小时 DBU。
增强了增量实时表的数据质量约束增强
2021 年 6 月 28 日 - 7 月 6 日:版本 3.49
现在可以使用 expect_all_or_fail
、expect_all_or_drop
和 expect_all
Python API 来定义对增量实时表数据集的多个数据质量约束。 对管道中的一个或多个数据集应用一个包含常见预期的库时,这些 API 很有用。 有关详细信息,请参阅使用 Delta Live Tables 管理数据质量。
用于更新和替换 IP 地址列表的 API 更改
2021 年 6 月 28 日 - 7 月 6 日:版本 3.49
Databricks REST API 2.0 中针对 /ip-access-lists/<list-id>
的新 PATCH
操作允许以编程方式更新现有 IP 地址列表中的各个值。 有关详细信息,请参阅更新 IP 访问列表。
Databricks REST API 2.0 中针对 /ip-access-lists/<list-id>
的现有 PUT
操作允许以编程方式替换现有 IP 地址列表的内容,同时保留列表的原始内部 ID。 有关详细信息,请参阅替换 IP 访问列表。
Databricks ODBC 驱动程序 2.6.17
2021 年 6 月 22 日
已发布 Databricks ODBC 驱动程序版本 2.6.17(下载)。 此版本添加了对 Cloud Fetch 的支持,它是一种通过云存储并行提取数据的机制,可以更快地将数据提供给 BI 工具。 此版本还通过删除客户端与 Databricks Runtime 之间不必要的往返来减少延迟。 请参阅如何通过 BI 工具实现高带宽连接。
Databricks Runtime 7.5 系列支持结束
2021 年 6 月 16 日
对 Databricks Runtime 7.5、用于机器学习的 Databricks Runtime 7.5 以及用于基因组学的 Databricks Runtime 7.5 的支持已于 6 月 16 日结束。 请参阅 Databricks 支持生命周期。
对驱动器节点和工作器节点使用的不同的池,以优化性能并控制成本
2021 年 6 月 14-21 日:版本 3.48
对于驱动程序节点和工作器节点,你现在可以通过将群集附加到不同的池来优化群集。 例如,你可以为驱动程序节点使用计算优化池,为工作器节点使用存储优化池。 这还有助于通过将不同的标记分配给每个实例池来控制成本。 也可以选择为驱动程序节点和工作器节点使用同一个池。
有关详细信息,请参阅池配置参考。
模型注册表的注册表范围权限
2021 年 6 月 14-21 日:版本 3.48
现在可以在工作区的模型注册表中设置所有模型的默认模型权限。 在此级别设置的权限适用于在该工作区的模型注册表中注册的所有新的和现有的模型。 有关详细信息,请参阅 MLflow 模型 ACL。
使用 SCIM API 删除用户时,用户主目录不再受保护
2021 年 6 月 14-21 日:版本 3.48
使用 SCIM API 删除用户时,用户的主目录将不再受保护,工作区管理员可以将其删除。 此行为与使用管理控制台删除用户时所发生的情况匹配。
Databricks Runtime 8.3 和 8.3 ML 现已正式发布;8.3 Photon 目前为公共预览版
2021 年 6 月 8 日
Databricks Runtime 8.3 和 8.3 ML 现已正式发布。 8.3 Photon 处于公共预览版。
有关信息,请参阅 Databricks Runtime 8.3 (EoS) 和用于 ML 的 Databricks Runtime 8.3 (EoS) 中的完整发行说明。
Python 和 SQL 表访问控制(正式发布)
2021 年 6 月 8 日
利用表访问控制,你可以使用基于 Azure Databricks 视图的访问控制模型以编程方式授予和撤销对数据的访问权限。 发布的表访问控制有两个版本:“仅限 SQL”与“Python 和 SQL”。 以前,只正式发布了“仅限 SQL”表访问控制。 现在,“Python 和 SQL”表访问控制也已正式发布。 请参阅在群集上启用 Hive 元存储表访问控制(旧版)。
作业 UI 和 API 现在显示作业运行的所有者
2021 年 6 月 2-7 日:版本 3.47
作业 UI 和 API 现在包含用于运行作业的用户,因而更容易理解、调试和审核作业权限。 如果作业访问控制被禁用,则这是一个设置为作业创建者的只读值;如果作业访问控制被启用,则这是作业的 is_owner
权限。 如需详细了解如何管理作业权限,请参阅控制对作业的访问。
使用机密保护敏感的 Spark 配置属性和环境变量(公共预览版)
2021 年 6 月 7 日
可以使用机密保护敏感的 Spark 配置属性和环境变量。 检索到的机密是从笔记本的输出以及 Spark 驱动程序和执行器的日志中修订的。 请参阅机密。
如果你当前在 Spark 配置中使用纯文本密码,则 Databricks 建议你在 Spark 配置中轮换密码并使用机密路径。
在某些区域,在新工作区和现有工作区中默认启用 Git 的存储库
2021 年 6 月 2 日
此发行说明已于 2021 年 6 月 30 日更新。
对于新工作区和启用了笔记本 Git 版本控制的现有工作区,现在,默认情况下会在某些区域启用用于 Git 的 Repos。 在未来几个月内,默认 Repos 启用功能将在更多区域推出。 若要了解如何自行启用或禁用 Repos,以及如何验证工作区的设置,请参阅 Databricks Git 文件夹的 Git 集成。
重新设计了工作区设置 UI
2021 年 6 月 2-7 日:版本 3.47
管理控制台中新的“工作区设置”选项卡替代了“工作区存储”、“访问控制列表”和“高级”选项卡,以简化工作区配置。
对 ListTokens
和 ListAllTokens
数据库查询过期令牌进行了更新
2021 年 6 月 2-7 日:版本 3.47
数据库查询 ListTokens
或 ListAllTokens
不再返回过期的令牌。 会返回无期限的令牌(expiryTime
设置为 -1
的令牌)。
现在,授予或撤销管理员权限时需要确认
2021 年 6 月 2-7 日:版本 3.47
当管理员用户在 Web UI 中授予或撤销管理员权限时,现在会显示确认对话框。
对 Web UI 中的键盘快捷方式进行了更改
2021 年 6 月 2-7 日:版本 3.47
在笔记本中,打开键盘快捷方式列表的方式已更改。 若要打开列表,请单击 图标。