2020 年 8 月
这些功能和 Azure Databricks 平台的改进已于 2020 年 8 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 在初始发布日期后,可能最长需要等待一周,你的 Azure Databricks 帐户才会更新。
重要
仅面向加拿大中部和印度中部区域的客户发布了版本 3.26。 在发布 3.27 的同时,所有其他区域都将获得 3.26 版本的功能。
令牌管理 API 已正式发布,管理员可使用管理控制台向用户授予和撤销对令牌的访问权限i
2020 年 8 月 26 日 - 9 月 1 日:版本 3.27
令牌管理现已正式发布。 Azure Databricks 管理员可以使用令牌管理 API 和管理员控制台来管理其用户的 Azure Databricks 个人访问令牌。 作为管理员,你可以:
- 监视和撤销用户的个人访问令牌。
- 控制工作区中未来令牌的生存期。
- 通过权限 API 或管理员控制台来控制哪些用户可以创建和使用令牌。
在公共预览版向正式发布版转换的期间,令牌管理 API 参数 created_by
更改为 created_by_id
,并添加了一个新参数 created_by_username
。
有关详细信息,请参阅监视和管理对个人访问令牌的访问权限。
Shiny 应用的消息大小已增加
2020 年 8 月 26 日 - 9 月 1 日:版本 3.27
Shiny 应用的最大应用程序大小已从 10 MB 增加到 20 MB。 如果应用程序的总大小超过此限制,请查看 Shiny FAQ 中的建议。
改进了有关在本地模式设置群集的说明
2020 年 8 月 26 日 - 9 月 1 日:版本 3.27
在群集 UI 中:
- 如果创建的群集不具有任何辅助角色,会出现一个工具提示,建议使用本地模式并显示关联的配置设置 (
spark.master local[*]
)。 - 无法再为群集设置
spark.master local[*]
,除非该群集不具有任何辅助角色。
查看与运行关联的笔记本版本
2020 年 8 月 26 日 - 9 月 1 日:版本 3.27
现在可以从“试验”边栏中显示与运行相关联的笔记本版本。 有关详细信息,请参阅查看笔记本试验。
Databricks Runtime 7.2 正式版
2020 年 8 月 20 日
在 Databricks Runtime 7.1 的基础上,Databricks Runtime 7.2 引入了许多额外的功能和改进,包括:
- 自动加载程序已正式发布:自动加载程序是一种有效的方法,可将大量文件以增量方式引入 Delta Lake。 它现已正式发布,并添加了以下功能:
- 目录列表模式选项:除了现有的文件通知模式外,自动加载程序还添加了新的目录列表模式,用于确定何时有新文件。
- 云资源管理 API:现在你可以使用我们的 Scala API 来管理由自动加载程序创建的云资源。 你可以使用此 API 列出通知服务并删除特定的通知服务。
- 速率限制选项:现在你可以使用
cloudFiles.maxBytesPerTrigger
选项来限制每个微批中处理的数据量。 - 选项验证:自动加载程序现在会验证你提供的选项。
validation
将失败。 若要跳过选项验证,请将cloudFiles.validateOptions
设置为false
。
- 通过克隆高效复制 Delta 表。
- 改进:
- Snowflake 连接器已升级到版本 2.8.1,其中包括 Spark 3.0 支持。
- 凭据传递身份验证改进
- TensorBoard 改进
- 升级了 Python 和 R 库
有关详细信息,请参阅完整的 Databricks Runtime 7.2 (EoS) 发行说明。
Databricks Runtime 7.2 ML 正式版
2020 年 8 月 20 日
用于机器学习的 Databricks Runtime 7.2 基于 Databricks Runtime 7.2 构建,并引入了已改进的全新 Python 和系统库。 有关详细信息,请参阅完整的 Databricks Runtime 7.2 (EoS) 发行说明。
Databricks Runtime 7.2 Genomics 正式版
2020 年 8 月 20 日
用于基因组学的 Databricks Runtime 7.2 基于 Databricks Runtime 7.2 构建,并极大地加快了将文本 numpy 1D 和 2D 浮动类型的 n 维数组转换为 Java 数组的速度。 Glow 基因组范围的关联研究文档反映使用情况。
权限 API(公共预览版)
2020 年 8 月 18 日
Databricks 很高兴地宣布推出权限 API 的公共预览版,你可以使用它来管理以下内容的权限:
- 令牌
- 群集
- 池
- 作业
- 笔记本
- 文件夹(目录)
- MLflow 注册模型
有关详细信息,请参阅权限 API。
Databricks Connect 7.1 (GA)
2020 年 8 月 12 日
Databricks Connect 现在支持 Databricks Runtime 7.1。
在 Databricks Runtime 7.1 中,Databricks 建议始终使用 Databricks Connect 的最新版本。
群集库的可重复安装顺序
2020 年 8 月 12 日至 25 日:版本 3.26
在运行 Databricks Runtime 7.2 或更高版本的群集上,Azure Databricks 现在按照安装所有群集库的顺序对其进行处理。
从 MLflow 注册模型页创建模型(公共预览版)
2020 年 8 月 12 日至 25 日:版本 3.26
现在可以从 MLflow 注册模型页中创建新模型。 有关详细信息,请参阅创建新的注册模型并向其分配已记录的模型。
Databricks 容器服务支持 GPU 图像
2020 年 8 月 12 日至 25 日:版本 3.26
现在可以在具有 GPU 的群集上使用 Databricks 容器服务来通过自定义库创建可移植的深度学习环境。
有关详细信息,请参阅“GPU 计算上的 Databricks 容器服务”。