2019 年 9 月

这些功能和 Azure Databricks 平台的改进已于 2019 年 9 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 在初始发布日期后,可能最长需要等待一周,你的 Azure Databricks 帐户才会更新。

Databricks Runtime 5.2 支持已终结

2019 年 9 月 30 日

9 月 30 日结束对 Databricks Runtime 5.2 的支持。 请参阅 Databricks 支持生命周期

启动由资源池支持的使用 Databricks Light 的自动化集群(公共预览版)

2019 年 9 月 26 日至 10 月 1 日:版本 3.3

当我们在 7 月推出池配置参考时,你为自动作业配置由池支持的群集时无法选择 Databricks Light 作为运行时版本。 现在,你可以拥有快速启动的高性价比群集!

Azure SQL 数据库网关 IP 地址将在 2019 年 10 月 14 日发生更改

10 月 14 日,Azure 会将流量迁移到 这些区域中的新网关。 如果你的工作区位于其中一个区域,并且你已通过你自己的 Azure Databricks 虚拟网络(使用“VNet 注入”)为合并的元存储配置用户定义的路由 (UDR),则可能需要在元存储的 IP 地址更改时,更新这些 IP 地址。 有关你的区域的 IP 地址的最新列表,请参阅 Azure SQL Database 网关 IP 地址表。

标准群集和 Scala 现在支持 Azure Data Lake Storage 凭据直通身份验证(公共预览版)

2019 年 9 月 12-17 日:版本 3.2

凭证直通身份验证现可用于运行 Databricks Runtime 5.5 及以上版本和 SparkR on Databricks Runtime 6.0 Beta 的标准群集上的 Python、SQL 和 Scala。 到目前为止,凭据传递身份验证需要高并发群集,这些群集不支持 Scala。

为 Azure Data Lake Storage 凭据传递身份验证启用群集时,在该群集上运行的命令可以在 Azure Data Lake Storage 中读取和写入数据,无需用户配置用于访问存储的服务主体凭据。 凭据从启动操作的用户自动设置。

出于安全考虑,只有一位用户可以在启用凭据传递身份验证的标准群集上运行命令。 单用户是在创建时设置的,可由对群集具有管理权限的任何人进行编辑。 管理员需要确保单独用户至少具有对群集的连接权限。

凭据直通身份验证单用户

pandas 数据帧现在无需缩放即可在笔记本中呈现

2019 年 9 月 12-17 日:版本 3.2

在 Azure Databricks 笔记本中,displayHTML 缩放了一些带框的 HTML 内容,以使其适应渲染笔记本的可用宽度。 虽然此行为对于图像是可取的,但它使 pandas DataFrames 呈现效果不佳。 但不会再这样了!

现在会动态显示 Python 版本选择器

2019 年 9 月 12-17 日:版本 3.2

选择不支持 Python 2 的 Databricks Runtime(如 Databricks 6.0)时,群集创建页将隐藏 Python 版本选择器。

Databricks Runtime 6.0 Beta

2019 年 9 月 12 日

Databricks Runtime 6.0 Beta 引入了许多库升级和新功能,其中包括:

  • 用于 Delta Lake DML 命令的新 Scala 和 Java API,以及清空和历史记录实用工具命令。
  • 增强的 DBFS FUSE v2 客户端,支持在模型训练过程中更快、更可靠地进行读取和写入。
  • 支持在每个笔记本单元内显示多个 matplotlib 绘图。
  • 更新到 Python 3.7,以及更新的 numpy、pandas、matplotlib 和其他库。
  • 停用 Python 2 支持。

有关详细信息,请参阅完整的 Databricks Runtime 6.0 (EoS) 发行说明。