2023 年 5 月
这些功能和 Azure Databricks 平台改进已于 2023 年 5 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
创建或修改表 UI 支持 Avro、Parquet 和文本文件上传
2023 年 5 月 29 日
“创建或修改表”UI 现在支持以下文件类型:
- Avro (.avro)
- Parquet (.parquet)
- 文本 (.txt)
有关详细信息,请参阅使用文件上传创建或修改表。
使用“添加数据”UI 通过 Unity Catalog 外部位置加载数据(公共预览版)
2023 年 5 月 29 日
现在可以使用“添加数据”UI 从一个定义为 Unity Catalog 外部位置的云对象存储路径加载数据。 有关详细信息,请参阅使用 Unity Catalog 外部位置加载数据。
在 SQL 仓库上运行 Databricks 笔记本(公共预览版)
2023 年 5 月 31 日
现在可以在 SQL 仓库上运行 Databricks 笔记本。 SQL 仓库针对 SQL 分析进行了优化,与通用计算相比,为 SQL 执行提供了更好的性价比。 有关详细信息,请参阅将笔记本与 SQL 仓库配合使用。
阻止 Enter 键接受自动完成建议
2023 年 5 月 26 日
现在,可以在 SQL 编辑器中阻止 Enter 键接受自动完成建议。 从 SQL 编辑器的串形菜单中选择“禁用回车接受自动完成”。
新区域:中国东部 3
2023 年 5 月 25 日
Azure Databricks 现已在 Azure 区域“中国东部 3”推出。 请参阅 Azure Databricks 区域。
支持 Azure 机密计算 VM 类型(公共预览版)
2023 年 5 月 25 日
Azure Databricks 现在支持在创建群集时使用 Azure 机密计算 VM 类型。 Azure 机密计算有助于保护使用中的数据,防止云提供商访问敏感数据。 请参阅 Azure 机密计算 VM。
Databricks Terraform 提供程序已更新到版本 1.17.0
2023 年 5 月 22 日
Databricks Terraform 提供程序 1.17.0 不再支持发布 32 位二进制文件,添加了有关在 databricks_cluster
资源中使用群集策略的影响的更多信息,此外还有其他内容。 如需更多详细信息,请参阅版本 1.17.0 的更改日志。
上传数据 UI 支持新的列数据类型
2023 年 5 月 19 日
“上传数据”UI 现在支持以下数据类型:
STRUCT
ARRAY
DECIMAL(P,S)
有关详细信息,请参阅使用文件上传创建或修改表。
将 Unity Catalog 目录绑定到特定工作区
2023 年 5 月 17 日
现在可以将目录访问限制为从帐户中的特定工作区进行目录访问(这也称为工作区-目录绑定)。 如果你使用工作区来隔离用户数据访问(例如,如果你有单独的生产和开发工作区或用于处理敏感数据的专用工作区),则此功能特别有用。
有关详细信息,请参阅仅限特定工作区能访问目录。
所有用户都可以使用 Partner Connect 连接到 Fivetran(公共预览版)
2023 年 5 月 17 日
使用 Partner Connect 连接到 Fivetran 不再需要工作区管理员用户角色。 有关详细信息,请参阅使用 Partner Connect 连接到 Fivetran。
Databricks Terraform 提供程序已更新到版本 1.16.1
2023 年 5 月 16 日
Databricks Terraform 提供程序 1.16.1 在 databricks_pipeline
资源中添加了 databricks_service_principal_secret
资源和 Unity Catalog 集成的文档,更新了 databricks_secret_scope
资源的文档,等等。 如需更多详细信息,请参阅版本 1.16.1 的更改日志。
Databricks JDBC 驱动程序 2.6.33
2023 年 5 月 15 日
已发布 Databricks JDBC 驱动程序版本 2.6.33(下载)。 此版本会在连接到某个启用了 Unity Catalog 的服务器时添加主键 API 和外键 API。
Partner Connect 支持 Alation
2023 年 5 月 15-22 日
现在可以使用 Partner Connect 将 Azure Databricks 工作区连接到 Alation。 有关详细信息,请参阅将 Azure Databricks 连接到 Alation。
编辑器的新默认主题
2023 年 5 月 12 日
根据客户反馈,编辑器中的默认配色方案进行了更新,以提高可读性。
Databricks Terraform 提供程序已更新到版本 1.16.0
2023 年 5 月 12 日
Databricks Terraform 提供程序 1.16.0 添加了 databricks_workspace_file
资源,向 databricks_job
资源添加了 notification_settings
块,等等。 如需更多详细信息,请参阅版本 1.16.0 的更改日志。
Unity Catalog 对 Azure 托管标识的支持现已正式发布
2023 年 5 月 11 日
使用 Azure 托管标识代表 Unity Catalog 用户访问存储容器的功能现已正式发布。 Azure 托管标识在此用例中具有优于服务主体的显著优势。 请参阅使用 Unity Catalog 中的 Azure 托管标识访问存储。
Databricks Runtime 13.1 (Beta)
2023 年 5 月 10 日
Databricks Runtime 13.1 和 Databricks Runtime 13.1 ML 现已作为 Beta 版本发布。
请参阅 Databricks Runtime 13.1 (EoS) 和用于机器学习的 Databricks Runtime 13.1 (EoS)。
在 Azure Databricks 工作流中运行基于文件的 SQL 查询
2023 年 5 月 9 日
现在可以在将 SQL 任务添加到 Azure Databricks 作业时从 Git 提供程序检索 SQL 查询。 请参阅使用来自远程 Git 存储库的 SQL 查询。
Databricks Terraform 提供程序已更新到版本 1.15.0
2023 年 5 月 5 日
版本 1.15.0 添加了试验性的 databricks_sql_table
资源、添加了对从工作区文件运行 databricks_cluster
init 脚本的支持、添加了对 databricks_grants
的缺失权限,等等。 如需更多详细信息,请参阅版本 1.15.0 的更改日志。
21 世纪互联运营的 Azure 现在支持 Unity Catalog
2023 年 5 月 5 日
中国东部 2、中国北部 2、中国北部 3 区域现在支持 Unity Catalog。
现在可以在帐户控制台中使用帐户昵称
2023 年 5 月 5 日
帐户管理员现在可为其 Azure Databricks 帐户设置帐户昵称。 为帐户指定昵称后,该名称将显示在帐户控制台顶部的帐户 ID 旁边。 有关详细信息,请参阅添加帐户昵称。
使用 Delta Sharing 共享笔记本
2023 年 5 月 4 日
现在可以使用 Delta Sharing 通过 Databricks 到 Databricks 共享流来安全地共享笔记本文件。
通过共享笔记本,用户可以跨元存储和帐户进行协作,而提供者可以演示他们共享的数据的用例和可视化效果。
请参阅将笔记本文件添加到共享(针对提供者)和阅读共享笔记本(针对接收者)。
Azure Databricks 不再创建无服务器初学者 SQL 仓库
2023 年 5 月 3-12 日
Azure Databricks 不再创建无服务器初学者 SQL 仓库。 若要创建自己的仓库,请参阅创建 SQL 仓库。
在 SQL 仓库 API 中,现在必须显式启用无服务器计算
2023 年 5 月 3-12 日
创建 SQL 仓库时,SQL 仓库 API 有细微的变化。
在过去,如果为工作区启用了无服务器 SQL 终结点,则字段 enable_serverless_compute
的默认值为 true
。 对于大多数工作区,其默认值现在为 false
。 但是,如果此工作区在 2022 年 11 月 1 日至 2023 年 5 月 19 日使用 SQL 仓库 API 创建了一个仓库,并且符合无服务器 SQL 仓库(包括其区域)的要求,则默认值仍设置为 true
。
为了避免歧义,Databricks 强烈建议你始终显式设置 enable_serverless_compute
字段,尤其是在组织有许多工作区的情况下。
无服务器 SQL 仓库的工作区设置更改
2023 年 5 月 3-12 日
对于启用了无服务器计算的帐户,现在默认会为工作区启用无服务器功能。 作为此项更改的一部分,用于启用或禁用无服务器 SQL 仓库的工作区级设置已从工作区设置 UI 中删除。
帐户和工作区的无服务器计算设置更改
2023 年 5 月 3-12 日
如果区域支持无服务器 SQL 仓库,现在默认会为所有工作区启用该功能。
Azure Databricks 在每个工作区的 Databricks SQL UI 中通知每个工作区管理员一次。
对于新启用的支持无服务器 SQL 仓库的工作区,每个工作区必须符合要求,并且可能需要更新每个工作区的 Azure 存储防火墙。
Databricks SQL 无服务器已推出正式版
2023 年 5 月 3-12 日
Databricks SQL 无服务器现已在支持的区域中推出正式版。 无服务器 SQL 仓库为 SQL 查询提供即时计算、极简管理和成本优化。 创建无服务器 SQL 仓库,或者将专业或经典 SQL 仓库转换为无服务器。
使用安全群集连接或 Azure 专用链接(公共预览版)升级现有工作区
2023 年 5 月 3 日
可以在现有工作区上启用安全群集连接 (SCC),以避免在 VNet 中打开端口,并避免 Databricks Runtime 群集节点使用公共 IP 地址。 可以在 Azure 模板中使用名称“无公共 IP”(enableNoPublicIp
) 配置此功能。
可以在现有工作区上启用或禁用 Azure 专用链接,以便在用户与其 Databricks 工作区之间,以及计算资源与 Azure Databricks 基础结构控制平面之间建立专用连接。
这两项更新都要求工作区使用 VNet 注入和高级定价层。
弃用 DBFS 上的群集范围初始化脚本
2023 年 5 月 2 日
DBFS 上的群集范围 init 脚本已弃用。 它们现在应存储为工作区文件。 请参阅在工作区文件中存储初始化脚本。
统一导航(公共预览版)
2023 年 5 月 1 日
新的统一导航体验目前为公共预览版。 统一导航减少了跨产品区域完成任务所需的点击和上下文切换次数。 有关详细信息,请参阅导航工作区。