2024 年 2 月

这些功能和 Azure Databricks 平台改进已于 2024 年 2 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

在特征工程中使用增量实时表(公共预览版)

2024 年 2 月 29 日

从增量实时表管道发布到 Unity Catalog 并包含主键的表现在可以作为特征表用于模型训练或推理。 Unity 目录提供功能发现、治理、世系和跨工作区访问。 有关详细信息,请参阅在 Unity Catalog 中创建特征表

2024 年 2 月 29 日

前端 PrivateLink 连接的源 IPv4 地址现在会被捕获在审核日志中的 source_ip_address 中。 请参阅诊断日志参考配置与 Azure Databricks 的专用连接

限制更改“作业所有者”和“运行方式”设置

2024 年 2 月 29 日

默认情况下,工作区管理员可以将作业所有者更改为其工作区中的任何用户或服务主体,并将“作业运行方式”设置更改为其工作区中的任何用户或他们具有“服务主体用户”角色的服务主体。

帐户管理员现在可以将工作区管理员限制为只能将作业所有者更改为自己,并且只能将“作业运行方式”设置更改为他们具有“服务主体用户”角色的服务主体或更改为自己。 在创建工作区后,你可以自动启用此设置。 请参阅限制工作区管理员

对 Databricks 托管服务主体的支持

2024 年 2 月 28 日

现在可以直接在 Azure Databricks 中创建和管理服务主体。 以前,所有服务主体都必须链接到现有的 Microsoft Entra ID 服务主体。 请参阅 Databricks 和 Microsoft Entra ID 服务主体

启用自动群集更新(公共预览版)

2024 年 2 月 27 日

自动群集更新可确保工作区中的所有群集定期更新到最新的主机 OS 映像和安全更新。 维护时段可配置。 在工作区上启用此功能会自动添加增强的安全性和合规性加载项。 请参阅定价页

管理员可以启用增强的安全性和合规性功能(公共预览版)

2024 年 2 月 27 日

管理员现在可以启用“配置增强的安全性和合规性设置”功能:合规性安全配置文件、增强的安全监视和自动群集更新。 使用 Azure 门户或 ARM 模板。 使用这些功能会自动添加增强的安全性和合规性加载项。 请参阅定价页

自动群集更新功能和自行启用增强的安全性和合规性功能的功能目前为公共预览版。 不过,合规性安全配置文件本身和增强的安全监视功能已正式发布(正式版)。

支持 Cloudflare R2 存储以避免产生跨区域流出量费用(公共预览版)

2024 年 2 月 26 日

现在,你可以使用 Cloudflare R2 作为云存储来存储 Unity Catalog 中注册的数据。 Cloudflare R2 主要用于下述 Delta Sharing 用例:当数据跨区域传输时,你希望避免云提供商收取数据流出量费用。 R2 存储支持 AWS S3、Azure Data Lake Storage Gen2 和 Google Cloud Storage 中支持的所有 Databricks 数据和 AI 资产。 支持 R2 需要 Databricks Runtime 14.3 或 SQL Warehouse 2024.15。 请参阅使用 Cloudflare R2 副本或将存储迁移到 R2创建用于连接到 Cloudflare R2 的存储凭据

添加数据 UI 支持 XML 文件格式

2024 年 2 月 23 日

添加数据 UI 现在支持从云对象存储上传和引入 XML 文件。 请参阅将文件上传到 Azure Databricks

使用 AI 函数从基础模型 API 调用生成式 AI 模型

2024 年 2 月 22 日

现在可以使用 AI 函数从 Databricks 基础模型 API 调用最先进的生成式 AI 模型,以执行情绪分析和分类等 AI 任务。

Unity Catalog 卷已正式发布

2024 年 2 月 22 日

Unity Catalog 卷已在 Databricks Runtime 14.3 LTS 和更高版本中正式推出。 Databricks 建议使用这些卷来管理对云对象存储中的非表格数据的访问权限。 请参阅什么是 Unity Catalog 卷?

2024 年 2 月 16-22 日

Azure Databricks 搜索现在利用 DatabricksIQ 提供更智能的 AI 驱动的搜索体验。 新的全页搜索体验提供了更多空间来查看结果、更多对象的元数据,还提供了更多筛选器来用于缩小结果范围。

请参阅搜索工作区项目

在 SQL 仓库上运行 SQL 笔记本作业

2024 年 2 月 8 日

现在可以使用 SQL 仓库作为计算资源来计划和执行笔记本作业。 有关详细信息,请参阅将笔记本与 SQL 仓库配合使用

Azure Databricks 作业中的文件到达触发器已推出正式版

2024 年 2 月 7 日

所有云提供商都已正式发布文件到达触发器。 在此版本中,除了对 Unity Catalog 外部位置的现有支持外,当新文件到达 Unity Catalog 卷时,还可以使用文件到达触发器来运行 Azure Databricks 作业。 请参阅在新文件到达时触发作业

此版本还取消了通过 Azure 防火墙使用文件到达触发器的限制。

2024 年 2 月 7 日

现在,你可以使用 Databricks 工作区 UI 中的全局搜索栏在 Unity Catalog 中搜索机器学习模型。 请参阅在 Unity Catalog 中管理模型生命周期搜索工作区对象

Databricks Git 服务器代理已正式发布

2024 年 2 月 6 日

可以使用 Databricks Git 服务器代理来配置从 Databricks Repos 到本地 Git 服务器的安全访问。 请参阅为 Azure Databricks Git 文件夹 (Repos) 设置专用 Git 连接

Databricks Git 服务器代理不再需要 CAN_ATTACH_TO 权限

2024 年 2 月 6 日

Databricks Git 服务器代理的 GA 版本不再需要向所有用户提供 CAN_ATTACH_TO 权限。

如果以前使用 CAN_ATTACH_TO 特权配置了 Databricks Git 服务器代理,请参阅为 Azure Databricks Git 文件夹 (Repos) 设置专用 Git 连接

对 dbt 和 SQL 文件任务的工作区文件支持已正式发布

2024 年 2 月 1 日

现在普遍支持使用存储在 Azure Databricks 工作区文件夹中的 dbt 项目和 SQL 文件,这是对使用存储在远程 Git 存储库中的文件的现有支持的额外支持。 请参阅作业 的 dbt 任务作业的 SQL 任务

适用于 Scala 的 Databricks Connect 已正式发布

2024 年 2 月 1 日

从 Databricks Runtime 14.3 LTS 开始,Databricks Connect 现在普遍可用于 Scala。

基于卷中的文件创建表

2024 年 2 月 1 日

现在,你可以使用 UI 从 Unity Catalog 卷中存储的数据文件创建 Unity Catalog 托管表。 请参阅从卷中的数据创建表

Databricks Runtime 14.3 LTS 已正式发布

2024 年 2 月 1 日

Databricks Runtime 14.3 LTS 和 Databricks Runtime 14.3 LTS ML 现已正式发布。

请参阅 Databricks Runtime 14.3 LTS用于机器学习的 Databricks Runtime 14.3 LTS

Delta Sharing 支持使用删除矢量的表(公共预览版)

2024 年 2 月 1 日

Delta Sharing 现在支持共享使用删除矢量的表,这是一种可以在 Delta 表上启用的存储优化功能。 收件人可以通过一个 SQL 仓库、通过一个运行 Databricks Runtime 14.1 或更高版本的群集、或者通过计算(运行开源 delta-sharing-spark 3.1 或更高版本)来读取那些使用删除矢量的表。 支持将在下个月逐步推出。

请参阅将带有删除向量或列映射的表添加到共享中读取启用了删除向量或列映射的表读取启用了删除向量或列映射的表