2024 年 12 月

这些功能和 Azure Databricks 平台改进已于 2024 年 12 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

Databricks Runtime 16.1 已推出正式发布版

2024 年 12 月 20 日

Databricks Runtime 16.1 和 Databricks Runtime 16.1 ML 现已正式发布。

请参阅 Databricks Runtime 16.1用于机器学习的 Databricks Runtime 16.1

新笔记本的默认格式现在是 IPYNB (Jupyter) 格式

2024 年 12 月 20 日

在 Azure Databricks 工作区中创建的新笔记本的默认格式现在是 IPYNB(.ipynb)。 以前,笔记本的默认格式是 Source (.py, .sql, .scala, .r)。 要更改默认格式,请使用工作区用户设置中“开发人员”窗格中的“笔记本默认文件格式”设置。 请参阅笔记本格式

Databricks 助手的 Databricks 托管模型现已推出公共预览版

2024 年 12 月 19 日

现在可以使用 Azure Databricks 托管的模型在 Azure Databricks 中为 Databricks 助手提供支持。 此功能目前为公共预览版。

适用于 AI 代理的 Python 代码执行程序(公共预览版)

2024 年 12 月 19 日

现在可以快速为 AI 代理提供运行 Python 代码的功能。 Databricks 现在提供了一个预构建的 Unity 目录函数,AI 代理可以使用该函数作为工具扩展其功能,超越语言生成。

databricks-agents SDK 0.13.0 发布

2024 年 12 月 18 日

0.13.0 版 databricks-agents SDK 已发布到 PyPI,其中包含以下更改:

  • 调用 agents.deploy() 和其他 databricks.agents API 时,应遵循当前有效的 Databricks CLI 配置文件和 MLflow 模型注册表 URI。 具体而言,现在可以在调用 DATABRICKS_CONFIG_PROFILE=my-profile 之前指定 MLFLOW_REGISTRY_URI=databricks-uc://my-profileagents.deploy() 的组合,以指定要用于部署和访问代理的 Databricks CLI 配置文件。
  • mlflow.evaluate() 中,仅当分别存在检索和指南上下文时,才运行检索和指南指标。
  • mlflow.evaluate() 的客户端添加基于机密的身份验证。

外部群组现在已被标记且不可更改

2024 年 12 月 18 日

外部组是通过 Microsoft Entra ID 在 Azure Databricks 中创建的组。 这些组是使用 SCIM 预配连接器创建的,并与 Microsoft Entra ID 保持同步。 外部组现在已显式标记为 External,默认情况下无法再从 Azure Databricks 帐户控制台或工作区管理员设置页更新。 若要从 Azure Databricks UI 更新外部组成员身份,帐户管理员可以在帐户控制台预览页中禁用“不可变的外部组”

请参阅 Azure Databricks 中的组类型

将计算资源分配给组(公共预览版)

2024 年 12 月 17 日

新的“专用”访问模式(以前是“单个用户”)允许将专用的通用计算分配给某个组或单个用户。 请参阅将计算资源分配给组

此公共预览版还允许工作区访问新的简化的计算 UI。 请参阅使用简单表单管理计算

工作区管理员必须启用此预览版。 请参阅管理 Azure Databricks 预览版

将 Unity 目录中的存储凭据创建功能委托给服务主体

2024 年 12 月 17 日

现在可以使用 CREATE STORAGE CREDENTIAL 特权授予服务主体在 Unity Catalog 元存储中创建存储凭据的权限。 请参阅 CREATE STORAGE CREDENTIAL

Jobs API 2.2 版本已发布

2024 年 12 月 16 日

作业 API 版本从 2.1 更新到 2.2。 作业 API 版本 2.2 的更新包括:新增或更新作业的默认排队功能,以及增强了对作业和作业运行响应的分页处理,这些响应包含具有大量值的字段。 若要详细了解此版本中的更新,请参阅将作业 API 从 2.1 更新到 2.2。 若要查看完整的作业 API 2.2 文档,请参阅作业(最新版)。 尽管 Databricks 建议使用作业 API 版本 2.2,但仍可以访问版本 2.1 和 2.0。 请参阅 作业 (2.1)作业 API 2.0

Unity Catalog MANAGE 特权(公共预览版)

2024 年 12 月 14 日

现在可以向用户授予对 Unity Catalog 安全对象的 MANAGE 权限。 MANAGE 特权允许用户对 Unity 目录对象执行关键操作,包括:

  • 管理权限
  • 删除对象
  • 重命名对象
  • 转让所有权

请参阅 MANAGE

查看作业运行的流式处理工作负载指标(公开预览版)

** 2024 年 12 月 12 日**

在 Databricks 作业 UI 中查看作业运行时,现在可以查看 Spark 结构化流式处理支持的源(包括 Apache Kafka、Amazon Kinesis 和 Auto Loader)的指标,例如积压秒数、积压字节数、积压记录和积压文件数。 请参阅查看流式处理任务的指标

查看 DLT 管道更新的流式处理工作负载指标(公共预览版)

** 2024 年 12 月 12 日**

在 DLT UI 中查看管道更新时,现在可以查看管道中每个流式处理流的指标,例如积压工作秒、积压工作字节数、积压记录和积压工作文件。 支持 Spark 结构化流式处理源(包括 Apache Kafka、Amazon Kinesis 和自动加载程序)的流式处理指标。 请参阅查看流式处理指标

Lakehouse Federation 支持 Oracle(公共预览版)

2024 年 12 月 12 日

现在可以对 Oracle 管理的数据运行联合查询。 请参阅在 Oracle 上运行联合查询

Databricks Runtime 16.1(beta 版本)

2024 年 12 月 11 日

Databricks Runtime 16.1 和 Databricks Runtime 16.1 ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 16.1用于机器学习的 Databricks Runtime 16.1

监视和撤销帐户中的个人访问令牌(个人预览版)

2024 年 12 月 11 日

帐户管理员现在可以查看令牌报告,以在帐户控制台中监视和撤销个人访问令牌(PAT)。 Databricks 建议使用 OAuth 访问令牌而不是 PAT,以提高安全性和便利性。 若要加入此预览版,请联系 Azure Databricks 帐户团队。 请参阅监视和撤销帐户中的个人访问令牌

Unity Catalog 可联合到 Hive 元存储

2024 年 12 月 11 日

现在可以使用 Unity Catalog 访问和管理 Hive 元数据仓库中注册的数据。 这包括外部管理的 Hive 元数据存储和旧的内部 Databricks Hive 元数据存储。

请参阅 Hive 元存储联盟:启用 Unity Catalog 管理在 Hive 元存储中注册的表

移除元存储级别存储以强制实施目录级别的存储隔离

2024 年 12 月 11 日

如果您具有用于托管表和卷(也称为元存储根目录)的元存储级别存储,但希望在目录或架构级别实施数据存储隔离,现在可以在不影响现有工作负载的情况下删除该元存储级别存储。 请参阅删除元存储级存储

bamboolib 现已弃用

2024 年 12 月 10 日

bamboolib 现已弃用。 用户仍然可以访问 bamboolib 以在笔记本中执行低代码数据分析,但 Databricks 不再积极开发或支持此工具。

使用综合评估集简化 AI 代理评估

2024 年 12 月 9 日

通过从文档生成具有代表性的评估集来评估 AI 代理。 综合性生成 API 与代理评估紧密集成,能够快速评估和提高代理响应的质量,省却了昂贵的人工标记过程。

通过历史记录共享改进 Databricks 到 Databricks Delta Sharing 表的读取性能(公共预览版)

2024 年 12 月 5 日

通过启用历史记录共享功能来改善 Databricks 到 Databricks 表共享性能。 请参阅使用历史记录共享改善表读取性能

个人访问令牌的最大生存期现改为 730 天(两年)

2024 年 12 月 5 日

新建的 Databricks 颁发的个人访问令牌的默认最长生存期现在改为 730 天(两年)。 以前,可以创建默认不会过期的个人访问令牌。 此次更新后,用户无法生成生存期超过 730 天的新令牌,创建令牌时如果没有指定生存期,生存期会设置为 730 天。 如果工作区的最大令牌生存期已配置为少于 730 天,则该配置会保持不变。 请参阅监控和撤销个人访问令牌Azure Databricks 个人访问令牌身份验证

Mosaic AI 模型训练 – 无服务器预测(公共预览版)

2024 年 12 月 5 日

Mosaic AI 模型训练 – 预测功能具备托管的无服务器计算、Unity Catalog 支持、对深度学习算法的访问权限以及升级接口,改善了现有的 AutoML 预测体验。

将无服务器预算策略添加到模型服务端点

2024 年 12 月 4 日

模型服务终结点现在支持预算策略。