2023 年 10 月
这些功能和 Azure Databricks 平台的改进已于 2023 年 10 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks SQL Serverless 的无服务器安全连接(公共预览版)
2023 年 10 月 31 日
新的无服务器安全连接工具可帮助控制从无服务器 SQL 仓库到 Azure 存储中数据源的网络访问。 可以选择使用子网 ID 的存储防火墙,或启用使用 Azure 专用链接的专用连接。 若要加入公共预览版,请联系 Azure Databricks 帐户团队。
如果存储防火墙是使用 2023 年 10 月 31 日之前在 Azure Databricks 文档中列出的子网 ID 配置的,Databricks 建议使用其中一个新工具更新每个工作区区域的防火墙配置。 这可以帮助你在所有工作区中应用一致的部署。 如果选择不更新现有配置,工作区将继续工作。
查看 Azure Databricks 作业的 YAML 源
2023 年 10 月 30 日
现在,可以通过单击作业详细信息页上的 并选择“查看 YAML/JSON”来查看和复制作业的 YAML 源。 可使用 YAML 源通过 Databricks 资产捆绑包创建 CI/CD 工作流。 请参阅什么是 Databricks 资产捆绑包?。
将条件逻辑添加到 Azure Databricks 工作流
2023 年 10 月 30 日
现在,可以使用 If/else condition
任务根据布尔表达式的结果在 Azure Databricks 作业中有条件地运行任务。 请参阅使用 If/else 条件任务向作业添加分支逻辑。
在可由所有作业任务引用的 Azure Databricks 作业上配置参数
2023 年 10 月 30 日
现在可以向 Azure Databricks 作业添加参数,这些作业会自动传递给接受键值对的所有作业任务。 请参阅为所有作业任务添加参数。 此外,现在还可以使用扩展的值引用集在作业任务之间传递上下文和状态。 请参阅将有关作业运行的上下文传递到作业任务中。
自动启用删除向量
2023 年 10 月 30 日
现在,可以使用工作区管理员设置“自动启用删除向量”在 Databricks Runtime 14.0 及更高版本中的所有新 Delta 表上启用删除向量。 此行为当前处于选择加入状态,但将来将更改为选择退出。 Databricks 建议手动配置此设置的选项。
对 UNDROP TABLE
的 Unity Catalog 支持正式发布
2023 年 10 月 25 日
可以在删除后 7 天内在现有架构中取消删除某个已删除的托管表或外部表。 需要 Databricks Runtime 12.1 及更高版本。 请参阅 UNDROP TABLE 和 SHOW TABLES DROPPED。
Partner Connect 支持 Dataiku
2023 年 10 月 25 日
现在可以使用 Partner Connect 将 Azure Databricks 工作区连接到 Dataiku。 请参阅连接到 Dataiku。
Databricks AutoML 生成的笔记本现在保存为 MLflow 项目
2023 年 10 月 24 日
Databricks AutoML 生成的笔记本现在在所有用于机器学习的 Databricks Runtime 版本中保存为 MLflow 项目。
新区域:卡塔尔中部
2023 年 10 月 23 日
Azure Databricks 现已在卡塔尔中部推出。 请参阅 Azure Databricks 区域。
Azure 防火墙和专用链接支持的 Unity Catalog 卷
2023 年 10 月 23 日
现在,可以将 Unity Catalog 卷与配置有 Azure 防火墙或专用链接的 Azure 存储帐户结合使用。 这消除了以前的限制。
预测优化(公共预览版)
2023 年 10 月 24 日
预测优化不再需要手动管理 Delta 表的维护操作。 维护操作仅在必要时运行,不会在不必要时运行,且消除了与跟踪和故障排除性能相关的负担。 请参阅 Unity Catalog 托管表的预测性优化。
计算系统表现已可用(公共预览版)
2023 年 10 月 23 日
架构 system.compute
包含两个新表,可用于监视帐户中的计算资源:clusters
和 node_types
。
群集表是一个变化缓慢的维度表,其中包含通用群集和作业群集的群集配置随时间推移而变化的完整历史记录。 节点类型表可使用其基本硬件信息捕获当前可用的节点类型。 如果无权访问这些系统表,则请确保已在帐户中启用计算架构。
按需功能计算是已正式发布
2023 年 10 月 19 日
现在可以在推理时按需计算机器学习特征。 这使模型能够使用仅在推理时可用的输入(例如用户的当前位置)计算特征,或者使用成本高昂的特征来进行预计算、存储和刷新。 模型训练代码可以定义在模型训练和推理期间执行的任意特征查找和计算图表。
特征计算逻辑、模型和数据均受 Unity Catalog 管理。 有关详细信息,请参阅使用 Python 用户定义的函数按需计算特征。
Unity Catalog 中的特征工程已正式发布
2023 年 10 月 19 日
借助 Unity Catalog 中的功能工程,Unity Catalog 将成为特征存储区。 可以使用具有主键的任何增量表作为特征表进行模型训练或推理。 Unity Catalog 提供功能发现和治理。
AI 生成的表注释(公共预览版)
2023 年 10 月 18 日
作为使用 AI 帮助你使用 Azure Databricks 举措的一部分,Azure Databricks 将在公共预览版中引入 AI 生成的表和列注释。 在目录资源管理器中,可以查看、编辑和添加 AI 为 Unity Catalog 管理的任何表或表列生成的注释。 AI 生成的注释可使用外部模型合作伙伴来提供响应。 发送到这些服务的数据不用于模型训练。
Unity Catalog 中的模型已正式发布
2023 年 10 月 17 日
Unity Catalog 中的 ML 模型现已正式发布。 Unity Catalog 提供了集中式访问控制、审核、世系、跨工作区模型共享,以及更好的 MLOps 部署工作流。 Azure Databricks 建议在 Unity Catalog 中使用模型,而不是工作区模型注册表。 有关详细信息,请参阅在 Unity Catalog 中管理模型生命周期。
计算策略中现在支持使用库(公共预览版)
2023 年 10 月 17 日
工作区管理员现在可以将库添加到计算策略。 使用策略的计算将自动安装库。 用户无法在使用此策略的计算上安装或卸载计算范围的库。 以前安装的库将被卸载。
Databricks 建议迁移使用初始化脚本安装的所有库,以使用计算策略。 请参阅《将库添加到策略》。
Partner Connect 支持 Monte Carlo
2023 年 10 月 16 日
现在可以使用 Partner Connect 将 Azure Databricks 工作区连接到 Monte Carlo。 有关详细信息,请参阅将 Azure Databricks 连接到 Monte Carlo。
语义搜索(公共预览版)
2023 年 10 月 16 日
现可在高级“搜索”对话框中使用自然语言来搜索 Unity Catalog 表。 参阅语义搜索。
在工作区级别启用 Databricks 助手
2023 年 10 月 11 日
如果帐户管理员允许,则工作区管理员现在可以为单个工作区启用或禁用 Databricks 助手。
新的 Photon 默认值
2023 年 10 月 11 日
通过 UI 创建新群集时,默认 Databricks Runtime 引擎已启用 Photon。 这适用于通用群集和作业群集。
使用与 Photon 兼容的群集策略创建的新群集默认已启用 Photon。 如果 Databricks Runtime 支持某群集策略,支持节点类型,且 runtime_engine
未显式设置为 STANDARD
,则该策略与 Photon 兼容。
Databricks Runtime 14.1 已正式发布
2023 年 10 月 11 日
Databricks Runtime 14.1 和 Databricks Runtime 14.1 ML 现已推出正式版。
请参阅 Databricks Runtime 14.1 和用于机器学习的 Databricks Runtime 14.1。
开发人员工具发行说明已移动
2023 年 10 月 10 日
2023 年 10 月 10 日之后的 Azure Databricks 开发人员工具发行说明现已发布在 Azure Databricks 开发人员工具和 SDK 发行说明中,而不是 Azure Databricks 平台发行说明中。
Visual Studio Code 教程的 Databricks 扩展已更新至版本 1.1.5
2023 年 10 月 9 日
Visual Studio Code 的 Databricks 扩展版本 1.1.5 包含几个细微修复。 有关详细信息,请参阅版本 1.1.5 的更改日志。
更新的预测性 I/O 已正式发布
2023 年 10 月 9 日
Databricks Runtime 14.0 及更高版本上现已正式发布用于更新的预测性 I/O。 请参阅什么是预测性 I/O?
删除向量已正式发布
2023 年 10 月 9 日
删除向量现已在 Databricks Runtime 14.0 及更高版本上正式发布。 请参阅什么是删除向量?。
Partner Connect 支持 RudderStack
2023 年 10 月 5 日
现在可以使用 Partner Connect 将 Azure Databricks 工作区连接到 RudderStack。 有关详细信息,请参阅连接到 RudderStack。
Databricks CLI 已更新到版本 0.207.0(公共预览版)
2023 年 10 月 4 日
Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.207.0。 此版本包含 Databricks 资产捆绑包的功能更新和修补程序,对多个命令组和命令进行添加和更改,等等。 有关详细信息,请参阅版本 0.207.0 的更改日志。
运行笔记本中的选定单元格
2023 年 10 月 4 日
现在,只能在笔记本中运行所选单元格。 请参阅运行所选单元格。
使用工作区目录绑定授予对目录的只读访问权限
2023 年 10 月 4 日
现在,在使用工作区目录绑定限制对帐户中特定工作区进行目录访问时,可以将该访问权限设为只读。 只读工作区-目录绑定对于一些方案非常有用,例如允许用户从开发人员工作区对生产数据进行只读访问,以实现开发和测试。
此更新还弃用了 /api/2.1/unity-catalog/workspace-bindings/
API 终结点,并将其替换为 /api/2.1/unity-catalog/bindings/
。
请参阅仅限特定工作区能访问目录。
Visual Studio Code 教程的 Databricks 扩展已更新至版本 1.1.4
2023 年 10 月 2 日
Visual Studio Code 的 Databricks 扩展 版本 1.1.4 添加了对自定义 Azure Databricks 工作区 URL 的支持等。 有关详细信息,请参阅版本 1.1.4 的更改日志。
Databricks SDK for Python 已更新至版本 0.10.0(Beta 版本)
2023 年 10 月 3 日
Databricks SDK for Python 版本 0.10.0 引入了 7 项重大更改,添加了 10 个数据类、6 个字段和一个服务。 有关详细信息,请参阅版本 0.10.0 的更改日志。
Databricks SDK for Go 已更新到版本 0.22.0(Beta 版)
2023 年 10 月 3 日
Databricks SDK for Go 版本 0.22.0 引入了一项重大 API 更改,并添加了一个 API。 有关详细信息,请参阅版本 0.22.0 的更改日志。
Unity Catalog 卷现作为中国区 Azure 的公共预览版提供
2023 年 10 月 2 日
Unity Catalog 卷现作为由世纪互联运营的 Azure 区域中的公共预览版功能提供。 请参阅什么是 Unity Catalog 卷?。