2024 年 6 月
这些功能和 Azure Databricks 平台改进已于 2024 年 6 月发布。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
笔记本 - 无序语法突出显示
2024 年 6 月 16 日
现在,如果变量在声明之前被使用,笔记本中突出显示的 Python 语法错误会提醒用户并建议修复。
笔记本助手自动诊断错误
2024 年 6 月 16 日
Databricks 助手现在会自动诊断笔记本中的代码错误。 这会使用生成式 AI 来分析代码和错误消息,以直接在笔记本中建议修复。
目录资源管理器改进
2024 年 6 月 28 日
目录资源管理器进行了以下改进:
添加了“快速访问”部分,该部分显示最近的 Unity Catalog 对象、收藏的 Unity Catalog 对象以及用于进行浏览的目录和架构。
移除了顶部栏和可折叠结构,并将以下内容的入口点移动到了边栏(该边栏使用了可简化导航操作的架构浏览器)中的齿轮图标菜单中:
- 计算选择
- 增量共享
- 存储凭据
- 外部位置
- 连接
- 浏览 DBFS
你还可以访问目录资源管理器顶部的“增量共享”和“外部数据”(在“快速访问”部分的上方)。
从单个模型服务终结点提供多个外部模型
2024 年 6 月 27 日
Mosaic AI 模型服务现在支持为每个模型服务终结点提供多个外部模型。
Databricks 助手现已正式发布
2024 年 6 月 27 日
Databricks 助手现已正式发布。 助手功能包括:
生成、调试、优化和解释代码。
基于数据创建可视化效果。
调试作业(公共预览版功能)。
编写代码并编辑 SQL 查询。
在 Azure Databricks 文档和知识库中查找相关帮助内容。
Databricks 助手现可为线程提供标题
2024 年 6 月 27 日
为了更轻松地导航帮助线程,Databricks 助手会根据提示的上下文为线程提供标题。
将定期计划快速添加到 Azure Databricks 工作流
2024 年 6 月 28 日
现在,只需指定时间间隔和时间单位(例如,每隔 4 小时运行一次工作流),即可将简单的计划添加到 Azure Databricks 工作流。 通过此新计划类型,只需单击几下鼠标即可添加计划,从而补充了现有的高级计划类型。 请参阅按计划运行作业或连续运行作业。
Databricks Runtime 15.3 已正式发布
2024 年 6 月 24 日
Databricks Runtime 15.3 和 Databricks Runtime 15.3 ML 现已推出正式版。
请参阅 Databricks Runtime 15.3 和用于机器学习的 Databricks Runtime 15.3。
Azure Geographies 正式发布
2024 年 6 月 24 日
Azure Geographies 现已正式发布。 Azure Geographies 在处理某些 AI 功能的客户内容时管理数据驻留。
改进后的新的目录创建 UI
2024 年 6 月 18 日
新的目录创建 UI 会逐步完成创建和配置目录的整个过程,提供有用的提示,并将所需的配置与可选配置分开。 可以使用同一用户界面创建标准目录、共享目录和外部目录。
请参阅创建目录。
对网络连接配置中的子网的更新
2024 年 6 月 18 日
Databricks 正在更新所有区域中网络连接配置 (NCC) 中的子网。 新的子网 ID 会自动添加到现有的 Azure 存储防火墙规则中,这些规则允许从现有子网 ID 进行访问,以确保来自 Azure Databricks 的访问不间断。
如果使用网络连接配置 API 获取子网 ID 并将其添加到新的 Azure 存储帐户的存储网络规则,则不会遇到任何中断。 但是,如果对现有子网 ID 集进行硬编码,则可能会遇到中断。 Databricks 建议使用 API 获取最新信息。 请参阅网络连接配置 API。
此更新将在 PDT 时间 2024 年 6 月 20 日晚上 8:00 到凌晨 12:00 之间进行,在此期间网络连接配置 API 可能会出现故障。
计费系统表默认启用
2024 年 6 月 18 日
system.billing
架构现已在所有 Unity Catalog 工作区中默认启用。
Lakehouse Monitoring 现已正式发布
2024 年 6 月 13 日
Databricks Lakehouse Monitoring 现已正式发布。
使用 Delta Sharing 的卷共享现已正式发布
2024 年 6 月 13 日
对将非表格数据共享为卷的 Delta Sharing 支持现已正式发布。 可以在不同的 Unity Catalog 元存储上的 Databricks 工作区之间共享卷(包括不同 Databricks 帐户和不同云上的工作区)。
卷是 Unity Catalog 对象,表示云对象存储位置中的逻辑存储卷。 它们主要用于提供对非表格数据资产的治理。 Databricks 上的 Delta Sharing 提供了与 Unity Catalog 的原生集成,让你可以管理、治理、审核和跟踪共享卷数据的使用情况。
请参阅将卷添加到共享。
Databricks 矢量搜索的客户管理的密钥 (CMK) 现已正式发布
2024 年 6 月 12 日
矢量搜索终结点上的客户管理的密钥 (CMK) 现已正式发布。
Mosaic AI 代理框架(公共预览版)
2024 年 6 月 12 日
Mosaic AI 代理框架是 Databricks 上的一组工具,这些工具旨在帮助开发人员构建、部署和评估生产质量检索增强生成 (RAG) 应用程序。 通过代理框架,你可以使用自己的数据在单个平台上创建或优化 LLM 应用程序。
代理框架包括以下功能:
- 创建和记录代理和链。
- 参数化代理和链以快速试验和循环访问。
- 内置指标,用于比较相关文档的检索、响应准确度以及成本和延迟。
- 自定义 LLM 判定,用于检索和响应准确度。
- 使用自动请求和响应日志记录部署 AI 应用程序。
- 内置评审应用,用于获取用户反馈。
- 代理评估,用于评估生成式 AI 应用程序的质量、延迟和成本。
- MLflow 跟踪,用于分析和比较代码执行之间的跟踪。
预测性优化现已正式发布
2024 年 6 月 11 日
Unity Catalog 托管表的预测性优化现已正式发布。 预测性优化现在在已启用 liquid 聚类分析的表上运行 OPTIMIZE
,以应用聚类分析。
路由优化可供服务终结点使用
2024 年 6 月 11 日
现在可以为模型服务或特征服务工作流创建路由优化的服务终结点。
通过工作区存储帐户防火墙支持模型服务
2024 年 6 月 11 日
现在可以通过工作区存储帐户的防火墙支持来支持模型服务。
列映射现已正式发布
2024 年 6 月 10 日
Delta Lake 列映射现已正式发布。 现在可以使用 DROP FEATURE
禁用列映射和降级表协议。 请参阅使用 Delta Lake 列映射重命名和删除列。
工作流系统表现已推出(公共预览版)
2024 年 6 月 10 日
架构 system.lakeflow
包含四个新表,可用于监视帐户中的作业。
如果无权访问这些系统表,则请确保已在帐户中启用 system.lakeflow
架构。
函数调用提供公共预览版
2024 年 6 月 10 日
函数调用现已推出公共预览版。 此功能可通过使用基础模型 API 按令牌付费模型获得:DBRX Instruct 和 Meta-Llama-3-70B-Instruct。
使用 vector_search()
查询矢量索引
2024 年 6 月 10 日
AI 函数现在支持可用于使用 SQL 查询 Mosaic AI 矢量搜索索引的 vector_search()
。
Mosaic AI 矢量搜索现在支持混合搜索
2024 年 6 月 7 日
Mosaic AI 矢量搜索现在支持混合关键字相似性搜索,将基于矢量的嵌入搜索与传统的基于关键字的搜索技术相结合。 此方法匹配查询中的确切字词,同时使用基于矢量的相似性搜索来捕获查询的语义关系和上下文。 通过整合这两种技术,混合关键字相似性搜索不仅可以检索包含确切关键字的文档,而且还可以检索包含概念上相似的关键字的文档,从而提供更全面、更相关的搜索结果。
模型服务现已支持 GTE
2024 年 6 月 7 日
Mosaic AI 模型服务现在支持常规文本嵌入 (GTE),这是一种可以将文本映射到嵌入矢量的文本嵌入模型。 GTE 作为基础模型 API 的一部分受支持,可在按令牌付费服务终结点区域中使用。
Databricks 助手:默认启用线程和查询体验
2024 年 6 月 6 日
Databricks 助手(公共预览版)现在默认跟踪会话中整个编辑器上下文中的查询线程和历史记录。 可以管理帐户或单个工作区中所有工作区的启用。
改进了笔记本 Markdown 编辑器
2024 年 6 月 5 日
现在可以在笔记本中查看 Markdown 单元的实时预览,并访问常见 Markdown 元素(如标头、列表和链接)的工具栏。 花更多时间表达你的想法,减少记住语法的时间。
从笔记本快速访问目录资源管理器表
2024 年 6 月 5 日
现在可以直接从笔记本轻松访问目录资源管理器表。 将鼠标悬停在笔记本单元格中的表单名称上方,获取其目录资源管理器页面的链接,以查看列、权限等详细信息。
Databricks ODBC 驱动程序 2.8.2
2024 年 6 月 4 日
现已发布 Databricks ODBC 驱动程序版本 2.8.2(下载)。 此版本增加了以下新功能和增强功能:
- 客户现在可以使用扩展的 SQL
PUT
、GET
和REMOVE
命令在 Unity Catalog 卷中引入和管理大型数据集。 - 默认的 OAuth 配置值现已更新并合规。 更新的配置选项包括授权终结点、OAuth 客户端 ID、OAuth 用户到计算机范围和 OAuth 计算机到计算机范围。 有关详细信息,请参阅发行说明。
- 第三方库已更新,包括 expat 2.6.2(以前为 2.6.0)和 libCURL 8.7.1(以前为 8.6.0)。
- 如果将私人签名的证书颁发机构 (CA) 添加到 Windows 受信任的根 CA 证书存储,则驱动程序现在会接受该证书颁发机构。
此版本还解决了以下问题:
- 如果表注释的长度超过
MaxCommentLen
,则客户端以前会返回错误。 默认行为现在会截断表注释,使其符合MaxCommentLen
中指定的限制。 - 客户端以前在某些情况下发出
SQLCancel
时会返回错误。
新的 Databricks 笔记本 UI 现已正式发布
2024 年 6 月 4 日
新的 Databricks 笔记本 UI 为开发人员提供了简化的、以数据为中心的创作体验。 主要功能包括:
- 新式 UX:通过更新的 UI 和其他功能享受简化的编码体验,以增强笔记本组织。
- 新结果表:直接在结果输出上使用搜索和筛选功能执行无代码数据浏览。