2023 年 11 月
这些功能和 Azure Databricks 平台的改进已于 2023 年 11 月发布。
注意
发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。
Mosaic AI 矢量搜索处于公共预览状态
2023 年 11 月 30 日
Mosaic AI 矢量搜索是一个无服务器相似度搜索引擎,可用于在矢量数据库中存储数据(包括元数据)的矢量表示形式。 作为此功能的一部分,可以从 Unity 目录中的数据创建自动更新矢量搜索索引,并使用简单的 API 查询它们,以将最相似的矢量作为 RAG 工作流的一部分返回。 请参阅 Mosaic AI 矢量搜索。
无法再禁用访问控制列表
2023 年 11 月 29 日
以下设置在所有高级计划工作区上启用,并且无法再从工作区管理设置页或工作区 Conf API 中禁用:
- 工作区访问控制:允许用户配置对工作区对象的权限。
- 群集、池、作业访问控制:允许用户配置对群集、池和作业的权限。
- 群集可见性控制:避免群集对没有权限的用户可见。
- 作业可见性控制:避免作业对没有权限的用户可见。
- 工作区可见性控制设置:避免笔记本和文件夹对没有权限的用户可见。
自 2018 年 3 月起,新工作区默认启用访问控制设置,自 2020 年 12 月起,默认启用可见性控制设置。
有关详细信息,请参阅访问控制列表。
Cataolog Explorer 中卷的新行为和操作
2023 年 11 月 22 日
现在,如果“上传到卷”用户界面中不存在任何卷,则可以在目标架构中创建新卷。 请参阅将文件上传到 Unity Catalog 卷。
已针对卷中的文件向 Catalog 资源管理器添加“删除文件”和“下载文件”等操作。
Databricks Runtime 14.2 已正式发布
2023 年 11 月 22 日
Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已推出正式版。
请参阅 Databricks Runtime 14.2 和用于机器学习的 Databricks Runtime 14.2。
适用于 Python 的 Databricks SQL 连接器版本 3.0.0
2023 年 11 月 17 日
现在可以运行 pip install databricks-sql-connector==3.0.0
。
新增功能:
- 移除了对 Python 3.7 的支持
- 添加了对本机参数化 SQL 查询的支持。 需要 DBR 14.2 及更高版本。 有关详细信息,请参阅 databricks-sql-python GitHub 存储库中的使用本机参数。
- 包括完全重写的 SQLAlchemy 方言:
- 添加对 SQLAlchemy >= 2.0 的支持,并删除对 SQLAlchemy 1.x 的支持
- 对所有支持的功能进行全面的端到端测试
- 此处提供详细的使用情况说明
- 添加了对以下项的支持:
- 新类型:
TIME
、TIMESTAMP
、TIMESTAMP_NTZ
、TINYINT
Numeric
类型缩放和精准率,如Numeric(10,2)
- 读取和写入
PrimaryKeyConstraint
和ForeignKeyConstraint
- 读取和写入组合键
- 从视图读取和写入
- 将
Identity
写入表(自动增加主键) LIMIT
和OFFSET
用于分页列出结果- 缓存元数据调用
- 新类型:
- 默认启用 Cloud Fetch。 若要禁用,请在生成
databricks.sql.client
时设置use_cloud_fetch=False
。 - 为 Azure Databricks Unity Catalog 卷引入查询添加集成测试
- 重试:
- 添加
_retry_max_redirects
配置 - 设置
_enable_v3_retries=True
,并在用户替代它时发出警告。
- 添加
- 安全性:将最低 pyarrow 版本升级到 14.0.1 (CVE-2023-47248)
无隔离共享群集支持的工作区文件中的库
2023 年 11 月 15 日
现在可以在 Databricks Runtime 14.1 及更高版本中安装存储为工作区文件的库,以计算配置为无隔离共享访问模式。
弃用工作区库
2023 年 11 月 15 日
工作区库现已弃用,并且已禁用新建工作区库。 现有工作区库继续正常运行。 请注意,将库存储为工作区文件与存储为工作区库是不同的,但仍然完全受到支持。 可以将存储为工作区文件的库直接安装到计算或作业任务。 请参阅库。
对 Azure 机密计算 VM 类型的支持现已正式发布
2023 年 11 月 15 日
Azure Databricks 对 Azure 机密计算 VM 类型的支持现已正式发布。 Azure 机密计算有助于保护使用中的数据,防止云提供商访问敏感数据。 请参阅 Azure 机密计算 VM。
使用全局工作区搜索来搜索 Databricks 市场列表
2023 年 11 月 13 日
现在,可以使用 Azure Databricks 工作区 UI 中的全局搜索栏在 Databricks 市场中查找数据集、AI 模型和 Databricks 解决方案加速器。 请参阅搜索工作区项目。
通过外部平台使用 Databricks 市场中的数据产品
2023 年 11 月 10 日
未启用 Unity Catalog 的 Azure Databricks 工作区的使用者现在可以访问 Databricks 市场中的数据产品。 可以使用 Delta Sharing 开放共享连接器通过多个常见平台(包括 Microsoft Power BI、Microsoft Excel、pandas、Apache Spark 和非 Unity Catalog Databricks 工作区)访问市场数据。 外部平台上仅可使用表格数据集(例如,不是 Databricks 笔记本或模型)。
为若干 Azure 区域添加了对无服务器 SQL 仓库的支持
2023 年 11 月 9 日
以下 Azure 区域现在支持无服务器 SQL 仓库:
- 巴西南部
- 印度中部 (centralindia)
- 日本东部 (japaneast)
- 美国中北部
- 英国南部
请参阅 Azure Databricks 区域。
为新工作区自动启用 Unity Catalog
2023 年 11 月 9 日
Databricks 已开始为新工作区自动启用 Unity Catalog。 这样就无需帐户管理员在创建工作区后配置 Unity Catalog。 跨帐户逐步推出。 请参阅 Unity Catalog 的自动启用。
Databricks Runtime 14.2(beta 版本)
2023 年 11 月 8 日
Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已作为 Beta 版本发布。
请参阅 Databricks Runtime 14.2 和用于机器学习的 Databricks Runtime 14.2。
Databricks 市场包括 Databricks 解决方案加速器
2023 年 11 月 7 日
Databricks 市场现提供对 Databricks 解决方案加速器的访问权限和包括功能齐全的笔记本、最佳做法指导和示例数据的专门指南,以便快速设置 Azure Databricks 上的许多常用用例。
Lakehouse Federation 添加了对 Google BigQuery 的支持
2023 年 11 月 3 日
现在可以将 Lakehouse Federation 配置为使用 BigQuery
连接器类型运行联合查询。 Pro、无服务器 SQL 仓库和 Databricks Runtime 13.3 LTS 及更高版本支持新的 BigQuery 连接器。