2023 年 11 月

这些功能和 Azure Databricks 平台的改进已于 2023 年 11 月发布。

注意

发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。

Mosaic AI 矢量搜索处于公共预览状态

2023 年 11 月 30 日

Mosaic AI 矢量搜索是一个无服务器相似度搜索引擎,可用于在矢量数据库中存储数据(包括元数据)的矢量表示形式。 作为此功能的一部分,可以从 Unity 目录中的数据创建自动更新矢量搜索索引,并使用简单的 API 查询它们,以将最相似的矢量作为 RAG 工作流的一部分返回。 请参阅 Mosaic AI 矢量搜索。

无法再禁用访问控制列表

2023 年 11 月 29 日

以下设置在所有高级计划工作区上启用,并且无法再从工作区管理设置页或工作区 Conf API 中禁用:

  • 工作区访问控制:允许用户配置对工作区对象的权限。
  • 群集、池、作业访问控制:允许用户配置对群集、池和作业的权限。
  • 群集可见性控制:避免群集对没有权限的用户可见。
  • 作业可见性控制:避免作业对没有权限的用户可见。
  • 工作区可见性控制设置:避免笔记本和文件夹对没有权限的用户可见。

2018 年 3 月起,新工作区默认启用访问控制设置,自 2020 年 12 月起,默认启用可见性控制设置。

有关详细信息,请参阅访问控制列表

Cataolog Explorer 中卷的新行为和操作

2023 年 11 月 22 日

现在,如果“上传到卷”用户界面中不存在任何卷,则可以在目标架构中创建新卷。 请参阅将文件上传到 Unity Catalog 卷

已针对卷中的文件向 Catalog 资源管理器添加“删除文件”和“下载文件”等操作

Databricks Runtime 14.2 已正式发布

2023 年 11 月 22 日

Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已推出正式版。

请参阅 Databricks Runtime 14.2用于机器学习的 Databricks Runtime 14.2

适用于 Python 的 Databricks SQL 连接器版本 3.0.0

2023 年 11 月 17 日

现在可以运行 pip install databricks-sql-connector==3.0.0

新增功能:

  • 移除了对 Python 3.7 的支持
  • 添加了对本机参数化 SQL 查询的支持。 需要 DBR 14.2 及更高版本。 有关详细信息,请参阅 databricks-sql-python GitHub 存储库中的使用本机参数
  • 包括完全重写的 SQLAlchemy 方言:
    • 添加对 SQLAlchemy >= 2.0 的支持,并删除对 SQLAlchemy 1.x 的支持
    • 对所有支持的功能进行全面的端到端测试
    • 此处提供详细的使用情况说明
    • 添加了对以下项的支持:
      • 新类型:TIMETIMESTAMPTIMESTAMP_NTZTINYINT
      • Numeric 类型缩放和精准率,如 Numeric(10,2)
      • 读取和写入 PrimaryKeyConstraintForeignKeyConstraint
      • 读取和写入组合键
      • 从视图读取和写入
      • Identity 写入表(自动增加主键)
      • LIMITOFFSET 用于分页列出结果
      • 缓存元数据调用
  • 默认启用 Cloud Fetch。 若要禁用,请在生成 databricks.sql.client 时设置 use_cloud_fetch=False
  • 为 Azure Databricks Unity Catalog 卷引入查询添加集成测试
  • 重试:
    • 添加 _retry_max_redirects 配置
    • 设置 _enable_v3_retries=True,并在用户替代它时发出警告。
  • 安全性:将最低 pyarrow 版本升级到 14.0.1 (CVE-2023-47248)

无隔离共享群集支持的工作区文件中的库

2023 年 11 月 15 日

现在可以在 Databricks Runtime 14.1 及更高版本中安装存储为工作区文件的库,以计算配置为无隔离共享访问模式。

弃用工作区库

2023 年 11 月 15 日

工作区库现已弃用,并且已禁用新建工作区库。 现有工作区库继续正常运行。 请注意,将库存储为工作区文件与存储为工作区库是不同的,但仍然完全受到支持。 可以将存储为工作区文件的库直接安装到计算或作业任务。 请参阅

对 Azure 机密计算 VM 类型的支持现已正式发布

2023 年 11 月 15 日

Azure Databricks 对 Azure 机密计算 VM 类型的支持现已正式发布。 Azure 机密计算有助于保护使用中的数据,防止云提供商访问敏感数据。 请参阅 Azure 机密计算 VM

2023 年 11 月 13 日

现在,可以使用 Azure Databricks 工作区 UI 中的全局搜索栏在 Databricks 市场中查找数据集、AI 模型和 Databricks 解决方案加速器。 请参阅搜索工作区项目

通过外部平台使用 Databricks 市场中的数据产品

2023 年 11 月 10 日

未启用 Unity Catalog 的 Azure Databricks 工作区的使用者现在可以访问 Databricks 市场中的数据产品。 可以使用 Delta Sharing 开放共享连接器通过多个常见平台(包括 Microsoft Power BI、Microsoft Excel、pandas、Apache Spark 和非 Unity Catalog Databricks 工作区)访问市场数据。 外部平台上仅可使用表格数据集(例如,不是 Databricks 笔记本或模型)。

为若干 Azure 区域添加了对无服务器 SQL 仓库的支持

2023 年 11 月 9 日

以下 Azure 区域现在支持无服务器 SQL 仓库:

  • 巴西南部
  • 印度中部 (centralindia)
  • 日本东部 (japaneast)
  • 美国中北部
  • 英国南部

请参阅 Azure Databricks 区域

为新工作区自动启用 Unity Catalog

2023 年 11 月 9 日

Databricks 已开始为新工作区自动启用 Unity Catalog。 这样就无需帐户管理员在创建工作区后配置 Unity Catalog。 跨帐户逐步推出。 请参阅 Unity Catalog 的自动启用

Databricks Runtime 14.2(beta 版本)

2023 年 11 月 8 日

Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已作为 Beta 版本发布。

请参阅 Databricks Runtime 14.2用于机器学习的 Databricks Runtime 14.2

Databricks 市场包括 Databricks 解决方案加速器

2023 年 11 月 7 日

Databricks 市场现提供对 Databricks 解决方案加速器的访问权限和包括功能齐全的笔记本、最佳做法指导和示例数据的专门指南,以便快速设置 Azure Databricks 上的许多常用用例。

Lakehouse Federation 添加了对 Google BigQuery 的支持

2023 年 11 月 3 日

现在可以将 Lakehouse Federation 配置为使用 BigQuery 连接器类型运行联合查询。 Pro、无服务器 SQL 仓库和 Databricks Runtime 13.3 LTS 及更高版本支持新的 BigQuery 连接器。