通过

2023 年 11 月

  • 项目

这些功能和 Azure Databricks 平台的改进已于 2023 年 11 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考，这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 工作区可能要等到初始发布日期后的一周或更长时间才会更新。

Mosaic AI 矢量搜索处于公共预览状态

2023 年 11 月 30 日

Mosaic AI 矢量搜索是一个无服务器相似度搜索引擎，可用于在矢量数据库中存储数据（包括元数据）的矢量表示形式。 作为此功能的一部分，可以从 Unity 目录中的数据创建自动更新矢量搜索索引，并使用简单的 API 查询它们，以将最相似的矢量作为 RAG 工作流的一部分返回。 请参阅 Mosaic AI 矢量搜索。

无法再禁用访问控制列表

2023 年 11 月 29 日

以下设置在所有高级计划工作区上启用，并且无法再从工作区管理设置页或工作区 Conf API 中禁用：

  • 工作区访问控制：允许用户配置对工作区对象的权限。
  • 群集、池、作业访问控制：允许用户配置对群集、池和作业的权限。
  • 群集可见性控制：避免群集对没有权限的用户可见。
  • 作业可见性控制：避免作业对没有权限的用户可见。
  • 工作区可见性控制设置：避免笔记本和文件夹对没有权限的用户可见。

自 2018 年 3 月起，新工作区默认启用访问控制设置，自 2020 年 12 月起，默认启用可见性控制设置。

有关详细信息，请参阅访问控制列表。

Cataolog Explorer 中卷的新行为和操作

2023 年 11 月 22 日

现在，如果“上传到卷”用户界面中不存在任何卷，则可以在目标架构中创建新卷。 请参阅将文件上传到 Unity Catalog 卷。

已针对卷中的文件向 Catalog 资源管理器添加“删除文件”和“下载文件”等操作。

Databricks Runtime 14.2 已正式发布

2023 年 11 月 22 日

Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已推出正式版。

请参阅 Databricks Runtime 14.2 (EoS) 和用于机器学习的 Databricks Runtime 14.2 (EoS)。

适用于 Python 的 Databricks SQL 连接器版本 3.0.0

2023 年 11 月 17 日

现在可以运行 pip install databricks-sql-connector==3.0.0。

新增功能：

  • 移除了对 Python 3.7 的支持
  • 添加了对本机参数化 SQL 查询的支持。 需要 DBR 14.2 及更高版本。 有关详细信息，请参阅 databricks-sql-python GitHub 存储库中的使用本机参数。
  • 包括完全重写的 SQLAlchemy 方言：
    • 添加对 SQLAlchemy >= 2.0 的支持，并删除对 SQLAlchemy 1.x 的支持
    • 对所有支持的功能进行全面的端到端测试
    • 此处提供详细的使用情况说明
    • 添加了对以下项的支持：
      • 新类型：TIME、TIMESTAMP、TIMESTAMP_NTZ、TINYINT
      • Numeric 类型缩放和精准率，如 Numeric(10,2)
      • 读取和写入 PrimaryKeyConstraint 和 ForeignKeyConstraint
      • 读取和写入组合键
      • 从视图读取和写入
      • 将 Identity 写入表（自动增加主键）
      • LIMIT 和 OFFSET 用于分页列出结果
      • 缓存元数据调用
  • 默认启用 Cloud Fetch。 若要禁用，请在生成 databricks.sql.client 时设置 use_cloud_fetch=False。
  • 为 Azure Databricks Unity Catalog 卷引入查询添加集成测试
  • 重试：
    • 添加 _retry_max_redirects 配置
    • 设置 _enable_v3_retries=True，并在用户替代它时发出警告。
  • 安全性：将最低 pyarrow 版本升级到 14.0.1 (CVE-2023-47248)

无隔离共享群集支持的工作区文件中的库

2023 年 11 月 15 日

现在可以在 Databricks Runtime 14.1 及更高版本中安装存储为工作区文件的库，以计算配置为无隔离共享访问模式。

弃用工作区库

2023 年 11 月 15 日

工作区库现已弃用，并且已禁用新建工作区库。 现有工作区库继续正常运行。 请注意，将库存储为工作区文件与存储为工作区库是不同的，但仍然完全受到支持。 可以将存储为工作区文件的库直接安装到计算或作业任务。 请参阅库。

对 Azure 机密计算 VM 类型的支持现已正式发布

2023 年 11 月 15 日

Azure Databricks 对 Azure 机密计算 VM 类型的支持现已正式发布。 Azure 机密计算有助于保护使用中的数据，防止云提供商访问敏感数据。 请参阅 Azure 机密计算 VM。

2023 年 11 月 13 日

现在，可以使用 Azure Databricks 工作区 UI 中的全局搜索栏在 Databricks 市场中查找数据集、AI 模型和 Databricks 解决方案加速器。 请参阅搜索工作区项目。

通过外部平台使用 Databricks 市场中的数据产品

2023 年 11 月 10 日

未启用 Unity Catalog 的 Azure Databricks 工作区的使用者现在可以访问 Databricks 市场中的数据产品。 可以使用 Delta Sharing 开放共享连接器通过多个常见平台（包括 Microsoft Power BI、Microsoft Excel、pandas、Apache Spark 和非 Unity Catalog Databricks 工作区）访问市场数据。 外部平台上仅可使用表格数据集（例如，不是 Databricks 笔记本或模型）。

为若干 Azure 区域添加了对无服务器 SQL 仓库的支持

2023 年 11 月 9 日

以下 Azure 区域现在支持无服务器 SQL 仓库：

  • 巴西南部
  • 印度中部 (centralindia)
  • 日本东部 (japaneast)
  • 美国中北部
  • 英国南部

请参阅 Azure Databricks 区域。

为新工作区自动启用 Unity Catalog

2023 年 11 月 9 日

Databricks 已开始为新工作区自动启用 Unity Catalog。 这样就无需帐户管理员在创建工作区后配置 Unity Catalog。 跨帐户逐步推出。 请参阅 Unity Catalog 的自动启用。

Databricks Runtime 14.2（beta 版本）

2023 年 11 月 8 日

Databricks Runtime 14.2 和 Databricks Runtime 14.2 ML 现已作为 Beta 版本发布。

请参阅 Databricks Runtime 14.2 (EoS) 和用于机器学习的 Databricks Runtime 14.2 (EoS)。

Databricks 市场包括 Databricks 解决方案加速器

2023 年 11 月 7 日

Databricks 市场现提供对 Databricks 解决方案加速器的访问权限和包括功能齐全的笔记本、最佳做法指导和示例数据的专门指南，以便快速设置 Azure Databricks 上的许多常用用例。

Lakehouse Federation 添加了对 Google BigQuery 的支持

2023 年 11 月 3 日

现在可以将 Lakehouse Federation 配置为使用 BigQuery 连接器类型运行联合查询。 Pro、无服务器 SQL 仓库和 Databricks Runtime 13.3 LTS 及更高版本支持新的 BigQuery 连接器。