Delta Live Tables 发行说明和版本升级过程

  • 项目

本文介绍 Delta Live Tables 发布过程、Delta Live Tables 运行时的管理方式，并提供了指向每个 Delta Live Tables 版本的发行说明的链接。

增量实时表运行时通道

Delta Live Tables 群集根据 Databricks Runtime 发行说明版本和兼容性使用运行时。 Databricks 会自动升级 Delta Live Tables 运行时，以支持对平台的增强和升级。 可以使用 Delta Live Tables 管道设置中的 channel 字段控制运行管道的 Delta Live Tables 运行时版本。 支持的值包括：

  • current，使用当前运行时版本。
  • preview，使用运行时版本即将推出的更改来测试管道。

默认情况下，管道使用 current 运行时版本运行。 Databricks 建议将 current 运行时用于生产工作负载。 若要了解如何使用 preview 设置通过下一个运行时版本测试管道，请参阅使用下一个运行时版本自动测试管道。

若要查看与 Delta Live Tables 发行版配合使用的 Databricks Runtime 版本，请参阅该发行版的发行说明。

有关 Delta Live Tables 通道的详细信息，请参阅 Delta Live Tables 管道设置中的 channel 字段。

若要了解 Delta Live Tables 如何管理每个版本的升级过程，请参阅 Delta Live Tables 升级工作原理。

如何查找管道更新的 Databricks Runtime 版本？

可以查询增量实时表事件日志，查找用于管道更新的 Databricks Runtime 版本。 请参阅 运行时信息。

Delta Live Tables 发行说明

增量实时表发行说明按年份和年份的周进行组织。 由于 Delta Live Tables 无版本，因此工作区和运行时更改都会自动发生。 以下发行说明概述了每个版本中的更改和 bug 修复：

Delta Live Tables 升级工作原理

Delta Live Tables 被视为无版本产品，这意味着 Databricks 会自动升级 Delta Live Tables 运行时以支持对平台的增强和升级。 Databricks 建议限制 Delta Live Tables 管道的外部依赖项。

Databricks 会主动防止自动升级将错误或问题引入生产性 Delta Live Tables 管道。 请参阅 Delta Live Tables 升级过程。

Databricks 建议使用 preview 通道来主动测试管道，这尤其适用于部署具有外部依赖项的 Delta Live Tables 管道的用户。 请参阅使用下一个运行时版本自动测试管道。

Delta Live Tables 升级过程

Databricks 管理由 Delta Live Tables 计算资源使用的 Databricks Runtime。 增量实时表会自动升级 Azure Databricks 工作区中的运行时，并在升级后监视管道的运行状况。

如果 Delta Live Tables 检测到由于升级而无法启动管道，则管道的运行时版本会还原到以前的已知稳定版本，并且会自动触发以下步骤：

  • 管道的增量实时表运行时固定到以前的已知良好版本。
  • 增量实时表 UI 显示一个可视指示器，指示管道由于升级失败而固定到以前的版本。
  • Databricks 支持收到问题通知。
    • 如果问题与运行时中的回归有关，Databricks 会解决此问题。
    • 如果问题是由管道使用的自定义库或包引起的，Databricks 会联系你解决问题。
  • 解决问题后，Databricks 会再次启动升级。

重要

Delta Live Tables 仅还原在生产模式下运行且通道设置为 current 的管道。

使用下一个运行时版本自动测试管道

若要确保下一个增量实时表运行时版本中的更改不会影响管道，请使用增量实时表通道功能：

  1. 创建暂存管道并将通道设置为 preview。
  2. 在增量实时表 UI 中，创建每周运行管道的计划，并启用警报来接收管道故障的电子邮件通知。 Databricks 建议每周安排一次管道测试运行，尤其是在你使用自定义管道依赖项的情况下。
  3. 如果收到故障通知并且无法解决故障，请使用 Databricks 开具支持票证。

管道依赖项

增量实时表支持管道中的外部依赖项；例如，可以使用 %pip install 命令安装任何 Python 包。 增量实时表还支持使用全局和群集范围的 init 脚本。 但是，这些外部依赖项（尤其是 init 脚本）会增加运行时升级问题的风险。 若要缓解这些风险，请尽量减少在管道中使用 init 脚本。 如果处理需要 init 脚本，请自动测试管道以提前检测问题；请参阅使用下一个运行时版本自动测试管道。 如果使用 init 脚本，Databricks 建议增加测试频率。