Azure Databricks 如何管理 Delta Lake 功能兼容性？

Delta Lake 是一个独立的开源项目，由 Linux Foundation 管理。 Databricks 引入了对新的 Delta Lake 功能和优化的支持，这些功能和优化基于 Databricks Runtime 版本中的 Delta Lake。

利用 Delta Lake 功能的 Azure Databricks 优化遵循 OSS Delta Lake 中使用的协议以保持兼容。

许多 Azure Databricks 优化需要在表上启用 Delta Lake 功能。 Delta Lake 功能始终后向兼容，因此在较低 Databricks Runtime 版本中编写的表始终可以在较高 Databricks Runtime 版本中读取和写入。 启用某些功能会破坏与在较低 Databricks Runtime 版本中运行的工作负荷的前向兼容性。 对于破坏前向兼容性的功能，必须更新所有引用已升级表的工作负载，以使用兼容的 Databricks Runtime 版本。

以下 Delta Lake 功能会破坏前向兼容性。 功能是按表启用的。 下表列出了 Azure Databricks 仍然支持的最低 Databricks Runtime 版本。

请参阅 Databricks Runtime 发行说明版本和兼容性。

每个 Delta 表都有一个协议规范，用于指示该表支持的功能集。 读取或写入表的应用程序使用协议规范来确定它们是否可以处理该表支持的所有功能。 如果应用程序不知道如何处理表协议中列为“受支持”的功能，则该应用程序无法读取或写入该表。

协议规范由两个部分组成：读取协议和写入协议。

读取协议列出了表支持的所有功能，以及应用程序要正确读取该表而必须了解的所有功能。 所有读取方应用程序必须支持添加的功能才能升级表的读取协议。

写入协议列出了表支持的所有功能，以及应用程序要正确写入该表而必须了解的所有功能。 所有写入方应用程序必须支持添加的功能才能升级表的写入协议。 它不会影响只读应用程序，除非读取协议也已升级。

有些功能要求同时升级读取协议和写入协议。 还有些功能只要求升级写入协议。

例如，CHECK 约束支持是一项写入协议功能：只有写入方应用程序需要了解并实施 CHECK 约束。

相比之下，列映射要求同时升级读取和写入协议。 由于数据在表中的存储方式不同，读取方应用程序必须了解列映射才能正确读取数据。

在表上启用 Delta 功能时，会自动升级表协议。 Databricks 建议不更改 minReaderVersion 和 minWriterVersion 表属性。 更改这些表属性不会阻止协议升级。 将这些值设置得较低不会使表降级。 请参阅删除 Delta 表功能。

在 Databricks Runtime 12.2 LTS 及更高版本中，Delta Lake 表功能引入了细化的标志用于指定给定的表支持哪些功能。 在 Databricks Runtime 11.3 LTS 及更低版本中，Delta Lake 功能是在称为“协议版本”的捆绑包中启用的。 表功能是协议版本的后继功能，旨在提高读取和写入 Delta Lake 的客户端的灵活性。 请参阅什么是协议版本？。

Delta 表功能是指示该表支持特定功能的标记。 每个功能要么是写入协议功能（即它只升级写入协议），要么是读/写协议功能（即同时升级读取和写入协议以启用该功能）。

若要详细了解 Delta Lake 中支持的表功能，请参阅 Delta Lake 协议。

如果你仅通过 Azure Databricks 来与 Delta 表交互，则可以使用最低 Databricks Runtime 要求继续跟踪对 Delta Lake 功能的支持。 Azure Databricks 支持读取已升级到所有 Databricks Runtime LTS 版本中的表功能的 Delta 表，前提是该版本支持该表使用的所有功能。

如果使用其他系统读取和写入 Delta 表，可能需要考虑到表功能对兼容性造成哪种影响，因为系统可能无法识别已升级的协议版本。

协议版本是指示表功能的特定分组方式的协议编号。 在 Databricks Runtime 11.3 LTS 及更低版本中，无法单独启用表功能。 协议版本捆绑了一组功能。

Delta 表为读取协议和写入协议指定了单独的协议版本。 Delta 表的事务日志包含支持 Delta Lake 演变的协议版本控制信息。 请参阅使用 describe detail 查看 Delta Lake 表详细信息。

协议版本捆绑了先前协议的所有功能。 请参阅按协议版本划分的功能。

下表显示了 Delta Lake 功能所需的最低协议版本。