Azure Databricks 中的存档支持

借助 Azure Databricks 中的存档支持，可以在包含 Delta 表的云对象存储上使用基于云的生命周期策略。 在 Delta Lake 表上启用存档支持可以有效地告知Azure Databricks忽略早于表中指定时间段的文件。

要求

Azure Databricks仅对Azure存档提供存档支持。 请参阅Azure文档，了解如何使用生命周期管理优化成本。

为何要启用存档支持？

存档支持仅允许可在不接触存档文件的情况下正确回答的查询。 这些查询包括符合以下任一条件的查询：

• 仅查询元数据。
• 其筛选器不需要扫描任何已存档的文件。

所有需要存档文件中数据的查询都会失败。

如果没有存档支持，对 Delta 表执行的操作可能会中断，因为数据文件或事务日志文件已移动到存档位置，在查询时不可用。 存档支持引入了优化，尽可能避免查询已存档的数据。 它还增加了新语法来标识必须从存档存储还原以完成查询的文件。

针对存档数据优化的查询

Azure Databricks中的存档支持针对 Delta 表优化以下查询。

早期失败和错误消息

对于必须扫描已存档文件以生成正确结果的查询，配置 Delta Lake 的存档支持可以确保：

• 如果查询尝试访问已存档的文件，则查询会提前失败，从而减少浪费的计算并允许用户快速调整和重新运行查询。
• 错误消息通知用户查询失败，因为查询尝试访问已存档的文件。

用户可以使用 SHOW ARCHIVED FILES 语法生成必须还原的文件的报告。 请参阅显示已存档的文件。

启用存档支持

通过手动指定基础云生命周期管理策略中配置的存档间隔，为 Delta 表启用存档支持。

ALTER TABLE <table_name> SET TBLPROPERTIES(delta.timeUntilArchived = 'X days');

设置 timeUntilArchived 时间会告知 Azure Databricks，忽略 Delta Lake 表中早于该指定时间段的文件。 此设置独立于云帐户的生命周期策略。 对一个的更改不会影响另一个。 如果在云帐户中更新生命周期策略，还必须更新 Delta Lake 表上的存档设置。 请参阅更改生命周期管理转换规则。

在云帐户中设置新的生命周期策略时，更改可能需要长达 24 小时才能生效。 请参阅 生命周期管理策略执行。

如果在未为云对象存储设置生命周期策略的情况下启用此设置，则存档支持允许查询成功，结果包括标记为存档的文件中的数据。 请参阅 Azure Databricks 如何为还原数据采样？。

显示已存档的文件

若要标识必须还原以完成给定查询的文件，请使用 SHOW ARCHIVED FILES。

SHOW ARCHIVED FILES FOR table_name [ WHERE predicate ];

此操作以 Spark 数据帧的形式返回已存档文件的 URI。 按照对象存储提供程序中记录的说明还原必要的已存档文件。 请参阅 还原存档文件。

有关Azure Databricks如何检查还原数据的信息，请参阅 Azure Databricks如何取样还原数据？。

还原存档的文件

若要确定所有需要还原的文件，请使用 SHOW ARCHIVED FILES 查看存档文件列表。

使用解除冻结 API 将文件还原到联机存储层。 请参阅 存档层中的 Blob 解除冻结。

还原云提供程序存储中的文件后，可以查询表。 存档支持会自动识别还原的文件。 有关Azure Databricks如何检查还原数据的信息，请参阅 Azure Databricks如何取样还原数据？。

更新或删除存档的数据

如果运行影响存档文件中数据的 MERGE、UPDATE 或 DELETE 操作，操作将失败。 必须将数据还原到支持快速检索的存储层才能运行这些操作。 用于 SHOW ARCHIVED FILES 确定必须还原的文件（请参阅 还原存档的文件）。

Azure Databricks如何对已恢复的数据进行抽样？

当 Azure Databricks 在启用存档支持的表上准备扫描时，它会抽样查询过程中需要的早于指定保留期的文件，以判断这些文件是否已经被还原。 如果结果显示被认为已存档的采样文件已还原，Azure Databricks认为查询的所有文件都已还原，并且继续处理查询。 结果包括标记为存档的文件中的数据。

采样可能不适用于所有查询，请参阅 “限制”。

限制

存在以下限制：

• 存档支持仅适用于数据文件。 如果 Delta 事务日志（_delta_log/ 目录）中的任何文件都移动到存档存储层，则表将完全无法访问，针对表的所有查询都会失败。 必须配置您的云生命周期策略，使_delta_log/路径不包含在存档中。 请参阅 S3 生命周期配置的示例。
• 不支持不基于文件创建时间的生命周期管理策略。 包括基于访问时间的策略和基于标记的策略。
• 不能在包含已存档文件的表上使用 DROP COLUMN。
• REORG TABLE APPLY PURGE 会尽量进行尝试，但仅适用于未存档的删除矢量文件和引用数据文件。 PURGE 无法删除已存档的删除矢量文件。
• 延长生命周期管理过渡规则会导致不可预料的行为。 请参阅延长生命周期管理转换规则。
• LIMIT 对启用了存档支持的表的查询不会触发还原数据的采样。 如果还原表的数据，则查询还原的数据时，大多数查询都会成功，但 LIMIT 查询返回 DELTA_ARCHIVED_FILES_IN_LIMIT 错误。 请参阅 Azure Databricks 如何为还原数据采样？。

更改生命周期管理转换规则

如果更改云生命周期管理转换规则的时间间隔，则必须将属性 delta.timeUntilArchived 更新为同一间隔。

如果存档前的时间间隔缩短（自文件创建后的时间缩短），则更新表属性后，Delta 表的存档支持将继续正常运行。

延长生命周期管理转换规则

如果存档前的时间间隔延长（以在触发存档之前添加更多时间），则将 delta.timeUntilArchived 属性更新为新值可能会导致错误。 更改数据保留策略时，云提供商不会自动将文件从已存档的存储中还原。 这表示之前符合存档条件，但现在被视为不符合存档条件的文件仍会存档。

假设存档的时间间隔从 60 天更改为 90 天：

1. 当策略更改时，60 到 90 天的所有记录都已存档。

2. 30 天内，不会存档任何新文件（当策略延长时，最早的非存档文件已存在 60 天）。

3. 30 天后，生命周期策略会正确描述所有已存档的数据。

delta.timeUntilArchived 设置会根据 Delta 事务日志记录的文件创建时间跟踪设置的时间间隔。 它对基础策略没有明确的了解。 在旧存档阈值和新存档阈值之间的滞后期间，可以采取以下方法之一来避免查询已存档的文件：

1. 可以将delta.timeUntilArchived设置保留为旧阈值，直至经过足够的时间后所有文件都已存档。

   • 在上述示例中，连续 30 天里，每天会有额外一天的数据被 Azure Databricks 视为已存档，但仍需由云提供商存档。 这不会导致错误，但会忽略一些可以查询的数据文件。
   • 30 天后，将 delta.timeUntilArchived 更新为 90 days。

2. 可以每天更新 delta.timeUntilArchived 设置，以反映滞后期间的当前间隔。

   • 虽然云策略设置为 90 天，但已存档数据的实际存在时长会实时变化。 例如，在 7 天后，将 delta.timeUntilArchived 设置为 67 days 可准确反映所有已存储数据文件的存在时长。
   • 只有在必须访问热存储层中的所有数据的情况下，才需要此方法。