了解 Azure 时序见解 Gen1 中的数据保留

注意

时序见解服务将于 2024 年 7 月 7 日停用。 请考虑尽快将现有环境迁移到备用解决方案。 有关弃用和迁移的详细信息,请访问我们的文档

注意

这是一篇 Gen1 文章。

本文介绍影响 Azure 时序见解环境中的数据保留的两项主要设置。

每个 Azure 时序见解环境都有一项控制“数据保留时间”的设置。 该值的范围为 1 到 400 天。 将根据环境存储容量或保留期限删除数据,以先达到的条件为准。

此外,Azure 时序见解环境还有一项“超出存储限制时的行为”设置。 此设置控制达到环境最大容量时的流入和清除行为。 配置时可以从两种行为中进行选择:

  • 清除旧数据(默认行为)
  • 暂停传入

注意

创建新环境时,保留规则默认配置为“清除旧数据”。 在创建后,可以根据需要使用 Azure 门户或者在 Azure 时序见解环境的“配置”页上切换此设置。

下面将更详细地介绍这两种数据保留策略。

清除旧数据

  • 清除旧数据是 Azure 时序见解环境的默认设置。
  • 如果用户希望在其 Azure 时序见解环境中始终显示其最近数据,则“清除旧数据”是首选项。
  • 达到环境的限制(保留时间、大小或计数,以先达到的为准)时,“清除旧数据” 设置会立即清除 数据。 默认情况下,保留时间设置为 30 天。
  • 最旧的引入数据最先清除(“先入先出”方法)。

示例一

假设某个示例环境的保留行为是“持续传入和清除旧数据” :

“数据保留时间”设置为 400 天。 “容量”设置为 S1 单位,包含 30 GB 总容量。 假设每天的入站数据累积平均为 500 MB。 根据给定的入站数据率,此环境只能保留 60 天的数据,因为在 60 天后会达到最大容量。 入站数据累积为:每天 500 MB x 60 天 = 30 GB。

从第 61 天开始,环境会显示最新数据,但会清除超过 60 天的旧数据。 清除操作能够为流入的新数据腾出空间,因此能够继续浏览新数据。 如果用户想要将数据保留更长时间,可以通过添加更多的单位或推送更少的数据来增加环境的大小。

示例二

假设某个环境的保留行为也配置为“继续传入和清除旧数据”。 在此示例中,“数据保留时间”设置为一个较小值:180 天。 “容量”设置为 S1 单位,包含 30 GB 总容量。 若要存储 180 天的数据,每天的传入量不能超过 0.166 GB (166 MB)。

只要此环境的每日入口速率超过每天 0.166 GB,就无法将数据存储 180 天,因为某些数据将被清除。 在繁忙的时段,可以考虑使用这种环境。 假设环境的入口速率可能会增大到每日平均 0.189 GB。 在繁忙时段,将会保留大约 158 天的数据(30 GB/0.189 = 保留期 158.73 天)。 此时间小于所需的数据保留时间范围。

暂停传入

  • “暂停流入”设置旨在确保在达到数据保留期之前达到大小和计数限制时,不会清除这些数据。

  • “暂停入口” 为用户提供了更多时间,以便在由于违反保留期而清除数据之前增加其环境的容量。

  • 此行为有助于防止数据丢失,但如果暂停数据流入的持续时间超过事件源的保留期,则有可能会丢失最近的数据。

  • 但是,达到环境的最大容量后,环境将会暂停数据流入,直到以下附加操作发生:

    • 你增加环境的最大容量以添加更多缩放单元,如如何缩放 Azure 时序见解环境中所述。
    • 达到了数据保留期并清除了数据,使环境低于其最大容量。

示例三

假设某个环境的保留行为配置为“暂停传入”。 在此示例中,“数据保留期”配置为 60 天。 “容量”设置为三 (3) 个 S1 单位。 假设此环境的每日数据传入量为 2-GB。 在此环境中,一旦达到最大容量,传入就会暂停。

此时,环境会一直显示相同的数据集,直到传入恢复,或者启用了“继续流入”(这会清除旧数据,以便为新数据腾出空间)。

当传入恢复时:

  • 数据会根据事件源的接收顺序流入
  • 根据事件的时间戳为事件编制索引,除非超出了针对事件源的保留策略。 有关事件源保留配置的详细信息,请参阅事件中心常见问题解答

重要

应设置警报,以提供通知来帮助避免传入暂停。 由于 Azure 事件源的默认保留期为 1 天,因此可能丢失数据。 一旦传入暂停,除非采取其他措施,否则可能丢失最近的数据。 必须增大容量,或者将行为切换到“清除旧数据”才能避免潜在的数据丢失。

在受影响的事件中心,请考虑调整“消息保留”属性,以最大程度地减少在 Azure 时序见解中发生传入暂停时丢失数据的情况。

事件中心消息保留。

如果未在事件源中配置任何属性 (timeStampPropertyName),Azure 时序见解默认为事件中心的抵达时间戳(X 轴)。 如果 timeStampPropertyName 配置为其他值,则在分析事件时,环境将在数据包中查找配置的 timeStampPropertyName

若要扩展环境以包含更多容量或延长保留持续时间,请参阅如何缩放 Azure 时序见解环境

后续步骤