规划 Azure 时序见解 Gen1 环境

注意

时序见解服务将于 2024 年 7 月 7 日停用。 请考虑尽快将现有环境迁移到备用解决方案。 有关弃用和迁移的详细信息,请访问我们的文档

注意

这是一篇 Gen1 文章。

本文介绍如何根据预期入口速率和数据保留要求规划 Azure 时序见解 Gen1 环境。

最佳实践

若要开始使用 Azure 时序见解,最好是知道每分钟想要推送的数据量以及需要存储数据的时间。

有关 Azure 时序见解 SKU 的容量和保留期的详细信息,请阅读 Azure 时序见解定价

若要最合理地规划 Azure 时序见解环境以取得长期成功,请考虑以下属性:

存储容量

默认情况下,Azure 时序见解根据预配的存储量(单位数 × 每个单位的存储量)和流入量来保留数据。

数据保留

可以更改 Azure 时序见解环境中的“数据保留时间”设置。 可以启用最长 400 天的保留期。

Azure 时序见解具有两种模式:

  • 一种模式针对最新数据进行了优化。 它强制执行清除旧数据的策略,使实例可以使用最新数据。 此模式默认已启用。
  • 其他模式将优化数据,使其保持低于配置的保留限制。 “暂停流入” 可防止新数据在被选为“超出存储限制时的行为” 时流入。

可在 Azure 门户的环境配置页中调整保留期并在这两种模式之间切换。

重要

可在 Azure 时序见解 Gen1 环境中配置最长 400 天的数据保留。

配置数据保留

  1. Azure 门户中,选择时序见解环境。

  2. 在“时序见解环境”窗格中的“设置”下,选择“存储配置” 。

  3. 在“数据保留时间(天)”框中,输入 1 到 400 的值 。

    配置保留期

提示

若要详细了解如何实施适当的数据保留策略,请阅读如何配置保留期

入口容量

下面概述了 Azure 时序见解 Gen1 中的主要限制。

SKU 入口速率和容量

S1 和 S2 SKU 入口速率和容量可在配置新的 Azure 时序见解环境时提供灵活性。 SKU 容量基于所存储的事件数或字节数(以先达到容量上限者为准)指示每日入口速率。 请注意,流入量按分钟 进行度量,并使用令牌桶算法应用限制 。 流入量以 1-KB 块为单位进行度量。 例如,0.8 KB 的实际事件会度量为一个事件,2.6 KB 事件会度量为三个事件。

S1 SKU 容量 入口速率 最大存储容量
1 每天 1 GB(1 百万个事件) 30 GB(3 千万个事件)
10 每天 10 GB(1 千万个事件) 300 GB(3 亿个事件)
S2 SKU 容量 入口速率 最大存储容量
1 每天 10 GB(1 千万个事件) 300 GB(3 亿个事件)
10 每天 100 GB(1 亿个事件) 3 TB(30 亿个事件)

注意

容量呈线性增长,因此容量为 2 的 S1 SKU 每日入口速率支持 2 GB(2 百万)的事件,每月支持 60 GB(6 千万)的事件。

S2 SKU 环境每月支持更多的事件,并具有显著更高的入口容量。

SKU 每月事件计数 每分钟事件计数 每分钟事件大小
S1 3000 万 720 720 KB
S2 3 亿 7,200 7,200 KB

属性限制

Gen1 属性限制取决于所选的 SKU 环境。 提供的事件属性具有相应的 JSON、CSV 和图表列,可以在 Azure 时序见解资源管理器中查看。

SKU 最大属性数
S1 600 属性(列)
S2 800 属性(列)

事件源

每个实例最多支持两个事件源。

API 限制

REST API 参考文档中指定了 Azure 时序见解 Gen1 的 REST API 限制。

环境规划

在规划 Azure 时序见解环境时,需要重点考虑的第二个方面是流入容量。 每日入口存储和事件容量每分钟度量一次,以 1 KB 块为单位。 允许的最大数据包大小为 32 KB。 大于 32 KB 的数据包将被截断。

可以在单一环境中,将 S1 或 S2 SKU 的容量增加到 10 个单位。 无法从 S1 环境迁移到 S2 环境。 无法从 S2 环境迁移到 S1 环境。

对于流入容量,首先应该确定每月所需的流入总量。 接下来,确定每分钟的需求。

限制和延迟对每分钟容量的影响很大。 如果数据流入的高峰期持续时间少于 24 小时,则 Azure 时序见解可以两倍于上表中所列的速度“赶上”流入速率。

例如,如果你使用单个 S1 SKU,流入数据的速率为每分钟 720 个事件,数据流入高峰的速率为 1,440 个事件(或更少)且持续时间不到 1 小时,则环境中不会出现明显的延迟。 但是,如果速率大于每分钟 1,440 个事件且超过 1 小时,则可能会发生数据延迟,这可在环境中查看并查询。

你可能无法提前知道想要推送多少数据。 在这种情况下,可以在 Azure 门户订阅的 Azure IoT 中心Azure 事件中心查找遥测数据。 这些遥测数据有助于确定如何预配环境。 在 Azure 门户使用相应事件源的“指标”页查看遥测数据 。 如果你了解数据源指标,便可以更有效地规划和预配 Azure 时序见解环境。

计算入口需求

若要计算流入要求:

  • 确认流入容量高于平均每分钟的速率,并且环境足够大,能够在 1 小时内处理相当于两倍容量的预期流入量。

  • 如果发生持续超过 1 小时的流入高峰,请使用高峰速率作为平均值。 使用可以应对高峰速率的容量预配环境。

缓解限制和延迟

有关如何避免限制和延迟的信息,请阅读缓解延迟和限制

塑造事件

必须确保向 Azure 时序见解发送事件的方式支持预配的环境大小。 (相反,可将环境大小映射到 Azure 时序见解读取的事件数和每个事件的大小。)另外,必须考虑到在查询数据时要用作切片和筛选依据的属性。

提示

请查看发送事件中的 JSON 塑形文档。

确保已获得参考数据

参考数据集是对来自事件源的事件进行补充的项集合。 Azure 时序见解流入引擎将来自事件源的每个事件与参考数据集中的相应数据行联接到一起。 然后可以查询补充后的事件。 该联接基于参考数据集中定义的“主键”列。

注意

参考数据不以追溯方式进行联接。 在配置并上传参考数据集后,只会将当前和将来的流入数据与参考数据集相匹配并联接到其中。 如果你打算将大量的历史数据发送到 Azure 时序见解,但未事先在 Azure 时序见解中上传或创建参考数据,到时可能需要从头开始,这是一件很麻烦的事。

若要详细了解如何在 Azure 时序见解中创建、上传和管理参考数据,请阅读参考数据集文档

业务灾难恢复

本部分介绍即使发生了灾难,也能使应用和服务保持正常运行的 Azure 时序见解功能(称为“业务灾难恢复”)。

高可用性

作为一项 Azure 服务,Azure 时序见解使用 Azure 区域级别的冗余提供某些高可用性功能。 例如,Azure 支持通过其跨区域可用性功能来实现 灾难恢复功能。

通过 Azure 提供的其他高可用性功能(以及同样适用于任何 Azure 时序见解实例的功能)包括:

请务必启用相关的 Azure 功能,以便为设备和用户提供全局跨区域高可用性。

注意

如果已将 Azure 配置为启用跨区域可用性,则不需要在 Azure 时序见解中采用其他跨区域可用性配置。

IoT 和事件中心

某些 Azure IoT 服务也包含内置的业务灾难恢复功能:

将 Azure 时序见解与其他服务集成有可能会提供更多的灾难恢复机制。 例如,可将发送到事件中心的遥测数据保留在 Azure Blob 存储备份数据库中。

Azure 时序见解

可通过多种方式使 Azure 时序见解数据、应用和服务保持正常运行,即使发生中断。

但是,还可以确定是否需要出于以下目的,来创建 Azure 时序环境的完整备份副本:

  • Azure 时序见解专门将数据和流量重定向到某个故障转移实例
  • 保留数据和审核信息

一般而言,复制 Azure 时序见解环境的最佳方法是在备份 Azure 区域中创建另一个 Azure 时序见解环境。 来自主要事件源的事件也会发送到此辅助环境。 请务必使用另一个专用使用者组。 遵循前面所述的源业务灾难恢复指导原则。

若要创建副本环境:

  1. 在另一个区域中创建环境。 有关详细信息,请参阅在 Azure 门户中创建新的 Azure 时序见解环境
  2. 为事件源创建另一个专用使用者组。
  3. 将该事件源连接到新环境。 请务必指定第二个专用使用者组。
  4. 请查看 Azure 时序见解 IoT 中心事件中心文档。

发生事件时:

  1. 如果主要区域在灾难事件期间受到影响,请将操作重新路由到备用 Azure 时序见解环境。
  2. 由于故障转移后的中心序列号从 0 重新开始编制,因此,请为不同使用者组的区域/环境均重新创建事件源,以免创建看似重复的事件。
  3. 删除主事件源(现在处于非活动状态),以便为你的环境释放可用事件源。 (限制每个环境只能有两个活动事件源。)
  4. 使用第二个区域来备份和恢复所有 Azure 时序见解遥测数据与查询数据。

重要

发生故障转移时:

  • 也可能会发生延迟。
  • 由于需要重新路由操作,还可能会出现短暂的消息处理高峰。

有关详细信息,请参阅缓解 Azure 时序见解中的延迟

后续步骤