自动缩放流单元

流单元（SU）表示执行流分析作业的计算资源。 增加 SU 数时，可以向作业分配更多的 CPU 和内存资源。 流分析提供两种类型的缩放，可用于运行正确的 流单元 数（SU）来处理作业负载。

本文介绍如何在 Azure 门户中为流分析作业使用这些不同的缩放方法。

由流分析支持的两种缩放类型是“手动缩放”和“自定义自动缩放”。

手动缩放让你能够维持并调整作业的固定流单元数量。

自定义自动缩放允许你为你的作业指定流单元的最小和最大数量，以便根据你定义的规则进行动态调整。 自定义自动缩放会检查预配置的规则集。 然后，它决定添加 SU 以处理负载增加情况，或在计算资源处于空闲状态时减少 SU 的数量。 有关 Azure Monitor 中自动缩放的详细信息，请参阅 Azure 中的自动缩放概述。

注意

尽管无论作业的状态如何，都可以使用手动缩放，但只能在作业 running 处于状态时启用自定义自动缩放。

自定义自动缩放规则的示例包括：

  • 如果过去 2 分钟内作业的平均 SU 利用率百分比超过 75%，则增加流单元数。
  • 如果过去 15 分钟内作业的平均 SU 利用率百分比低于 30%，则减少流单元数。
  • 在营业时间使用更多流式单元，在非营业时间使用较少流式单元。

自动缩放限制

所有流分析作业均可在 1/3、2/3 和 1 SU V2 之间自动缩放。 超过 1 SU V2 的自动缩放要求作业具有并行或易并行拓扑。 使用不超过 1 个流单元创建的并行作业可以根据分区数自动缩放到该作业的最大 SU 值。

扩展流分析作业

首先，按照以下步骤转到 Azure 流分析 作业的 Scale 页面。

  1. 登录到 Azure 门户。
  2. 在资源列表中，找到要缩放的流分析作业，然后将其打开。
  3. 在作业页中的“配置”标题下，选择“缩放”。
    显示如何导航到 Scale 的屏幕截图。
  4. 在 “配置”下，可以看到两个选项用于缩放： 手动缩放 和 自定义自动缩放。
    屏幕截图显示了“配置”区域，你可在其中选择“手动缩放”或“自定义自动缩放”。

手动缩放

此设置让你可以为作业设置固定的流单元数。 创建作业时，默认的 SU 数为 1。

手动缩放作业

  1. 如果尚未选中，请选择手动缩放。
  2. 使用 Slider 为作业设置 SU，或直接在框中输入。 作业运行时，您只能使用特定的 SU 设置。 限制取决于作业配置。
    屏幕截图显示了“手动缩放”，你可在其中使用滑块选择流单元数。
  3. 在工具栏上选择“保存”，保存该设置。
    屏幕截图显示了“配置”区域中的“保存”选项。

自定义自动缩放 - 默认条件

你可以使用条件来配置流单元的自动缩放。 当其他缩放条件不匹配时， 默认 缩放条件将运行。 因此，必须为作业选择“默认”条件。 可以为默认条件选择一个名称，或者保留为Auto created scale condition，这是预先填入的。

屏幕截图显示了你编辑的自定义自动缩放默认条件。

通过选择以下缩放模式之一，将 默认 条件设置为：

  • 基于指标的缩放（例如 CPU 或内存使用率）
  • 扩展到指定数量的流式处理单元

注意

无法在“默认”条件中设置计划。 仅当未满足其他计划条件时，默认条件才会执行。

根据指标进行缩放

以下过程说明了如何添加条件，以便在 SU（内存）使用率大于 75% 时自动增加流单元数（横向扩展）。 或者，当 SU 使用率低于 25% 时，如何减少流式处理单元数（缩容）。 增量单位从分数单位（1/3 和 2/3）到一个完整的流式处理单元（1 SU V2）不等。 同样，数值从 1 递减到 2/3，再递减到 1/3。

  1. 在 “缩放”上，选择“ 自定义自动缩放”。
  2. 在页面的“默认”部分，指定默认条件的“名称” 。 选择铅笔图标以编辑文本。
  3. 为缩放模式选择基于指标的缩放。
  4. 选择 + 添加一条规则。
    屏幕截图显示了“添加缩放规则”选项。
  5. 在“缩放规则”页上执行以下步骤：
    1. 在“指标命名空间”下，从“指标名称”下拉列表中选择一个指标。 在此示例中，它是 SU % Utilization。
    2. 选择运算符和阈值。 在此示例中，对于触发扩缩容操作的指标阈值，其值分别为大于和75。
    3. 在操作部分中选择一项操作项。 在此示例中，其设置为增加。
    4. 然后选择“添加”。
      显示添加规则指标选项的屏幕截图。
  6. 再次选择“+ 添加规则”，然后在“缩放规则”页上执行以下步骤：
    1. 从“指标名称”下拉列表中选择指标。 在本例中，它是 SU % Utilization。
    2. 选择运算符和阈值。 在此示例中，触发缩放操作的指标阈值为 小于 和 25。
    3. 在 Action 部分中选择一项操作。 在此示例中，它被设置为减少。
    4. 然后选择“添加”。
  7. 如果总体 SU 使用率在此示例中低于 25%，则自动缩放功能会减少该命名空间的流式处理单元数。
  8. 设置最小、最大和默认的流式处理单位数。 最小和最大流单元数代表作业可缩放范围的限制。 在极少数缩放失败的情况下，将使用 default 值。 将默认值设置为作业当前使用的 SU 数量。
  9. 选择“保存”。
    屏幕截图显示了规则的“保存”选项。

注意

回摆是指导致一系列相反缩放事件的循环状态。 当一次扩缩容事件触发了相反的扩缩容事件时，就会发生抖动。 有关详细信息，请参阅 本文 ，其中介绍了自动缩放中的波动以及如何避免这种情况。

缩放至指定数量的流式处理单元

按照以下步骤配置规则，以调整作业的流单元数量至指定数值。 当其他任何缩放条件都不匹配时，则默认条件适用。

  1. 在 “缩放”上，选择“ 自定义自动缩放”。
  2. 在 “默认 ”部分中，输入默认条件 的名称 。
  3. 为缩放模式选择缩放到特定流单元。
  4. 对于 流单元，请选择流单元数。

自定义自动缩放 - 添加更多缩放条件

上一部分演示如何为自动缩放设置添加默认条件。 本部分介绍如何向自动缩放设置添加更多条件。 对于这些其他非默认条件，可以基于特定的一周中的某天或某个日期范围设置计划。

根据指标进行缩放

  1. 在“缩放”上，为“选择如何缩放资源”选项选择“自定义自动缩放”。
  2. 选择 默认 块下的 添加缩放条件。
    显示自定义自动缩放条件的截图。
  3. 输入条件 的名称 。
  4. 确认已选择“根据指标进行缩放”选项。
  5. 选择“+ 添加规则”以添加以下规则：在总体 SU 利用率百分比超过 75% 时增加流单元数。 执行前面“默认条件”部分中的步骤。
  6. 设置最小、最大和默认的流式处理单位数。
  7. 将“计划”、“时区”、“开始日期”和“结束日期”设置为自定义条件（而不是默认条件）。 可以为条件指定开始日期和结束日期，或选择每周重复 特定日期 （星期一、星期二等）。
    • 如果选择“指定开始/结束日期”，则选择“时区”、“开始日期和时间”和“结束日期和时间”以使条件生效。
    • 如果选择“重复特定日期”，则选择应用该条件的星期、时区、开始时间和结束时间。

缩放至特定数量的流式处理单元

  1. 在“缩放”上，为“选择如何缩放资源”选项选择“自定义自动缩放”。
  2. 在默认块下选择添加缩放条件。
  3. 输入条件 的名称 。
  4. 为“缩放模式”选择“缩放到特定流单元数”选项。
  5. 输入 流单元数。
  6. 对于 计划，请为条件指定开始日期和结束日期，或者选择一周中的特定日期（星期一、星期二等）和时间。
    1. 如果选择“指定开始/结束日期”，则选择“时区”、“开始日期和时间”和“结束日期和时间”以使条件生效。
    2. 如果选择“重复特定日期”，则选择应用该条件的星期、时区、开始时间和结束时间。

若要详细了解自动缩放设置的工作原理，尤其是它如何选择配置文件或条件并评估多个规则的详细信息，请参阅了解自动缩放设置。

后续步骤

  • Last updated on