Azure 流分析作业指标
Azure 流分析提供大量可用于监视查询和作业性能并对其进行故障排除的指标。 可以在 Azure 门户的“概述”页上的“监视”部分查看这些指标中的数据。
如果要检查特定指标,请选择“监视”部分中的“指标”。 在出现的页面上,选择该指标。
可用于流分析的指标
Azure 流分析提供以下指标用于监视作业的运行状况。
指标 | 定义 |
---|---|
积压的输入事件数 | 积压的输入事件的数量。 此指标的非零值意味着作业无法跟上传入事件的数量。 如果此值缓慢增长或始终为非零,则应横向扩展作业。 有关详细信息,请参阅了解和调整流单元。 |
数据转换错误数 | 无法转换为预期输出架构的输出事件的数量。 若要删除遇到这种情况的事件,可以将错误策略更改为“删除”。 |
CPU 利用率百分比(预览) | 作业使用的 CPU 百分比。 即使此值非常高(90% 或以上),也不应只根据此指标增加 SU 数量。 如果积压输入事件或水印延迟数量增加,则可以使用此指标来确定是否是 CPU 造成了瓶颈。 此指标可能有间歇性峰值。 建议进行缩放测试,以确定在 CPU 瓶颈导致输入积压或水印延迟增加之前的作业上限。 |
提前输入事件数 | 应用程序时间戳早于其到达时间超过 5 分钟的事件。 |
失败的函数请求数 | 失败的 Azure 机器学习函数(如果存在)调用数。 |
函数事件数 | 发送到 Azure 机器学习函数(如果存在)的事件数。 |
函数请求数 | Azure 机器学习函数(如果存在)的调用数。 |
输入反序列化错误 | 不可反序列化的输入事件数。 |
输入事件字节数 | 流分析作业收到的数据量(以字节为单位)。 可使用此指标验证正在发送到输入源的事件。 |
输入事件数 | 从输入事件反序列化的记录数。 此计数不包括导致反序列化错误的传入事件。 流分析可以在内部恢复和自联接等场景中多次引入相同的事件。 如果作业具有简单的传递查询,则不要期望输入事件和输出事件指标相匹配。 |
收到的输入源数 | 作业收到的消息数。 对于 Azure 事件中心,消息是单个 EventData 项。 对于 Azure Blob 存储,消息是单个 blob。 请注意,在反序列化之前,将会统计输入源的数目。 如果存在反序列化错误,则输入源数可能大于输入事件数。 否则,输入源数可能小于或等于输入事件数,因为每条消息可能包含多个事件。 |
延迟输入事件数 | 到达时间晚于已配置的延迟到达容错时段的事件。 详细了解 Azure 流分析事件顺序注意事项。 |
无序事件数 | 收到的无序事件的数目,系统根据事件排序策略来删除这些事件,或者为其提供一个经过调整的时间戳。 该指标可能会受“无序容错时段”设置配置的影响。 |
输出事件数 | 流分析作业发送到输出目标的数据量,以事件数来衡量。 |
运行时错误 | 与查询处理相关的错误总数。 它排除在引入事件或输出结果时发现的错误。 |
SU (内存) 利用率百分比 | 作业使用的内存百分比。 如果该指标持续超过 80%,则水印延迟增加,积压的事件数增加,请考虑增加流单元 (SU)。 高利用率指示作业使用的资源数接近分配的最大资源数。 |
水印延迟 | 作业中所有输出的所有分区之间的最大水印延迟。 |
要监视的方案
Azure 流分析提供无服务器的分布式流处理服务。 作业可以在服务自动管理的一个或多个分布式流式处理节点上运行。 输入数据已分区并分配给不同的流式处理节点进行处理。
指标 | 条件 | 时间聚合 | 阈值 | 更正操作 |
---|---|---|---|---|
SU (内存) 利用率百分比 | 大于 | 平均值 | 80 | 多种因素会增加 SU 的利用率。 可以使用查询并行化进行缩放,或者增加 SU 数。 有关详细信息,请参阅利用 Azure 流分析中的查询并行化。 |
CPU 使用率百分比 | 大于 | 平均值 | 90 | 这可能意味着某些操作(如用户定义函数、用户定义聚合或复杂输入反序列化)需要大量的 CPU 周期。 通常可以通过增加作业的 SU 数来解决此问题。 |
运行时错误 | 大于 | 总计 | 0 | 检查活动或资源日志,并对输入、查询或输出进行相应更改。 |
水印延迟 | 大于 | 平均值 | 当此指标在过去 15 分钟的平均值大于延迟容限(以秒为单位)时。 如果未修改延迟容限,默认值将设置为 5 秒。 | 尝试增加 SU 数量或将查询并行化。 有关 SU 的详细信息,请参阅了解和调整流单元。 有关并行化查询的详细信息,请参阅利用 Azure 流分析中的查询并行化。 |
输入反序列化错误 | 大于 | 总计 | 0 | 检查活动或资源日志,并对输入进行相应更改。 有关资源日志的详细信息,请参阅使用资源日志排查 Azure 流分析问题。 |
获取帮助
如需进一步的帮助,请尝试 Azure 流分析的 Microsoft Q&A 页。