使用 Azure 门户中的逻辑作业关系图(预览)进行调试
Azure 门户中的作业关系图(物理关系图和逻辑关系图)可帮助你使用作业的输入源、输出目标和指标直观呈现作业的查询步骤。 可使用作业关系图检查每个步骤的指标,并在排查问题时快速确定问题的根源。
本文介绍如何使用逻辑作业关系图对 Azure 门户中的作业进行分析和故障排除。
使用逻辑作业关系图
在 Azure 门户中,找到并选择流分析作业。 然后在“开发人员工具”下选择“作业关系图(预览)”:
图表部分显示最近 30 分钟的作业级别默认指标,例如水印延迟、输入事件、输出事件和积压输入事件。 可通过在左窗格中选择图中的其他指标来可视化这些指标。
如果选择关系图部分中的某个节点,图表部分中的指标数据和指标选项将根据所选节点的属性进行筛选。 例如,如果选择输入节点,则只显示与输入节点相关的指标及其选项:
要查看映射相应查询步骤的查询脚本片段,请选择查询步骤节点中的“{}
”图标,如下所示:
要查看作业概述信息摘要,请选择右侧的“作业摘要”按钮。
菜单部分还提供作业运行操作。 可使用这些操作来停止作业(“停止”按钮),刷新指标数据(“刷新”按钮)并更改指标时间范围(“时间范围”)。
使用指标进行故障排除
作业的指标可提供有关作业运行状况的大量见解。 可通过作业级别或步骤级别的图表部分中的作业关系图查看这些指标。 要了解流分析作业指标定义,请参阅 Azure 流分析作业指标。 作业关系图将这些指标集成到的查询步骤(关系图)中。 可使用步骤内的这些指标来监视和分析作业。
作业的计算资源是否运行良好?
- SU(内存)使用率 (%) 是作业使用的内存百分比。 如果 SU(内存)使用率 (%) 始终高于 80%,则表明作业接近分配的最大内存。
- CPU 使用率 (%) 是作业使用的 CPU 百分比。 此指标可能间歇性出现峰值。 因此,我们经常检查其平均百分比数据。 高 CPU 使用率表明,如果积压输入事件数或水印延迟数量同时增加,则可能出现 CPU 瓶颈。
正在读取的数据量有多少?
可在图表部分的“输入”类别下查看输入数据相关的指标。 它们在输入步骤中可用。
- 输入事件数是读取的数据事件数。
- 输入事件字节数是读取的事件字节数。 这可以用于验证正在发送到输入源的事件。
- 收到的输入源数是作业读取的消息数。
在数据处理过程中是否有任何错误?
- 反序列化错误数是无法反序列化的输入事件数。
- 数据转换错误数是无法转换为预期输出架构的输出事件的数量。
- 运行时错误数是与查询处理相关的错误总数(不包括引入事件或输出结果时发现的错误)。
是否有任何无序事件将被删除或调整?
- 无序事件数是收到的无序事件的数目,系统根据事件排序策略来删除这些事件,或者为其提供一个经过调整的时间戳。 这可能受 Azure 门户中“事件排序”部分下的“无序事件”设置的配置影响。
作业在处理输入数据流方面是否落后?
- 积压输入事件数告知需要还有多少来自输入的消息需要处理。 当此数字始终大于 0 时,表示作业不能以数据传入速度快速处理数据。 在这种情况下,可能需要增加流单元数和/或确保作业可以并行化。 可以在查询并行化页上看到更多信息。
获取帮助
如需获取更多帮助,可前往 Azure 流分析的 Microsoft QA 问题页。