Azure 门户中的流分析作业关系图(预览版)

Azure 门户中的作业关系图可帮助你使用作业的输入源、输出目标和指标直观呈现作业的查询步骤(逻辑概念)或流式处理节点(物理概念)。 可使用作业关系图检查每个步骤或流式处理节点的指标,并在排查问题时快速确定问题的根源。

有两种类型的作业关系图:

  • 物理关系图:它使用物理计算概念可视化流分析作业的关键指标:流式处理节点维度。 流式处理节点表示一组用于处理作业的输入数据的计算资源。 若要更详细地了解流式处理节点维度,请参阅 Azure 流分析节点名称维度

    每个流节点内都有可用于处理流数据的流分析处理器。 每个处理器表示查询中的一个或多个步骤。 可以使用物理作业关系图中的处理器关系图来可视化每个流节点中的处理器拓扑。

  • 逻辑关系图:它使用逻辑概念可视化流分析作业的关键指标:基于作业查询的查询步骤。 若要了解详细信息,请参阅在 Azure 门户中使用逻辑作业关系图(预览版)进行调试

本文将通过介绍这两类作业关系图来为你提供指导。

重要

此功能目前处于预览状态。 有关 beta 版本、预览版或尚未正式发布的版本的 Azure 功能所适用的法律条款,请参阅 Azure 预览版的补充使用条款

使用作业关系图

在 Azure 门户中,找到并选择流分析作业。 然后在“开发人员工具”下选择“作业关系图(预览)”:

显示作业关系图在门户树中的位置的屏幕截图。

在左上角,可以通过单击“逻辑”和“物理”来切换两种类型的作业关系图。

显示作业关系图切换器的屏幕截图。

物理作业关系图

以下屏幕截图显示的是物理作业关系图,采用默认时间段(过去 30 分钟)。

显示物理作业关系图部分的屏幕截图。

  1. 命令栏部分:这是命令区域,可在此处配置作业指标的时间范围、切换/配置热度地图可视化效果、搜索流式处理节点以及在关系图和表之间切换视图。

    • 热度地图设置:使用热度地图设置,可以根据所需的指标和排序类型对关系图中的节点进行排序。 指标可以是 CPU/内存利用率、水印延迟、输入事件和积压输入事件。

    • 时间范围:可以选择不同的时间范围和作业运行来查看关系图和指标。

    • 作业运行:作业运行在时间范围内。 启动、重启或纵向扩展/缩减(SU 更改)作业时,将生成新的作业运行。 在物理作业关系图上映射的一个作业运行。

    • 关系图/表视图切换器:可以在关系图和表之间切换视图。 表视图如下所示:

      显示具有表概述的物理作业关系图的屏幕截图。

  2. 关系图/表部分:可在其中使用关系图视图或表视图查看流式处理节点级别的指标(所选时间范围中的聚合指标)。 本部分中的每个框都表示一个用于处理输入数据的流式处理节点。 每个节点上的指标包括:

    • 输入事件(聚合类型:SUM)
    • CPU 使用率百分比(聚合类型:Avg)
    • SU(内存)利用率百分比(聚合类型:Max)
    • 分区 ID(无聚合的列表)
    • 水印延迟(聚合类型: Max)
    • 积压输入事件(聚合类型:SUM)

    有关指标定义的详细信息,请参阅 Azure 流分析节点名称维度

  3. 图表部分:可在此处查看所选时间范围内的历史指标数据。 默认图表中显示的默认指标是 SU(内存)利用率百分比和 CPU 利用率百分比。 还可以通过单击“添加图表”来添加更多图表。

“图表/表”部分和“图表”部分可以相互交互。 可以在“关系图/表”部分选择多个节点,以按所选节点筛选“图表”部分中的指标,反之亦然。

显示物理作业关系图节点图表交互的屏幕截图。

若要详细了解如何使用物理关系图进行调试,请参阅在 Azure 门户中使用物理作业图进行调试(预览)

物理作业关系图中的处理器关系图

物理作业图中的处理器图将特定流节点内的处理器拓扑进行可视化。 若要访问处理器关系图,需要打开物理作业关系图,找到要检查其处理器关系图的流节点,然后单击流节点名称以打开处理器关系图。

显示处理器关系图入口点的屏幕截图。

显示处理器关系图视图的屏幕截图。

  1. 信息栏部分:可在其中查看此处理器关系图的基本信息,例如时间范围、相应的流节点名称。
  2. 关系图部分:它是将处理器关系图可视化的位置。 本部分中的每个节点框都表示一个处理器,该处理器出于特定目的而处理流数据。
    • 处理器类型:显示处理器的类型,表示某些数据处理目的。 每个处理器节点中都会显示此信息。

      处理器类型 说明
      “输入”或“输出” 此处理器用于读取输入或写入输出数据流。
      ReferenceData 此处理器用于提取引用数据。
      计算 此处理器用于根据查询逻辑处理流数据,例如聚合、筛选、使用窗口进行分组等。 要了解有关流数据计算查询函数的更多信息,请参阅 Azure 流分析查询语言参考
      MarshallerUpstream 和 MarshallerDownstream 当流节点之间存在流数据交互时,将有两个封送程序处理器:1). MarshallerUpstream,用于在上游流节点中发送数据,2). MarshallerDownstream,用于接收下游流节点中的数据。
      合并 此处理器用于接收从多个上游流节点输出的跨分区流数据。 优化作业性能的最佳做法是更新查询以删除合并处理器,让作业并行运行,因为合并处理器是作业的瓶颈。

      显示封送器和合并图的屏幕截图。

    • 适配器类型:显示输入或输出适配器的类型。 流分析支持各种输入源和输出目标。 每个输入源或输出目标都有一个专用的适配器类型。 仅输入处理器和输出处理器中提供适配器类型。 例如,“InputBlob”表示输入处理器从中接收数据的 ADLS Gen2 输入;“OutputDocumentDb”表示输出处理器将数据输出到的 Cosmos DB 输出。

      若要了解有关输入和输出类型的更多详细信息,请参阅 Azure 流分析输入概述Azure 流分析输出概述

    • 分区 ID:显示此处理器正在处理哪些分区 ID 的数据。 仅输入处理器和输出处理器中提供适配器类型。

    • 序列化程序类型:显示序列化的类型。 流分析支持多种序列化类型。 仅输入处理器和输出处理器中提供适配器类型。

逻辑作业关系图

逻辑作业关系图具有与物理关系图类似的布局,其中包含三个部分,但它具有不同的指标和配置设置。

显示逻辑作业关系图部分的屏幕截图。

  1. 命令栏部分:在逻辑关系图中,可以操作云作业(停止、删除)和配置作业指标的时间范围。 关系图视图仅适用于逻辑关系图。

  2. 关系图部分:此部分中的节点框表示作业的输入、输出和查询步骤。 可以直接查看节点中的指标,或通过单击本部分中的特定节点在图表部分中以交互方式查看其指标。 有关指标定义的详细信息,请参阅 Azure 流分析节点名称维度

  3. 图表部分:逻辑关系图中的图表部分有两个选项卡:“指标”和“活动日志”。

    • 指标:在右侧面板中选择相应的指标时,将在此处显示作业的指标数据。
    • 活动日志:此处会显示对作业执行的作业操作。 启用作业的诊断日志后,也会在此处显示该日志。 若要了解有关作业日志的详细信息,请参阅 Azure 流分析作业日志

    逻辑作业关系图加载完成时,图表部分会显示最近 30 分钟的作业指标:水印延迟、输入事件、输出事件和积压输入事件。

“关系图”部分和“图表”部分之间的交互在逻辑关系图中也是可用的。 可按节点属性筛选指标数据。

显示物理作业关系图概述的屏幕截图。

若要详细了解如何使用逻辑关系图进行调试,请参阅在 Azure 门户中使用逻辑作业图进行调试(预览)

后续步骤