以可视化方式监视 Azure 数据工厂

适用于: Azure 数据工厂 Azure Synapse Analytics

提示

试用 Microsoft Fabric 中的数据工厂,这是一种适用于企业的一站式分析解决方案。 Microsoft Fabric 涵盖从数据移动到数据科学、实时分析、商业智能和报告的所有内容。 了解如何免费开始新的试用

在 Azure 数据工厂中创建并发布管道以后,即可将其与触发器关联,或者手动启动临时运行。 可以在 Azure 数据工厂用户体验中以本机方式监视所有管道运行。 若要打开监视体验,请选择 Azure 门户的“数据工厂”边栏选项卡中的“监视和管理”磁贴。 如果已在 ADF UX 中,请单击左侧边栏上的“监视”图标。

默认情况下,所有数据工厂运行都以浏览器的本地时区显示。 如果你更改时区,所有日期/时间字段都会与你选择的时区保持一致。

监视管道运行

默认监视视图是所选时段内触发的管道运行的列表。 你可以更改时间范围并按状态、管道名称或注释进行筛选。 将鼠标悬停在特定管道运行上可获取特定于运行的操作,如重新运行和消耗报告。

Screenshot of list view for monitoring pipeline runs.

管道运行网格包含以下列:

列名 说明
管道名称 管道的名称
运行开始时间 管道运行的开始日期和时间(MM/DD/YYYY,HH:MM:SS AM/PM)
运行结束时间 管道运行的结束日期和时间(MM/DD/YYYY,HH:MM:SS AM/PM)
持续时间 运行持续时间 (HH:MM:SS)
触发者 启动了管道的触发器的名称
状态 失败成功正在进行已取消已排队
批注 与管道关联的可筛选标记
参数 管道运行的参数(名称/值对)
错误 在管道失败的情况下出现的运行错误
运行 “原始”、“重新运行”或“重新运行(最新)”
运行 ID 管道运行的 ID

需要手动选择“刷新”按钮来刷新管道和活动运行的列表。 当前不支持自动刷新。

 Screenshot of refresh button.

若要查看调试运行的结果,请选择“调试”选项卡。

Screenshot of the view active debug runs icon.

监视活动运行

若要获取某特定管道运行的单个活动运行的详细视图,请单击管道名称。

Screenshot of view activity runs.

此列表视图显示了与每个管道运行对应的活动运行。 将鼠标悬停在该特定活动运行上可获取特定于运行的信息,如 JSON 输入、JSON 输出和详细的特定于活动的监视体验。

Screenshot of information about SalesAnalyticsMLPipeline, followed by a list of activity runs.

列名 说明
活动名称 管道中的活动的名称
活动类型 活动类型,如“复制”、“ExecuteDataFlow”或“AzureMLExecutePipeline”
操作 图标,用于查看 JSON 输入信息、JSON 输出信息或详细的特定于活动的监视体验
运行开始时间 活动运行的开始日期和时间(MM/DD/YYYY,HH:MM:SS AM/PM)
Duration 运行持续时间 (HH:MM:SS)
状态 失败成功正在进行已取消
Integration Runtime 运行活动时所在的 Integration Runtime
用户属性 活动的用户定义属性
错误 在活动失败的情况下出现的运行错误
运行 ID 活动运行的 ID

如果某个活动失败,可通过单击错误列中的图标来查看详细的错误消息。

Screenshot of a notification with error details including error code, failure type, and error details.

提升要监视的用户属性

将任何管道活动属性提升为用户属性,使其成为受监视的实体。 例如,可以将管道中复制活动的“源”和“目标”属性提升为用户属性。

注意

最多只能将五个管道活动属性提升为用户属性。

Screenshot of create user properties.

创建用户属性后,便可在监视列表视图中监视它们。

Screenshot of add columns for user properties to the activity runs list.

如果复制活动的源是表名,则可以将源表名称作为活动运行列表视图中的列进行监视。

Screenshot of activity runs list with columns for user properties.

重新运行管道和活动

容器活动的重新运行行为如下所示:

  • Wait - 活动将像以前一样运行。
  • Set Variable - 活动将像以前一样运行。
  • Filter - 活动将像以前一样运行。
  • Until 活动会评估表达式,并会循环,直到条件得到满足。 可能仍会根据重新运行规则跳过内部活动。
  • Foreach 活动将始终在其收到的项上循环。 可能仍会根据重新运行规则跳过内部活动。
  • If and switch - 始终会对条件进行评估。 将评估所有内部活动。 根据重新运行规则,内部活动仍可能被跳过,但执行管道等活动将重新运行。
  • Execute pipeline activity - 将触发子管道,但仍可能会根据重新运行规则跳过子管道中的所有活动。

若要从开始处重新运行之前已运行过的管道,请将鼠标悬停在该特定管道运行上,并选择“重新运行”。 如果选择多个管道,可以使用“重新运行”按钮来运行所有这些管道。

Screenshot of rerun a pipeline.

如果需要从某个特定点开始重新运行,可从活动运行视图中执行此操作。 选择需要作为开始位置的活动,并选择“从活动重新运行”。

Screenshot of rerun an activity run.

还可重新运行管道并更改参数。 选择“新建参数”按钮可更改参数。

Screenshot of rerun an activity run with new parameters.

注意

使用新参数重新运行管道将被视为新的管道运行,因此不会显示在管道运行的重新运行分组下。

从失败的活动重新运行

如果某个活动失败、超时或被取消,则可以通过选择“从失败的活动重新运行”来从该失败的活动重新运行管道。

Screenshot of rerun failed activity.

查看重新运行历史记录

可以查看列表视图中所有管道运行的重新运行历史记录。

Screenshot of view history.

还可以查看特定管道运行的重新运行历史记录。

Screenshot of view history for a pipeline run.

监视消耗

通过单击管道运行旁边的消耗图标,可以查看运行消耗的资源。

Screenshot that shows where you can see the resources consumed by a pipeline.

单击此图标会打开相应管道运行所使用的资源的消耗报告。

Screenshot of monitor consumption.

可以将这些值插入到 Azure 定价计算器中,以估计管道运行的成本。

注意

定价计算器返回的这些值是估计值。 它并不反映 Azure 数据工厂将向你收取的确切金额

甘特视图

甘特图是一种可用于查看某个时间范围内的运行历史记录的视图。 切换到甘特视图后,将会看到所有管道运行都按名称分组,并显示为与运行所用时间长度相关的条形。 还可以按已在管道上创建的注释/标记进行分组。 在活动运行级别也可使用甘特视图。

Screenshot of an example of a Gantt chart.

条形长度表示管道持续时间。 还可以选择条形来查看更多详细信息。

Screenshot of a Gantt chart duration.

警报

可在数据工厂中发出有关受支持指标的警报。 在“数据工厂监视”页上,依次选择“监视”>“警报和指标”,以开始操作。

Screenshot of the Data factory Monitor page.

创建警报

  1. 选择“新建警报规则”,以新建警报。

    Screenshot of New Alert Rule button.

  2. 指定规则名称,然后选择警报严重性。

    Screenshot of boxes for rule name and severity.

  3. 选择警报条件。

    Screenshot of box for target criteria.

    Screenshot that shows where you select one metric to set up the alert condition.

    Screenshot of list of criteria.

    可以针对各种指标创建警报,包括 ADF 实体计数/大小、活动/管道/触发器运行、Integration Runtime (IR) CPU 利用率/内存/节点计数/队列,以及 SSIS 包执行和 SSIS IR 启动/停止操作的指标。

  4. 配置警报逻辑。 可以针对所选的指标为所有管道和对应的活动创建警报。 还可以选择特定的活动类型、活动名称、管道名称或故障类型。

    Screenshot of options for configuring alert logic.

  5. 为警报配置电子邮件、短信、推送和语音通知。 为警报通知创建一个操作组,或选择现有的操作组。

    Screenshot of options for configuring notifications.

    Screenshot of options for adding a notification.

  6. 创建警报规则。

    Screenshot of options for creating an alert rule.

若要了解有关监视和管理管道的信息,请参阅以编程方式监视和管理管道一文。