Lakeflow 作业的监视和可观测性

本文介绍 Azure Databricks UI 中提供的功能，用于查看有权访问的作业、查看作业运行的历史记录，以及查看作业运行的详细信息。 若要为作业配置通知，请参阅 在作业添加通知。

若要了解如何使用 Databricks CLI 查看作业和运行作业，请运行 CLI 命令 databricks jobs list -h、databricks jobs get -h 和 databricks jobs run-now -h。 若要了解如何使用作业 API，请参阅作业 API。

查看职位和流水线

若要查看您有权访问的作业列表，请单击在边栏中找到作业和管道。 Lakeflow 作业 UI 中的 “作业和管道 ”选项卡列出了有关所有可用作业和管道的信息，例如创建者、触发器（如果有）以及最后五次运行的结果。

若要更改列表中显示的列，请单击“ 并选择或取消选择列。

可以在 “作业和管道 ”列表中筛选作业，如以下屏幕截图所示。

1. 文本搜索：“名称和作业 ID”字段支持关键字搜索。 若要搜索使用键和值创建的标记，可以按键、值或键和值进行搜索。 例如，对于具有键 department 和值 finance 的标记，可以搜索 department 或 finance 查找匹配的作业。 若要按键和值进行搜索，请输入用冒号分隔的键和值（例如，department:finance）。

2. 类型：仅选择作业、管道或全部。

3. 所有者：仅选择你拥有的作业或管道。

4. 收藏夹：选择标记为收藏的所有作业或管道。

5. 标签：使用 标签。 若要按标记进行搜索，可以使用标记下拉菜单同时筛选最多五个标记，或者直接使用关键字搜索。

6. 运行方式：最多按两 run as 个值进行筛选。

若要启动作业或管道，请单击 播放按钮。 若要停止工作流，请单击按钮。 若要访问其他操作，请单击 Kebab 菜单 例如，可以从此菜单中删除工作流或访问管道的设置。

查看单个作业的执行情况

您可以查看您有权访问的作业中当前正在运行和最近完成的运行列表，包括由外部协调工具（如 Apache Airflow 或 Azure 数据工厂）启动的运行。 若要查看最近的作业运行列表，请执行以下操作：

1. 在 Azure Databricks 工作区的边栏中，单击作业和管道。

2. （可选）选择作业和归我所有筛选器。

3. 单击作业的名称链接。

   此时会显示“运行”选项卡，其中包含活动运行和已完成运行的矩阵和列表视图。

矩阵视图显示作业运行的历史记录，包括每个作业任务。

矩阵的“运行总持续时间”行会显示运行的总持续时间和运行状态。 若要查看运行的详细信息（包括开始时间、持续时间和状态），请将鼠标悬停在“运行总持续时间”行中的条上。

“任务”行中的每个单元格代表一个任务和该任务的相应状态。 若要查看每个任务的详细信息，包括开始时间、持续时间、群集和状态，请将鼠标悬停在该任务的单元格上。

作业运行和任务运行条采用颜色编码以指示运行状态。 成功的运行为绿色。 不成功的运行为红色，跳过的运行为粉色，等待重试为黄色。 挂起、取消或超时为灰色。 单个作业运行和任务运行条的高度可直观指示运行持续时间。

如果已配置预期完成时间，则当运行持续时间超过配置的时间时，矩阵视图会显示警告。

默认情况下，运行列表视图显示以下内容：

• 运行开始时间。
• 运行标识符。
• 运行是由作业计划触发、API 请求触发还是手动启动的。
• 当前作业的已用时间或已完成作业的总运行时间。 如果持续时间超过配置的预期完成时间，则显示警告。
• 运行的状态，“排队”、“挂起”、“正在运行”、“跳过”、“成功”、“失败”、“超时”、“正在取消”或“已取消”。
• 运行终止时的错误代码。
• 运行参数。

当前活动运行会显示一个停止按钮。 若要停止所有活动运行和已排队运行，请从下拉菜单中选择“取消运行”或“取消所有已排队运行”。

为一个运行使用 可执行特定于上下文的操作，例如删除已完成的运行的条目。

若要访问运行的上下文特定操作，请单击（例如，停止活动运行或删除已完成的运行）。

要更改运行列表视图中显示的列，请单击，然后选择或取消选择列。

若要查看作业运行详细信息，请在运行列表视图的“开始时间”列中单击该运行的链接。 要查看此作业最近一次成功运行的详细信息，请单击“转到最近一次成功运行”。

Azure Databricks 最多可以保留 60 天的作业运行历史。 如果需要保留作业运行，Databricks 建议在结果过期之前将其导出。 有关详细信息，请参阅导出作业运行结果。

查看作业运行详细信息

作业运行详细信息页包含作业输出和日志链接，其中包括有关作业运行中每个任务的成功或失败结果的信息。 可以通过作业的“运行”选项卡访问作业运行详细信息。

若要从“运行”选项卡查看作业运行详细信息，请在运行列表视图的“开始时间”列中单击该运行的链接。 若要返回作业的运行选项卡，请单击作业 ID值。

具有多个任务的作业还具有图形、日程表和列表视图。

图形视图

单击图形中的任务节点以查看任务运行详细信息，包括：

• 任务详细信息，包括运行方式、作业启动方式、开始时间、结束时间、持续时间和状态。
• 源代码。
• 运行任务的群集，并链接到其查询历史记录和日志。
• 任务的指标。

时间线视图

包含多个任务的作业具有时间线视图，用于识别需要很长时间才能完成、了解依赖项和重叠的任务，以帮助调试和优化这些作业。

“列表”视图

默认情况下，列表视图显示状态、名称、类型、资源、持续时间和依赖项。 可以在此视图中添加和删除列。

可以按名称搜索任务、按任务状态或任务类型进行筛选，以及按状态、名称或工期对任务进行排序。

单击“作业 ID”值以返回到作业的“运行”选项卡。

Azure Databricks 如何确定作业运行状态？

Azure Databricks 可根据作业的叶任务结果确定作业运行是否成功。 叶任务是无下游依赖项的任务。 作业运行可以有以下三个结果之一：

• 成功：所有任务都成功。
• 在失败中取得成功：一些任务失败，但所有叶子任务都成功。
• 失败：一个或多个叶任务失败。
• 跳过：作业运行已跳过（例如，可能由于超出了作业或工作区的最大并发运行数而跳过任务）。
• 超时：作业运行时间过长而导致超时。
• 已取消：作业运行已取消（例如，用户手动取消正在进行的运行）。

查看流媒体任务的指标

查看作业运行详细信息时，可以通过作业 UI 中的流式处理可观测性指标获取有关流式处理工作负载的数据。 这些指标包括积压工作秒数、积压工作字节数、积压工作记录和 Spark 结构化流式处理支持的源的积压工作文件，包括 Apache Kafka、Amazon Kinesis、自动加载程序和 Delta 表。 查看任务的运行详细信息时，指标显示为右侧窗格中的图表。 每个图表中显示的指标是按分钟聚合的最大值，最多可以包含前 48 小时。

每个流媒体源仅支持特定指标。 流式处理源不支持的指标在 UI 中无法查看。 下表显示了可用于所支持的流媒体源的度量标准：

还可以为每个流式处理指标指定阈值，并在任务运行期间流超过阈值时配置通知。 请参阅为慢速作业配置通知。

若要查看从其中一个受支持的结构化流式处理源流式传输数据的任务运行的流式处理指标，请执行以下操作：

1. 在“作业运行详细信息”页上，单击要查看其指标的任务。

2. 单击“任务运行”窗格中的“指标”选项卡。

3. 若要打开指标的图形，请单击指标名称旁边的 。

4. 若要查看特定流的指标，请在“按 stream_id 筛选”文本框中输入流 ID。 可以在作业运行的输出中找到流 ID。

5. 若要更改指标图的时间段，请使用时间下拉菜单。

6. 若要在运行包含十多个流的情况下滚动浏览流，请单击“下一个”或“上一个”。

流式处理可观测性限制

• 除非运行包含四个以上的流，否则每分钟更新一次指标。 如果运行具有四个以上的流，则指标每五分钟更新一次。
• 仅收集每个运行中前 50 个流的指标。
• 指标按一秒间隔收集。 如果 triggerInterval 设置小于 1 秒，则指标可能不可见。
• 默认情况下，大多数数据源收集流式处理指标。 但是，对于其他人，必须启用此功能。 如果数据源未收集流式处理指标，请将 spark.sql.streaming.metricsEnabled 标志设置为 True。

查看任务运行历史记录

查看任务的运行历史记录，包括成功和未成功的运行：

1. 单击“作业运行详细信息”页上的某个任务。 此时将显示“任务运行详细信息”页。

2. 在运行历史记录下拉菜单中选择运行任务。

查看 For each 任务的任务运行历史记录

访问 For each 任务的运行历史记录与访问标准 Lakeflow 作业任务的方式相同。 可以单击“作业运行详细信息”页面上的 For each 任务节点或矩阵视图中的相应单元格。 但是，与标准任务不同的是，For each 任务的运行详细信息显示为一个包含嵌套任务迭代的表格。

若要仅查看失败的迭代，请单击“仅失败的迭代”。

若要查看迭代的输出，请单击迭代的“开始时间”或“结束时间”值。

查看所有作业的最近执行情况

你可以查看自己有权访问的工作区中所有作业任务的当前和最近完成的运行列表，包括由 Apache Airflow 或 Azure 数据工厂等外部流程工具启动的运行。 若要查看最近的作业运行列表，请执行以下操作：

1. 单击边栏中的作业和管道。

2. 单击“ 运行 ”选项卡可显示已完成的运行计数图和作业和管道运行的列表。

3. （可选）单击“ 作业 ”以仅筛选作业。

运行列表包括顶部的筛选选项、最近完成的运行图和最常见的五个错误，以及最近完成运行的列表。

您可以按以下条件进行筛选：

• 作业或管道的名称。
• 所有、 任务或 流水线。
• 管道类型 （ETL、引入、MV/ST 或数据库表同步）。
• 以用户身份运行。
• 运行 开始时间 （在过去 48 小时内）。
• 运行状态。
• 失败运行的 错误代码 。

筛选器适用于图形、错误代码和运行列表。

已完成的运行计数图

“已完成运行计数”图显示过去 48 小时内已完成的任务运行次数。 默认情况下，图表会显示作业运行中的失败、跳过和成功。 还可以筛选该图以显示特定的运行状态，或将该图限制为特定的时间范围。 “ 运行 ”选项卡还包括过去 67 天内的作业运行表。 默认情况下，该表包含有关失败、跳过和成功任务执行的详细信息。

“ 运行 ”选项卡顶部的筛选器适用于图形。

若要限制“ 完成运行计数 ”图中显示的时间范围，可以在上面的筛选器中选择时间范围。 或者，可以在图形中单击并拖动光标以选择时间范围。 图表和运行表会更新，仅显示所选时间范围内的运行。

“前 5 个错误类型”表可显示所选时间范围内最常见的错误类型的列表，从而支持你快速查看工作区中作业问题的最常见原因。

作业运行列表

“作业运行”选项卡还包括过去 60 天内的作业运行表。 默认情况下，该表包含有关失败的作业运行、被跳过的作业运行以及成功的作业运行的详细信息。

“ 运行 ”选项卡顶部的筛选器将应用于列表。

默认情况下，运行表中的运行列表显示以下内容：

• 运行开始时间。
• 与运行关联的作业名称。
• 运行的类型（作业 或 流水线）。
• 运行作业的用户名。
• 如何通过作业计划或 API 请求触发运行（已启动），或者手动启动。
• 当前正在运行的作业的经过时间，或已完成运行的总时间。 如果持续时间超过配置的预期完成时间，则显示警告。
• 运行的状态：“排队”、“挂起”、“正在运行”、“跳过”、“成功”、“失败”、“超时”、“正在取消”或“已取消”。
• 任何使运行终止的错误代码。
• 运行的所有参数。
• 若要停止正在运行的作业，请单击“停止”按钮。 若要访问作业的操作，请单击 ，例如，停止正在进行的运行或删除已完成运行。

若要更改运行列表中显示的列，请单击，然后选择或取消选择需要显示的列。

若要查看作业运行详细信息，请单击运行“开始时间”列中的链接。 若要查看作业详细信息，请单击“作业”列中的作业名称。

查看作业的世系信息

如果在工作区中启用了 Unity Catalog，则可以查看工作流中任何 Unity Catalog 表的世系信息。 如果提供了工作流的世系信息，则作业的“作业详细信息”面板、作业运行的“作业运行详细信息”面板或任务运行的“任务运行详细信息”面板中会显示一个链接，其中包含上游和下游表的计数。 单击该链接会显示表的列表。 单击某个表可在目录资源管理器中查看详细信息。

查看并运行使用 Databricks 资产捆绑创建的作业

可以使用 Lakeflow 作业 UI 查看和运行 Databricks 资产捆绑包部署的作业。 默认情况下，这些作业在作业 UI 中是只读的。 若要编辑捆绑包部署的作业，请更改捆绑包配置文件并重新部署作业。 仅对捆绑包配置应用更改可确保捆绑包源文件始终捕获当前作业配置。

但是，如果必须立即更改作业，则可以断开作业与捆绑包配置的连接，以便在 UI 中编辑作业设置。 若要断开与任务的连接，请单击“从源断开连接”。 在“从源断开连接”对话框中，单击“断开连接”进行确认。

对 UI 中作业所做的任何更改都不会应用于捆绑包配置。 若要将 UI 中所做的更改应用于捆绑包，则必须手动更新捆绑包配置。 若要将作业重新连接到捆绑包配置，请使用捆绑包重新部署作业。

导出作业运行结果

可以为所有作业类型导出笔记本运行结果和作业运行日志。

导出笔记本运行结果

可以通过导出作业运行的结果来持久保存作业运行。 对于笔记本作业的运行，可以先导出已呈现的笔记本，稍后再将其导入到 Azure Databricks 工作区中。

导出具有单个任务的作业的笔记本运行结果：

1. 在“作业详细信息”页上，在“已完成的运行(过去 60 天)”表的“运行”列中，单击该运行对应的“查看详细信息”链接 。

2. 单击“导出到 HTML”。

导出具有多个任务的作业的笔记本运行结果：

1. 在“作业详细信息”页上，在“已完成的运行(过去 60 天)”表的“运行”列中，单击该运行对应的“查看详细信息”链接 。

2. 单击笔记本任务以导出。

3. 单击“导出到 HTML”。

导出作业运行日志

你还可以导出作业运行的日志。 可以将作业设置为在配置作业计算时自动将日志传送到 DBFS（请参阅 计算配置参考）或通过作业 API。 请参阅传递给作业 API 中的创建新作业操作 (POST /jobs/create) 的请求正文中的new_cluster.cluster_log_conf对象。