在笔记本中开发和调试增量实时表管道

本文介绍 Azure Databricks 笔记本中有助于开发和调试增量实时表代码的功能。

功能概述

在使用用作现有增量实时表管道的源代码的 Python 或 SQL 笔记本时，可以将笔记本直接连接到管道。 将笔记本连接到管道后，可以使用以下功能：

• 从笔记本启动并验证管道。
• 查看管道的数据流图和事件日志以了解笔记本中的最新更新。
• 在笔记本编辑器中查看管道诊断。
• 在笔记本中查看管道群集的状态。
• 从笔记本访问增量实时表 UI。

先决条件

• 必须有一个现有的增量实时表管道，并使用 Python 或 SQL 笔记本作为源代码。
• 你必须是管道的所有者或拥有 CAN_MANAGE 权限。

限制

• 本文介绍的功能仅在 Azure Databricks 笔记本中可用。 不支持工作区文件。
• 附加到管道后，Web 终端不可用。 因此，它不会显示为底部面板中的选项卡。

将笔记本连接到增量实时表管道

在笔记本中，单击用于选择计算的下拉菜单。 下拉菜单会显示使用此笔记本作为源代码的所有增量实时表管道。 若要将笔记本连接到管道，请从列表中选择它。

查看管道的群集状态

为了方便用户了解管道群集的状态，该状态会显示在计算下拉菜单中，绿色表示群集正在运行。

验证管道代码

可以验证管道以检查源代码中的语法错误，而无需处理任何数据。

若要验证管道，请执行以下操作之一：

• 在笔记本的右上角，单击“验证”。
• 在任一笔记本单元格中按 Shift+Enter。
• 在单元格的下拉菜单中，单击“验证管道”。

启动管道

管道更新将执行以下操作：启动群集，发现并验证所有已定义的表和视图，并使用最新可用数据创建或更新表和视图。

若要开始更新管道，请单击笔记本右上角的“开始”按钮。

如果单击“是”，则现有更新将会停止，并自动开始验证更新。

查看更新状态

笔记本中的顶部面板会显示管道更新的状态：

• 正在启动
• 正在验证
• 正在停止

查看错误和诊断

启动或验证管道后，任何错误将会显示出来并以红色下划线予以标识。 将鼠标悬停在错误上可查看详细信息。

查看管道事件

附加到管道后，笔记本底部会显示增量实时表事件日志选项卡。

查看管道数据流图形

若要查看管道的数据流图，请使用笔记本底部的增量实时表图选项卡。 选择图形中的节点会在右侧面板中显示其架构。

如何从笔记本访问增量实时表 UI

若要轻松跳转到增量实时表 UI，请使用笔记本右上角的菜单。

从笔记本访问驱动程序日志和 Spark UI

可以从笔记本的“视图”菜单轻松访问与正在开发的管道关联的驱动程序日志和 Spark UI。