创建和管理定时的笔记本任务

可以直接在笔记本 UI 中创建和管理笔记本作业。 如果已将笔记本分配给一个或多个作业,则可创建和管理这些作业的计划。 如果未将笔记本分配给作业,则可以创建作业和计划来运行笔记本。 若要了解有关计划作业的详细信息,请参阅按计划运行作业。

计划笔记本作业

若要计划一个需定期运行的笔记本作业,请执行以下操作:

  1. 在笔记本中,单击位于右上角的“日历图标”来进行计划。

    如果此笔记本不存在作业,将显示 “新建计划 ”对话框。

    日程笔记本对话框

    如果笔记本中已存在作业,“ 计划” 对话框将显示作业列表。 若要添加新计划,请单击“ 添加计划”。

    作业列表对话框

  2. 在“ 新建计划 ”对话框中,可以选择输入作业的名称。 默认名称是笔记本的名称。

  3. 选择“简单”,以按简单的计划(例如每天)运行作业,或选择“高级”来定义运行作业的自定义计划(例如每天的特定时间)。 使用下拉列表指定频率。 如果选择“高级”,还可以使用 cron 语法指定频率。

  4. 在 “计算 ”下拉列表中,选择要运行任务的计算资源。

    如果笔记本附加到 SQL 仓库,则默认计算就是该 SQL 仓库。

    如果工作区已启用 Unity 目录,并且启用了 无服务器作业 ,则计算选项默认为无服务器计算。

    如果拥有 “允许无限制的群集创建 ”权利,可以单击“ 添加新作业群集 ”来配置和 创建新的作业群集。

    还可以选择现有的通用计算资源。

  5. 如果使用无服务器,请选择性能模式。 请参阅 “选择性能模式”。

  6. (可选)在 “更多”选项下,可以指定电子邮件地址以接收有关作业事件的通知。 请参阅为作业添加通知。

  7. (可选)在“更多选项”中,输入任何要传递给作业的“参数”。 单击“添加”并指定每个参数的键和值。 参数通过参数的键来设置笔记本小组件的值。 使用动态值参考将有限的一组动态值作为参数值的一部分传递。

  8. 单击 “创建” 。

运行笔记本作业

手动运行笔记本作业:

  1. 在笔记本中,单击位于右上角的“日历图标”来进行计划。

  2. 单击 “Kebab”菜单图标。 在计划作业旁边,然后单击“ 立即运行”。

  3. 若要查看作业详细信息,请单击作业名称。

查看最近一次成功运行的结果并更新笔记本

可通过多种方式直接在笔记本 UI 中查看上次成功的计划作业运行:

  • 单击右上角的“ 计划 ”。 将鼠标悬停在感兴趣的计划上,然后单击“ 日历”图标。 查看上次成功运行。

  • 单击 “仪表板”图标。 右上角的笔记本和仪表板视图 ,然后单击“ 日历”图标。 查看 笔记本视图或仪表板视图的上次成功运行。

  • 单击 “历史记录”图标。 右侧栏中的版本历史记录 ,然后单击“ 上次成功的计划运行”。

上次成功运行作业的笔记本视图显示单元格输出中的最新运行结果。

  • 若要将笔记本更新到最新运行,请单击顶部的用运行更新笔记本。

  • 若要退出此视图并切换回原始笔记本,请单击“ 编辑笔记本”。

管理已安排的笔记本作业

若要显示与此笔记本关联的作业,请单击“ 日历”图标。 计划。 此时会显示“ 计划 ”对话框,其中显示了当前为此笔记本定义的所有作业。 若要管理作业,请单击列表中的作业右侧的 Kebab 菜单图标 。

作业列表菜单

在此菜单中,可编辑计划、克隆作业、查看作业运行详细信息、暂停作业、恢复作业或删除计划作业。

克隆计划的作业时,会使用与原始作业相同的参数创建一个新作业。 新作业将显示在列表中,其名称为“Clone of <initial job name>”。

编辑作业的方式取决于作业计划的复杂程度。 可以显示“计划”对话框或“任务”详细信息面板,以编辑计划、集群、参数等内容。 请参阅 使用计划和触发器自动执行作业。

无服务器作业的会话还原

Important

此功能目前以公共预览版提供。

将无服务器计算作业中的 Python 变量和 Spark 会话恢复到新的交互笔记本中,这样你可以调试失败或探索结果,而无需重跑整个作业。 Azure Databricks 会自动捕获符合条件的运行快照。 恢复的笔记本是复制品:你在里面做的编辑不会改变原始笔记本或作业。

要恢复状态,您必须是该运行所使用的运行身份用户。

要恢复作业运行状态:

  1. 查看作业运行详细信息,并打开该次运行的笔记本视图。

  2. 单击克隆到新笔记本,或者在运行失败时单击在新笔记本中调试。

  3. Azure Databricks 会在你的主文件夹中创建一个新的Job Run of <notebook name> at <timestamp> (Run <run ID>)笔记本,并恢复运行中的 Python 变量和 Spark 会话。 加载完成后,笔记本会收到通知显示 运行状态恢复 。

会话恢复会重建 Python 变量和 Spark 会话。 与原始运行进程相关的状态,比如与输入输出相关的资源,可能无法恢复。 如果缺少任何状态,重新运行笔记本的单元格来重建它。

Limitations

  • 只有运行时用户可以恢复运行状态,且仅限于笔记本任务。

  • 当符合条件的运行失败、运行30分钟或更长时间,或被取消或超时时,状态会自动被捕获。符合条件的运行使用环境版本5及以上的无服务器计算。 30分钟的门槛衡量的是执行时间,不计算等待计算的时间,因此等待计算的运行即使总时间超过30分钟也可能不符合条件。 状态不会被AI运行时计算捕获。 快照在运行完成后会保留 7 天。

  • 如果笔记本任务使用了上游任务传来的值,那么当你在工作流上下文之外单独恢复此次运行时,这些输入可能会缺失。

  • 恢复后的笔记本必须始终连接到无服务器计算。 在恢复过程中更改计算量会阻止状态恢复。