可以直接在笔记本 UI 中创建和管理笔记本作业。 如果已将笔记本分配给一个或多个作业,则可创建和管理这些作业的计划。 如果未将笔记本分配给作业,则可以创建作业和计划来运行笔记本。 若要了解有关计划作业的详细信息,请参阅按计划运行作业。
计划笔记本作业
若要计划一个需定期运行的笔记本作业,请执行以下操作:
在笔记本中,单击位于右上角的“日历图标”来进行计划。
如果此笔记本不存在作业,将显示 “新建计划 ”对话框。
如果笔记本中已存在作业,“ 计划” 对话框将显示作业列表。 若要添加新计划,请单击“ 添加计划”。
在“ 新建计划 ”对话框中,可以选择输入作业的名称。 默认名称是笔记本的名称。
选择“简单”,以按简单的计划(例如每天)运行作业,或选择“高级”来定义运行作业的自定义计划(例如每天的特定时间)。 使用下拉列表指定频率。 如果选择“高级”,还可以使用 cron 语法指定频率。
在 “计算 ”下拉列表中,选择要运行任务的计算资源。
如果笔记本附加到 SQL 仓库,则默认计算就是该 SQL 仓库。
如果工作区已启用 Unity 目录,并且启用了 无服务器作业 ,则计算选项默认为无服务器计算。
如果拥有 “允许无限制的群集创建 ”权利,可以单击“ 添加新作业群集 ”来配置和 创建新的作业群集。
还可以选择现有的通用计算资源。
如果使用无服务器,请选择性能模式。 请参阅 “选择性能模式”。
(可选)在 “更多”选项下,可以指定电子邮件地址以接收有关作业事件的通知。 请参阅为作业添加通知。
(可选)在“更多选项”中,输入任何要传递给作业的“参数”。 单击“添加”并指定每个参数的键和值。 参数通过参数的键来设置笔记本小组件的值。 使用动态值参考将有限的一组动态值作为参数值的一部分传递。
单击 “创建” 。
运行笔记本作业
手动运行笔记本作业:
在笔记本中,单击位于右上角的“日历图标”来进行计划。
单击
在计划作业旁边,然后单击“ 立即运行”。
若要查看作业详细信息,请单击作业名称。
查看最近一次成功运行的结果并更新笔记本
可通过多种方式直接在笔记本 UI 中查看上次成功的计划作业运行:
单击右上角的“ 计划 ”。 将鼠标悬停在感兴趣的计划上,然后单击“
查看上次成功运行。
单击
右上角的笔记本和仪表板视图 ,然后单击“
查看 笔记本视图或仪表板视图的上次成功运行。
单击
右侧栏中的版本历史记录 ,然后单击“ 上次成功的计划运行”。
上次成功运行作业的笔记本视图显示单元格输出中的最新运行结果。
若要将笔记本更新到最新运行,请单击顶部的用运行更新笔记本。
若要退出此视图并切换回原始笔记本,请单击“ 编辑笔记本”。
管理已安排的笔记本作业
若要显示与此笔记本关联的作业,请单击“ 计划。 此时会显示“ 计划 ”对话框,其中显示了当前为此笔记本定义的所有作业。 若要管理作业,请单击列表中的作业右侧的
。
在此菜单中,可编辑计划、克隆作业、查看作业运行详细信息、暂停作业、恢复作业或删除计划作业。
克隆计划的作业时,会使用与原始作业相同的参数创建一个新作业。 新作业将显示在列表中,其名称为“Clone of <initial job name>”。
编辑作业的方式取决于作业计划的复杂程度。 可以显示“计划”对话框或“任务”详细信息面板,以编辑计划、集群、参数等内容。 请参阅 使用计划和触发器自动执行作业。
无服务器作业的会话还原
Important
此功能目前以公共预览版提供。
将无服务器计算作业中的 Python 变量和 Spark 会话恢复到新的交互笔记本中,这样你可以调试失败或探索结果,而无需重跑整个作业。 Azure Databricks 会自动捕获符合条件的运行快照。 恢复的笔记本是复制品:你在里面做的编辑不会改变原始笔记本或作业。
要恢复状态,您必须是该运行所使用的运行身份用户。
要恢复作业运行状态:
查看作业运行详细信息,并打开该次运行的笔记本视图。
单击克隆到新笔记本,或者在运行失败时单击在新笔记本中调试。
Azure Databricks 会在你的主文件夹中创建一个新的
Job Run of <notebook name> at <timestamp> (Run <run ID>)笔记本,并恢复运行中的 Python 变量和 Spark 会话。 加载完成后,笔记本会收到通知显示 运行状态恢复 。
会话恢复会重建 Python 变量和 Spark 会话。 与原始运行进程相关的状态,比如与输入输出相关的资源,可能无法恢复。 如果缺少任何状态,重新运行笔记本的单元格来重建它。
Limitations
只有运行时用户可以恢复运行状态,且仅限于笔记本任务。
当符合条件的运行失败、运行30分钟或更长时间,或被取消或超时时,状态会自动被捕获。符合条件的运行使用环境版本5及以上的无服务器计算。 30分钟的门槛衡量的是执行时间,不计算等待计算的时间,因此等待计算的运行即使总时间超过30分钟也可能不符合条件。 状态不会被AI运行时计算捕获。 快照在运行完成后会保留 7 天。
如果笔记本任务使用了上游任务传来的值,那么当你在工作流上下文之外单独恢复此次运行时,这些输入可能会缺失。
恢复后的笔记本必须始终连接到无服务器计算。 在恢复过程中更改计算量会阻止状态恢复。