作业的管道任务

Lakeflow 作业提供一种过程性方法，用于定义 任务之间的关系。 Lakeflow 声明性管道提供了一种声明性方法来定义 数据集 和 转换之间的关系。 本页介绍如何通过使用作业 UI、Lakeflow 声明性管道 UI 或 SQL，将触发的 Lakeflow 声明性管道安排为作业任务来运行。

使用 Jobs 用户界面配置管道任务

Lakeflow 声明性管道管理管道定义中源代码和计算的所有配置。

若要将管道添加到作业，请完成以下步骤：

1. 创建并命名新任务，并为类型选择管道。

2. 在 “管道 ”下拉菜单中，选择现有管道。 管道必须是触发式管道。 不支持将连续管道作为作业任务。

3. 可以选择性地在流水线中触发完全刷新。

   注释

   还可以通过在“添加任务”窗格或“任务类型”下拉列表中选择“+ 新建引入管道”来创建任务时创建新的引入管道。

使用管道 UI 计划管道

将调度添加到流水线会创建一个包含单个流水线任务的作业。 只能使用此 UI 配置基于时间的计划触发器。 有关更高级的触发选项，请参阅 使用“作业”UI 配置管道任务。

使用管道用户界面，按照以下步骤在定时任务中配置管道任务：

1. 在工作区中，单击，然后在边栏中选择作业和管道。

2. 单击管道 名称。 此时会显示管道 UI。

3. 单击日程。

   • 如果管道不存在计划，将显示 “新建计划 ”对话框。
   • 如果已有一个或多个计划，请单击“ 添加计划”。

4. 在 “作业名称 ”字段中输入作业的唯一名称。

5. （可选）更新计划频率。

   • 选择 “高级 ”以获取更多详细选项，包括 cron 语法。

6. （可选）在 “更多选项”下，配置一个或多个电子邮件地址，以在管道启动、成功或失败时接收警报。

7. 单击 “创建” 。

   注释

   如果管道包含在一个或多个计划作业中，则“计划”按钮显示现有计划的数量，例如“计划”（5）。

在 Databricks SQL 中向物化视图或流表添加计划

在 Databricks SQL 中定义的具体化视图和流表支持在 CREATE 或 ALTER 命令中指定的基于时间的计划。

有关详细信息，请参阅以下文章：

• 创建具体化视图
• 创建流式表
• ALTER MATERIALIZED VIEW
• ALTER STREAMING TABLE