Lakeflow 作业提供了一种以流程方式定义 任务之间关系的方法。 Lakeflow 管道提供了一种声明性方法来定义 数据集 和 转换之间的关系。 使用作业 UI、Lakeflow 管道 UI 或 SQL,将触发式管道安排为作为作业中的任务运行。
注释
触发的管道是指一种非连续运行的管道,需要触发才能启动。 管道任务可以是触发的管道的触发机制。 无需触发连续管道,因此通过任务触发它们将是冗余的。 若要详细了解触发管道和连续管道,请参阅触发管道模式与连续管道模式。
使用 Jobs 用户界面配置管道任务
Lakeflow 管道在管道定义中管理源代码和计算资源的所有配置。
若要将管道添加到一个作业中,请完成以下步骤:
创建并命名新任务,并为类型选择管道。
在 “管道 ”下拉菜单中,选择现有管道。 管道必须是触发式管道。 不支持将连续管道作为作业任务。
可以选择性地在流水线中触发完全刷新。
可以选择在 “参数” 字段中设置参数替代。 请参阅参数。
(可选)若要配置重试、运行持续时间或流式积压工作阈值或通知,请参阅 “高级任务设置”。
注释
还可以通过选择 在创建任务时创建新的引入管道。“添加任务”窗格或“任务类型”下拉列表中的新引入管道。
若要编辑、克隆、禁用或删除此任务,请参阅 Lakeflow 作业中的配置和编辑任务。
数据库表同步管道
数据库表同步管道任务是一项用于运行维护 Lakebase 同步表的管道的管道任务。 使用它按计划刷新同步表,或源 Unity 目录表发生更改时,以便操作应用程序从 Lakebase Postgres 读取当前数据。
在任务 类型 下拉列表中, 数据库表同步管道 显示在 引入和转换下。 选中后即可配置管道任务。 在 “管道” 字段中,选择与您要刷新的同步表关联的管道。
Lakebase 有两个产品/服务。 您要刷新的同步表决定了应遵循哪组说明:
Lakebase Autoscaling 是面向新实例提供的产品。
Lakebase Provisioned 是最初推出的产品/服务。
摄取管道
引入管道任务是运行引入管道的管道任务。 在任务 类型 下拉列表中,选择 引入管道 将启动 “添加数据 向导”,该向导为引入管道创建管道任务。
向导的第一页会要求您指定数据源。 以下页面取决于所选的源。
使用管道 UI 计划管道
将调度添加到流水线会创建一个包含单个流水线任务的作业。 只能使用此 UI 配置基于时间的计划触发器。 有关更高级的触发选项,请参阅 使用“作业”UI 配置管道任务。
使用管道用户界面,按照以下步骤在定时任务中配置管道任务:
在您的工作区中,单击
,在侧栏中选择作业和管道。
单击管道 名称。 此时会显示管道 UI。
单击“日程”。
- 如果管道不存在计划,将显示 “新建计划 ”对话框。
- 如果已有一个或多个计划,请单击“ 添加计划”。
在 “作业名称 ”字段中输入作业的唯一名称。
(可选)更新计划频率。
- 选择 “高级 ”以获取更多详细选项,包括 cron 语法。
(可选)在 “更多选项”下,配置一个或多个电子邮件地址,以在管道启动、成功或失败时接收警报。
单击 “创建” 。
注释
如果管道包含在一个或多个计划作业中,则“计划”按钮显示现有计划的数量,例如“计划”(5)。
在 Databricks SQL 中向物化视图或流表添加计划
Databricks SQL 中定义的具体化视图和流式处理表支持 CREATE 或 ALTER 命令中指定的基于时间的计划。
有关详细信息,请参阅以下文章: