作业的管道任务

Lakeflow 作业提供了一种以流程方式定义 任务之间关系的方法。 Lakeflow 管道提供了一种声明性方法来定义 数据集转换之间的关系。 使用作业 UI、Lakeflow 管道 UI 或 SQL,将触发式管道安排为作为作业中的任务运行。

注释

触发的管道是指一种非连续运行的管道,需要触发才能启动。 管道任务可以是触发的管道的触发机制。 无需触发连续管道,因此通过任务触发它们将是冗余的。 若要详细了解触发管道和连续管道,请参阅触发管道模式与连续管道模式

使用 Jobs 用户界面配置管道任务

Lakeflow 管道在管道定义中管理源代码和计算资源的所有配置。

若要将管道添加到一个作业中,请完成以下步骤:

  1. 创建并命名新任务,并为类型选择管道

  2. “管道 ”下拉菜单中,选择现有管道。 管道必须是触发式管道。 不支持将连续管道作为作业任务。

  3. 可以选择性地在流水线中触发完全刷新。

  4. 可以选择在 “参数” 字段中设置参数替代。 请参阅参数

  5. (可选)若要配置重试、运行持续时间或流式积压工作阈值或通知,请参阅 “高级任务设置”。

注释

还可以通过选择 Plus 图标在创建任务时创建新的引入管道。“添加任务”窗格或“任务类型”下拉列表中的新引入管道

若要编辑、克隆、禁用或删除此任务,请参阅 Lakeflow 作业中的配置和编辑任务

数据库表同步管道

数据库表同步管道任务是一项用于运行维护 Lakebase 同步表的管道的管道任务。 使用它按计划刷新同步表,或源 Unity 目录表发生更改时,以便操作应用程序从 Lakebase Postgres 读取当前数据。

在任务 类型 下拉列表中, 数据库表同步管道 显示在 引入和转换下。 选中后即可配置管道任务。 在 “管道” 字段中,选择与您要刷新的同步表关联的管道。

Lakebase 有两个产品/服务。 您要刷新的同步表决定了应遵循哪组说明:

  • Lakebase Autoscaling 是面向新实例提供的产品。

  • Lakebase Provisioned 是最初推出的产品/服务。

摄取管道

引入管道任务是运行引入管道的管道任务。 在任务 类型 下拉列表中,选择 引入管道 将启动 “添加数据 向导”,该向导为引入管道创建管道任务。

向导的第一页会要求您指定数据源。 以下页面取决于所选的源。

使用管道 UI 计划管道

将调度添加到流水线会创建一个包含单个流水线任务的作业。 只能使用此 UI 配置基于时间的计划触发器。 有关更高级的触发选项,请参阅 使用“作业”UI 配置管道任务

使用管道用户界面,按照以下步骤在定时任务中配置管道任务:

  1. 在您的工作区中,单击工作流图标,在侧栏中选择作业和管道

  2. 单击管道 名称。 此时会显示管道 UI。

  3. 单击“日程”

    • 如果管道不存在计划,将显示 “新建计划 ”对话框。
    • 如果已有一个或多个计划,请单击“ 添加计划”。
  4. “作业名称 ”字段中输入作业的唯一名称。

  5. (可选)更新计划频率。

    • 选择 “高级 ”以获取更多详细选项,包括 cron 语法。
  6. (可选)在 “更多选项”下,配置一个或多个电子邮件地址,以在管道启动、成功或失败时接收警报。

  7. 单击 “创建”

    注释

    如果管道包含在一个或多个计划作业中,则“计划”按钮显示现有计划的数量,例如“计划”(5)。

在 Databricks SQL 中向物化视图或流表添加计划

Databricks SQL 中定义的具体化视图和流式处理表支持 CREATEALTER 命令中指定的基于时间的计划。

有关详细信息,请参阅以下文章: