在 Lakeflow Designer 中预览并优化结果

当你构建可视化数据准备时,Lakeflow Designer 会预览每个操作的结果,这样你可以在不运行整个工作流程的情况下检查工作。 本页介绍如何读取和控制预览,运行部分或全部可视化数据准备,使用检查点保存操作员结果,并直接在结果表中细化数据。

使用输出窗格

选择任意操作符,即可在屏幕底部的输出面板中查看其结果。 对于大多数算子类型,输入数据位于左侧,输出数据在右侧。 生成非表结果(如绘图、HTML 或图像)的运算符直接在输出窗格中呈现这些输出。

使用输出窗格中的视图控件在输入和输出(默认值)、仅输入或仅输出之间切换。 在组合视图中,拖动分隔线以调整输入和输出窗格的大小。

如果所选操作员的运行有性能数据,请在输出面板中点击 “性能 ”以打开完整的查询配置文件。

画布下方的 LFD 输出窗格。

控制数据预览处理的数据量

Designer 会自动预览运算符。 默认情况下,算子处理前1000个输入行用于预览。 要更改默认值,请在画布工具栏的 预览 菜单中选择 前N行 以输入新的限制,或选择 “所有行”。 选择 “应用到所有操作员” 以清除每个操作员的 已扫描行数 覆盖设置,使其使用当前默认值。

在输出面板中使用 已扫描行数 菜单,覆盖单个操作员的默认设置:

  • 扫描行数:继承:使用 预览 菜单中的默认设置。

  • 扫描的行数:限制:处理前 N 个输入行。 在菜单旁边的字段输入行限制。

  • 扫描行:所有行:处理所有输入行。

当预览处理所有行时,画布显示算子的精确输出行数。 对于拥有多个输出的算子,将鼠标悬停在行计数徽章上即可查看按输出计算的计数。

警告

使用 扫描的行数:所有行 生成预览会在整个数据集上重新运行该运算符及其上游运算符,可能需要较长时间。

预览限制不适用于排程作业或 全部运行。

运行完整的可视化数据准备

点击 “全部运行 ”,可以一次性将画布上的所有操作符对整个数据集进行运行,无需逐个预览。 Designer 运行整个可视化数据准备文件,更新每个操作符的结果,然后在画布下方显示每个操作符的具体输出行数。

运行菜单中包含更多用于运行整个视觉数据准备的操作:

  1. 点击文件头中的 竖三点菜单图标,然后选择 运行。

  2. 选择操作:

    • 全部运行:运行整个视觉数据准备过程。

    • 中断执行:停止正在运行的可视化数据准备。

    • 转到上次运行的算子:聚焦最近运行的算子。

    • 清除>清除所有运算符输出:移除显示的结果。

    • 清除>清除状态并运行全部:清除计算状态并重新运行可视化数据准备。

执行清除操作需要有编辑视觉数据准备文件的权限。

运行至某个运算符

右键点击一个操作符,选择“运行至该操作符”,即可针对整个数据集运行该操作符及其上游操作符,且无预览行限制。 下游算子和断开的分支无法运行。

配置操作员检查点

检查点保存算子的结果,使预览可以重复使用这些结果,而无需重新运行上游算子。 在操作员配置面板中,打开 操作员设置 并选择 检查点:

  • 自动:设计师选择保存哪些结果。 这是新操作员的默认设置。

  • 开:保存此操作员的结果。

  • 关闭:不要保存这个操作符的结果。

更改此设置需要具有编辑视觉数据准备文件、运行该文件和生成预览的权限。 预览可以在同一计算会话中重用已保存的结果。 运行所有,运行到此运算符,并安排作业重新计算结果。

如果检查点不可用或失败,Auto 会在没有检查点的情况下继续运行。 开 启时,预览或运行会失败。

直接在结果表中转换数据

除了添加算子来转换数据外,你还可以直接在结果表中处理数据。 预览中的编辑仅更改预览样本,并归入 待处理的更改。 它们不会改变你的数据或工作流程,除非你应用它们。

直接在 LFD 结果表中编辑数据:对某一列执行操作会暂存一项待应用的更改,而“应用到画布”会将其转换为一个运算符。

数据预览支持以下操作:

  • 插入列:选择 插入列,然后输入名称和表达式。

  • 更改列的类型:选择 更改类型 并选择目标类型。

  • 移除空行:选择 “移除空行 ”以删除列为空的行。

  • 过滤行:在列上添加一个或多个过滤条件。

  • 重命名列名:双击列头并输入新名字。

  • 隐藏、重排或移除列:隐藏或移除列,或拖动列头以重新排序。

  • 排序行:在列上添加排序方向。 按更多列进行排序会将这些列添加到排序顺序中。

  • 删除重复行:选择 删除重复行,然后选择要比较的列。

审核并应用待定更改

暂存的编辑内容会收集在待处理的更改窗格中。 在应用该编辑之前,打开它以查看或删除该编辑。 要更改分阶段的新列,在预览中双击并更新其名称或表达式。

要将分阶段编辑添加到工作流程中,选择“ 应用到画布”。 Lakeflow Designer 会按你暂存它们的顺序为已暂存的编辑添加操作符。 每种编辑类型对应到以下操作符类型:

编辑预览 操作员已添加到画布上
插入一栏 准备
更改列的类型 准备
移除空值行 Filter
筛选行 Filter
移除、重命名、重新排序或隐藏列 Select
对行进行排序 Sort
删除重复行 独特

Note

如果你在有待处理变更时切换预览处理完整数据集,Lakeflow Designer 会提示你先应用这些修改,这样分阶段的编辑就不会丢失。

检查数据概况

要查看输出部分的详细信息,请选择你想检查的数据,然后点击输出面板右上角的 侧边栏图标 按钮以打开详细信息面板。

显示有关所选输出数据的图形和详细信息的边栏。

下载结果

使用输出面板中的下载控件将预览结果导出为文件:

  • 显示行:下载预览中显示的行,作为CSV或Excel。

  • 所有行:下载完整数据集。 当你有权限运行该工作流程时,可以使用。 Excel导出所有行需要无服务器计算。

你的工作区管理员可以关闭下载。

其他资源