当你构建可视化数据准备时,Lakeflow Designer 会预览每个操作的结果,这样你可以在不运行整个工作流程的情况下检查工作。 本页介绍如何读取和控制预览,运行部分或全部可视化数据准备,使用检查点保存操作员结果,并直接在结果表中细化数据。
使用输出窗格
选择任意操作符,即可在屏幕底部的输出面板中查看其结果。 对于大多数算子类型,输入数据位于左侧,输出数据在右侧。 生成非表结果(如绘图、HTML 或图像)的运算符直接在输出窗格中呈现这些输出。
使用输出窗格中的视图控件在输入和输出(默认值)、仅输入或仅输出之间切换。 在组合视图中,拖动分隔线以调整输入和输出窗格的大小。
如果所选操作员的运行有性能数据,请在输出面板中点击 “性能 ”以打开完整的查询配置文件。
控制数据预览处理的数据量
Designer 会自动预览运算符。 默认情况下,算子处理前1000个输入行用于预览。 要更改默认值,请在画布工具栏的 预览 菜单中选择 前N行 以输入新的限制,或选择 “所有行”。 选择 “应用到所有操作员” 以清除每个操作员的 已扫描行数 覆盖设置,使其使用当前默认值。
在输出面板中使用 已扫描行数 菜单,覆盖单个操作员的默认设置:
扫描行数:继承:使用 预览 菜单中的默认设置。
扫描的行数:限制:处理前 N 个输入行。 在菜单旁边的字段输入行限制。
扫描行:所有行:处理所有输入行。
当预览处理所有行时,画布显示算子的精确输出行数。 对于拥有多个输出的算子,将鼠标悬停在行计数徽章上即可查看按输出计算的计数。
警告
使用 扫描的行数:所有行 生成预览会在整个数据集上重新运行该运算符及其上游运算符,可能需要较长时间。
预览限制不适用于排程作业或 全部运行。
运行完整的可视化数据准备
点击 “全部运行 ”,可以一次性将画布上的所有操作符对整个数据集进行运行,无需逐个预览。 Designer 运行整个可视化数据准备文件,更新每个操作符的结果,然后在画布下方显示每个操作符的具体输出行数。
运行菜单中包含更多用于运行整个视觉数据准备的操作:
点击文件头中的
,然后选择 运行。
选择操作:
全部运行:运行整个视觉数据准备过程。
中断执行:停止正在运行的可视化数据准备。
转到上次运行的算子:聚焦最近运行的算子。
清除>清除所有运算符输出:移除显示的结果。
清除>清除状态并运行全部:清除计算状态并重新运行可视化数据准备。
执行清除操作需要有编辑视觉数据准备文件的权限。
运行至某个运算符
右键点击一个操作符,选择“运行至该操作符”,即可针对整个数据集运行该操作符及其上游操作符,且无预览行限制。 下游算子和断开的分支无法运行。
配置操作员检查点
检查点保存算子的结果,使预览可以重复使用这些结果,而无需重新运行上游算子。 在操作员配置面板中,打开 操作员设置 并选择 检查点:
自动:设计师选择保存哪些结果。 这是新操作员的默认设置。
开:保存此操作员的结果。
关闭:不要保存这个操作符的结果。
更改此设置需要具有编辑视觉数据准备文件、运行该文件和生成预览的权限。 预览可以在同一计算会话中重用已保存的结果。 运行所有,运行到此运算符,并安排作业重新计算结果。
如果检查点不可用或失败,Auto 会在没有检查点的情况下继续运行。 开 启时,预览或运行会失败。
直接在结果表中转换数据
除了添加算子来转换数据外,你还可以直接在结果表中处理数据。 预览中的编辑仅更改预览样本,并归入 待处理的更改。 它们不会改变你的数据或工作流程,除非你应用它们。
数据预览支持以下操作:
插入列:选择 插入列,然后输入名称和表达式。
更改列的类型:选择 更改类型 并选择目标类型。
移除空行:选择 “移除空行 ”以删除列为空的行。
过滤行:在列上添加一个或多个过滤条件。
重命名列名:双击列头并输入新名字。
隐藏、重排或移除列:隐藏或移除列,或拖动列头以重新排序。
排序行:在列上添加排序方向。 按更多列进行排序会将这些列添加到排序顺序中。
删除重复行:选择 删除重复行,然后选择要比较的列。
审核并应用待定更改
暂存的编辑内容会收集在待处理的更改窗格中。 在应用该编辑之前,打开它以查看或删除该编辑。 要更改分阶段的新列,在预览中双击并更新其名称或表达式。
要将分阶段编辑添加到工作流程中,选择“ 应用到画布”。 Lakeflow Designer 会按你暂存它们的顺序为已暂存的编辑添加操作符。 每种编辑类型对应到以下操作符类型:
| 编辑预览 | 操作员已添加到画布上 |
|---|---|
| 插入一栏 | 准备 |
| 更改列的类型 | 准备 |
| 移除空值行 | Filter |
| 筛选行 | Filter |
| 移除、重命名、重新排序或隐藏列 | Select |
| 对行进行排序 | Sort |
| 删除重复行 | 独特 |
Note
如果你在有待处理变更时切换预览处理完整数据集,Lakeflow Designer 会提示你先应用这些修改,这样分阶段的编辑就不会丢失。
检查数据概况
要查看输出部分的详细信息,请选择你想检查的数据,然后点击输出面板右上角的 按钮以打开详细信息面板。
下载结果
使用输出面板中的下载控件将预览结果导出为文件:
显示行:下载预览中显示的行,作为CSV或Excel。
所有行:下载完整数据集。 当你有权限运行该工作流程时,可以使用。 Excel导出所有行需要无服务器计算。
你的工作区管理员可以关闭下载。