Lakeflow Designer 为分析师提供了一个可视化画布,用于执行数据分析、准备和基本自动化。 在设计器中,创建可视数据准备文件,每个文件由一系列运算符(如筛选器、联接和转换)组成,排列为 DAG 以生成结果。 所有转换都由代码提供支持,可用于对 Git 中的文件进行版本控制,并将其计划为作业以无缝迁移到生产环境。
使用 Lakeflow Designer,可以:
使用拖放画布设计工作流。
不使用内置运算符编写代码来转换数据,以便筛选、聚合、联接和重塑数据。
预览每个临时步骤 ,而无需运行整个管道。
在上图中,可以看到:
- 带有“运算符”和“参数”选项卡的菜单
- 运算符
- 两个运算符之间的连接
- 拖放画布
- Genie Code 提示
- 输出窗格
- 输出数据的概况
重要概念
菜单
您可在左侧窗格的菜单中找到用于可视化数据准备的构建模块。 它有三个选项卡:
- 运算符:浏览和搜索 内置运算符。 将列表中的运算符类型拖放到画布上以添加它们。
- 参数:定义和管理用于可视化数据准备的参数。
- 目录:查找并导航到视觉数据准备中的任何运算符,并查看为每个运算符生成的代码。 请参阅 目录。
画布
画布是添加、配置和连接运算符以生成视觉数据准备的主要工作区。
在画布上导航:
- 平移:按住 空格 的同时单击和拖动,或在触控板上滑动两根手指。
- 缩放:在触控板上收缩或拉伸,或按住 Ctrl 并滚动。
画布工具栏位于标题栏中,包含以下画布导航工具:放大,
缩小,
适应视图,
自动布局,以及
拖动模式。
右键单击画布上的任意位置以访问常见操作,包括添加运算符、撤消和重做、自动布局、调整视图以及打开代码窗格。
若要快速访问编辑器操作,请在 macOS 上按 Cmd+Shift+P 或在 Windows 上按 Ctrl+Shift+P 打开命令面板。
还可以将Excel或 CSV 文件直接拖放到画布上,为该文件创建源运算符。
Operators
运算符 是视觉数据准备的构建基块。 运算符是连接、转换或筛选器等操作。 将画布上的运算符链接在一起以生成工作流。 每个运算符根据其类型进行配置。 运算符会显示一段由 AI 生成的作用描述;编辑该描述会重新配置该运算符。
Lakeflow Designer 包含用于常见数据转换任务的内置运算符。 有关详细信息,请参阅 Lakeflow Designer 中的内置运算符。
连接
连接定义运算符之间的数据流方式。 若要创建连接,请将一个运算符右边缘的端口拖动到另一个运算符左边缘的端口。 这指定数据从第一个运算符流入第二个运算符。 数据流在可视化数据准备中从左向右流动。 某些运算符(如 Join 和 Combine)接受多个输入连接。
节点端口提供大型连接目标和清晰的视觉提示,因此操作员易于连接。
操作员的端口还会发出其配置状态的信号:
- 未配置的运算符具有虚线边框。
- 未连接的必需输入端口突出显示为黄色。
输出窗格
选择运算符时,输出窗格将显示在屏幕底部。 选择任意运算符,在屏幕底部的输出窗口中查看结果。 对于大多数运算符类型,输入数据位于左侧,输出数据位于右侧。 生成非表结果(如绘图、HTML 或图像)的运算符直接在输出窗格中呈现这些输出。
使用输出窗格中的视图控件在输入和输出(默认值)、仅输入或仅输出之间切换。 在组合视图中,拖动分隔线以调整输入和输出窗格的大小。
默认情况下,运算符处理有限的数据示例。 使用输出窗格中 的“行扫描 ”下拉菜单来控制要处理的行数:
- 扫描的行数:限制:处理前 N 个输入行。 指定下拉菜单旁边的字段中的行数。
- 扫描的行数:最大值:处理所有输入行。
警告
使用 已扫描行数:最大值 运行会使用完整的无界数据集重新运行所有上游算子,并且可能需要很长时间。
数据概况
若要查看有关部分输出的详细信息,请选择要检查的数据,然后单击边 。输出窗格右上角的边栏按钮可打开详细信息面板。
目录
左侧菜单中 的“目录 ”选项卡列出了视觉数据准备中的每个运算符,并允许按名称搜索。 选择一个运算符以将其放在画布上。 每项可视化数据准备都由生成的代码提供支持。 若要检查运算符的代码,请在目录中将其选中,然后展开 “生成的代码 ”部分以查看其基础代码。
Parameters
参数是为整个视觉数据准备定义的命名值,可以从 SQL 和Python运算符进行引用。 若要管理参数,请在左侧菜单中打开“ 参数 ”选项卡。
每个参数都有一个在定义时设置的值。 当您计划运行可视化数据准备时,可以选择针对每个计划覆盖这些值。 例如,您可以将同一个可视化数据准备流程安排为每天中午运行一次,并将 environment 参数设为 test;再安排在下午 2 点运行一次,并将 environment 设为 production。
按如下所示从运算符引用参数:
-
SQL 运算符:使用命名参数标记语法,例如
:environment。 请参阅 “使用命名参数标记”。 -
Python运算符:调用
dbutils.widgets.get(),例如dbutils.widgets.get("environment")。 请参阅微件工具(dbutils.widgets)。
打开 SQL 或 Python 运算符进行编辑时,Lakeflow Designer 演示了如何引用源编辑器上方的可用参数的示例。