Lakeflow Designer 为分析师提供了一个可视化画布,用于执行数据分析、准备和基本自动化。 在Designer中,你可以创建可视化数据准备文件,每个文件由一系列操作符(如过滤、连接和变换)组成,排列成图表以产生结果。 所有转换都由代码提供支持,可用于对 Git 中的文件进行版本控制,并将其计划为作业以无缝迁移到生产环境。
使用 Lakeflow Designer,可以:
使用拖放画布设计工作流。
不使用内置运算符编写代码来转换数据,以便筛选、聚合、联接和重塑数据。
预览每个临时步骤 ,而无需运行整个管道。
在上图中,可以看到:
重要概念
左侧面板
左侧面板汇集了用于构建和导航可视化数据准备的菜单:
- 运算符:浏览和搜索 内置运算符。 将列表中的运算符类型拖放到画布上以添加它们。
- 参数:定义和管理用于可视化数据准备的参数。
- 目录:查找并导航到视觉数据准备中的任何运算符,并查看为每个运算符生成的代码。 请参阅 目录。
画布
画布是添加、配置和连接运算符以生成视觉数据准备的主要工作区。
在画布上导航:
- 平移:按住 空格 的同时单击和拖动,或在触控板上滑动两根手指。
- 缩放:在触控板上收缩或拉伸,或按住 Ctrl 并滚动。
画布工具栏位于标题栏中,包含以下画布导航工具:放大,
缩小,
适应视图,
自动布局,以及
拖动模式。
右键单击画布上的任意位置以访问常见操作,包括添加运算符、撤消和重做、自动布局、调整视图以及打开代码窗格。
若要快速访问编辑器操作,请在 macOS 上按 Cmd+Shift+P 或在 Windows 上按 Ctrl+Shift+P 打开命令面板。
还可以将Excel或 CSV 文件直接拖放到画布上,为该文件创建源运算符。
Operators
运算符 是视觉数据准备的构建基块。 运算符是连接、转换或筛选器等操作。 将画布上的运算符链接在一起以生成工作流。 每个运算符根据其类型进行配置。 运算符会显示一段由 AI 生成的作用描述;编辑该描述会重新配置该运算符。
选择一个操作符,在画布上突出显示其谱系。 追溯到上游源和向下游汇的连接都会被高亮显示,这样你可以跟踪数据如何到达和流动。
Lakeflow Designer 包含用于常见数据转换任务的内置运算符。 有关详细信息,请参阅 Lakeflow Designer 中的内置运算符。
连接
连接定义运算符之间的数据流方式。 若要创建连接,请将一个运算符右边缘的端口拖动到另一个运算符左边缘的端口。 这指定数据从第一个运算符流入第二个运算符。 数据流在可视化数据准备中从左向右流动。 某些运算符(如 Join 和 Combine)接受多个输入连接。
节点端口提供大型连接目标和清晰的视觉提示,因此操作员易于连接。
操作员的端口还会发出其配置状态的信号:
- 未配置的运算符具有虚线边框。
- 未连接的必需输入端口突出显示为黄色。
输出窗格
选择运算符时,输出窗格将显示在屏幕底部。 选择任意运算符,在屏幕底部的输出窗口中查看结果。 对于大多数运算符类型,输入数据位于左侧,输出数据位于右侧。 生成非表结果(如绘图、HTML 或图像)的运算符直接在输出窗格中呈现这些输出。
使用输出窗格中的视图控件在输入和输出(默认值)、仅输入或仅输出之间切换。 在组合视图中,拖动分隔线以调整输入和输出窗格的大小。
你也可以直接在结果表中过滤和转换数据,然后将这些变化作为操作符应用到画布上。 请参见在结果表中直接转换数据。
Designer 会自动预览运算符。 使用工具栏中的 预览 菜单设置用于预览处理的默认输入行数,或使用输出窗格中的 扫描的行数 菜单为特定运算符覆盖此设置。 查看 预览结果。
数据概况
若要查看有关部分输出的详细信息,请选择要检查的数据,然后单击边 。输出窗格右上角的边栏按钮可打开详细信息面板。
目录
左侧面板的 目录 菜单列出了视觉数据准备中的每个操作员。 可通过操作符名称或操作符配置中的值(如列名)搜索。 对于配置匹配,Designer 在操作符下方显示匹配的配置路径。 选择一个运算符以将其放在画布上。 每项可视化数据准备都由生成的代码提供支持。 若要检查运算符的代码,请在目录中将其选中,然后展开 “生成的代码 ”部分以查看其基础代码。
Parameters
参数 是为整个视觉数据准备定义的命名值。 你可以在 SQL 和 Python 操作符代码中引用它们,也可以在适用于 Source 和 Output 操作符的受支持配置字段中使用它们。 要管理参数,请在左侧面板选择 “参数 ”。
每个参数都有一个在定义时设置的值。 当您计划运行可视化数据准备时,可以选择针对每个计划覆盖这些值。 例如,您可以将同一个可视化数据准备流程安排为每天中午运行一次,并将 environment 参数设为 test;再安排在下午 2 点运行一次,并将 environment 设为 production。
按如下所示从运算符引用参数:
-
SQL 运算符:使用命名参数标记语法,例如
:environment。 请参阅 “使用命名参数标记”。 -
Python运算符:调用
dbutils.widgets.get(),例如dbutils.widgets.get("environment")。 请参阅微件工具(dbutils.widgets)。 -
源或输出操作符:打开操作符的配置面板,选择右上角的 参数 按钮。 选择一个配置字段,然后输入一个引用参数的表达式,例如
:source_table。 源操作符支持表、文件路径和文件格式字段。 输出操作符支持目录、架构、表、视图、卷、文件名和写入模式字段。
在源或输出操作符的参数表达式中,用 :parameter_name 替换整个值。 要将参数与固定文本结合,请用单引号包住文本并使用 ||。 例如,以下源 表 表达式构造了一个完全限定的表名:
:catalog || '.' || :schema || '.' || :table
打开 SQL 或 Python 运算符进行编辑时,Lakeflow Designer 演示了如何引用源编辑器上方的可用参数的示例。