在 Lakeflow 设计器中创建可视化数据准备

Lakeflow Designer 允许在视觉对象、拖放画布上生成数据转换工作流。 本页介绍如何创建可视化数据准备：从添加数据源、串联各个运算符，到预览结果并写入 Unity Catalog。

Requirements

若要使用 Lakeflow Designer，必须具备：

• 启用了 Unity 目录的 Azure Databricks 工作区。
• CAN USE 对至少一个常规用途计算资源（无服务器或全用途）的权限。

在 Designer 右上角、Schedule 按钮旁边的计算资源选择器中，选择要使用的计算资源。

创建新的可视化数据准备

若要创建新的可视化数据准备，请在侧边栏中单击新建，然后选择可视化数据准备。

设计器打开后会显示欢迎屏幕，您可以在其中添加数据源或浏览示例可视化数据准备。

若要查找现有的视觉数据准备文件，请从边栏中打开 视觉对象数据准备 页。 此页面列出了所有视觉数据准备文件，并包括一个入门视频，以帮助你开始使用 Lakeflow Designer。

添加数据源

每个视觉数据准备都以一个或多个数据源开头。 Source 运算符表示画布上的数据源。

添加数据源：

1. 添加 Source 运算符。 在欢迎屏幕中，单击 “选择源运算符”。 在画布中，打开操作员菜单并选择“ 源”。

2. 在 “源 配置”窗格中，选择如何引入数据：

   • 选择现有表。
   • 上传本地 CSV 或Excel文件。
   • 从文件创建表。
   • 从 Google Drive 导入或SharePoint。

3. 选择或配置数据源。 Source 运算符显示在画布上。

还可以将 CSV 或Excel文件直接拖放到画布上，以便快速创建源运算符。

若要稍后更改源，请打开 Source 运算符，然后单击 “选择新数据源”。 更改源会使所有下游运算符的输出缓存失效。

有关每个引入选项的完整详细信息，请参阅 将数据引入 Lakeflow 设计器。

添加和配置运算符

若要添加运算符，请在画布左侧的侧窗格中打开运算符菜单。 单击某个运算符将其添加到画布，或将运算符从菜单拖动到画布上。 还可以单击 + 任何现有运算符旁边的按钮，添加具有自动连接的新运算符。

若要配置运算符，请双击它，或将鼠标悬停在它上方，然后单击 。（编辑运算符），打开配置窗格。 设置该运算符类型的选项，然后单击“ 应用”。

有关每个可用运算符的详细信息，请参阅 Lakeflow Designer 中的内置运算符。 有关创建自己的用户定义的运算符的详细信息，请参阅 Lakeflow Designer 中的用户定义的运算符。

连接运算符

要连接两个运算符，请单击并拖动输出手柄（运算符右边缘的小圆）到下一个运算符的输入手柄（左边缘的小圆）。 这指定数据从第一个运算符流入第二个运算符。 数据流在可视化数据准备中从左向右流动。

某些运算符（如 Join 和 Combine）接受多个输入。

若要删除连接，请将鼠标悬停在其上，然后单击显示在连接上方的工具栏中的。

预览结果

选择任意运算符，在屏幕底部的输出窗格中查看结果。 对于大多数运算符类型，输入数据位于左侧，输出数据位于右侧。 生成非表结果（如绘图、HTML 或图像）的运算符直接在输出窗格中呈现这些输出。

使用输出窗格中的视图控件在输入和输出（默认值）、仅输入或仅输出之间切换。 在组合视图中，拖动分隔线以调整输入和输出窗格的大小。

如果所选操作员的运行有性能数据，请在输出面板中点击 “性能 ”以打开完整的查询配置文件。

默认情况下，运算符会处理有限的数据示例，以供预览使用。 使用工具栏的 预览 菜单设置预览处理的默认输入行数。 选择 前N行 并输入行限制，或选择 所有行。

输出面板中的 “扫描行 ”菜单可用于覆盖单个操作员的预览行计数。

• 扫描行数：继承：使用 预览 菜单中的默认设置。
• 扫描的行数：限制：处理前 N 个输入行。 在菜单旁边的字段输入行限制。
• 扫描行：所有行：处理所有输入行。

当你为所有行生成预览时，Designer 会在画布操作符下方显示准确的输出行数。 对于拥有多个输出的操作员，将鼠标悬停在行计数徽章上即可查看每个输出的计数。

扫描的行设置仅控制预览处理。 计划执行和作业运行都会处理完整数据集。

运行完整的可视化数据准备

点击 “全部运行 ”，可以一次性将画布上的所有操作符对整个数据集进行运行，无需逐个预览。 Designer 运行整个可视化数据准备文件，更新每个操作符的结果，然后在画布下方显示每个操作符的具体输出行数。

直接在结果表中转换数据

除了添加算子来转换数据外，你还可以直接在结果表中处理数据。 预览中的编辑只会更改预览样本，并作为 待处理的修改收集;在应用之前，它们不会改变你的数据或工作流程。

数据预览支持以下操作：

• 插入列：选择 插入列，然后输入名称和表达式。
• 更改列的类型：选择 更改类型 并选择目标类型。
• 移除空行：选择 “移除空行 ”以删除列为空的行。
• 过滤行：在列上添加一个或多个过滤条件。
• 重命名列名：双击列头并输入新名字。
• 隐藏、重排或移除列：隐藏或移除列，或拖动列头以重新排序。
• 排序行：在列上添加排序方向。 按更多列进行排序会将这些列添加到排序顺序中。
• 删除重复行：选择 删除重复行，然后选择要比较的列。

审核并应用待定更改

暂存的编辑内容会收集在待处理的更改窗格中。 在应用该编辑之前，打开它以查看或删除该编辑。 要更改分阶段的新列，在预览中双击并更新其名称或表达式。

要将分阶段编辑添加到工作流程中，选择“ 应用到画布”。 Lakeflow Designer 会为每种编辑类型添加一个操作符，按你分阶段的顺序排列。 每种编辑都映射到一个运算符：

下载结果

使用输出面板中的下载控件将预览结果导出为文件：

• 显示行：下载预览中当前显示的行，作为CSV或Excel。
• 所有行：下载完整数据集。 当你有权限运行该工作流程时，可以使用。 Excel导出所有行需要无服务器计算。

你的工作区管理员可以关闭下载。

写入结果

添加 输出 运算符以编写结果。 输出运算符可以写入 Unity 目录表、将结果发布为具体化视图，或者将 CSV、Excel 或 JSON 文件写入 Unity 目录卷。

1. 打开运算符菜单并选择“ 输出”，或单击 + 最后一个运算符旁边的“ 输出”。
2. 将上次转换的输出句柄连接到 输出 运算符的输入句柄（如果尚未连接）。
3. 双击 “输出 ”运算符打开其配置窗格。
4. 选择 输出类型 并配置目标。 对于表，输入 表名称，选择 输出位置 （目录和架构），然后选择 写入模式。
5. 单击 “运行” 。

有关完整的输出类型和写入模式集，请参阅 输出。

在生产环境中安排或执行

可以通过将工作流设定为任务来实现自动化。 单击顶部菜单中的“计划”按钮，为视觉对象数据准备创建计划作业，或将视觉对象数据准备作为任务添加到更大的Azure Databricks作业。

若要将视觉数据准备移动到生产环境，包括将其存储在 Git 中、使用声明性自动化捆绑包进行部署以及跨环境参数化，请参阅 将视觉数据准备文件移动到生产环境。

导出和导入可视化数据准备文件

可视化数据准备文件以原生格式存储在工作区中。 可以导出它们并将其导入，以在工作区之间移动或共享它们。

若要导出可视化数据准备文件：

1. 单击 右上角。
2. 选择“ 文件>导出”。
3. 文件导出为 <file_name>.designer.ipynb.

从 可视化数据准备 页面导入：

1. 点击 “新建”旁边的下拉箭头，然后选择 导入文件。
2. 要导入 .designer.ipynb 文件，选择 作为视觉数据准备，然后选择该文件。 设计器在编辑器中打开导入的可视化数据准备流程。
3. 要用Source操作符创建上传文件的可视化数据准备，选择作为源文件，然后上传一个或多个CSV、JSON、Excel或PDF文件。

要从工作区文件系统导入：

1. 在工作区文件系统中，单击
2. 选择“导入”。
3. 选择要导入的视觉数据准备文件。

若要使用 Git 对视觉数据准备文件进行版本控制，并将其带到生产环境，请参阅 将视觉数据准备文件移动到生产环境。

重命名可视化数据准备文件

若要重命名视觉对象数据准备文件，请单击在编辑器顶部显示其名称的选项卡，然后输入一个新名称。

删除可视化数据准备文件

若要删除视觉数据准备文件，请打开 菜单，然后选择“ 移动到回收站”。

若要一次性删除多个视觉对象数据准备文件，请从左侧导航打开 工作区 ，选择要删除的文件，然后选择列表顶部的 “移动到回收站 ”。

在画布中工作时的其他提示

画布上提供以下操作，帮助您编辑可视化数据准备流程。

• 重命名运算符：单击任何配置窗格顶部的框以重命名该运算符。 描述性名称可让你一眼就更容易理解可视化数据准备内容。 某些运算符（如 SQL 运算符）可以按名称引用其他运算符的输出。
• 复制运算符：将鼠标悬停在运算符上并单击“ 或选择一个运算符，然后按 Cmd/Ctrl+C ，然后按 Cmd/Ctrl+V。
• 删除运算符：将鼠标悬停在运算符上，然后在其上方显示的工具栏中单击 ，或选择该运算符并按 Delete。
• 启用或禁用操作员：右键点击操作员或组，选择 禁用 以排除其运行，或 启用 以再次包含该操作。 被禁用的算子不会产生任何输出行，因此下游算子在你启用它之前会得到空结果。
• 自动布局：单击 在标题工具栏中，自动排列紧凑布局中的所有运算符。
• 拟合视图：单击 在标题工具栏中查看当前视区中的所有运算符。
• 撤消和重做：按 Cmd/Ctrl+Z 和 Cmd/Ctrl+Shift+Z，或使用标题工具栏中的撤消和重做按钮。
• 打开命令面板：在 macOS 上按 Cmd+Shift+P 或 Windows Ctrl+Shift+P 以快速访问编辑器操作。
• 查看生成代码：在左侧面板选择 目录 ，选择一个操作符，然后展开 生成代码 部分，查看 Designer 为其生成的代码。 有关详细信息，请参阅 目录。
• 查看版本历史记录：单击“ 在右窗格中打开视觉数据准备的版本历史记录，其中列出了其更改。 选择一个版本，可以在画布上看到与下一个版本的视觉差异，并高亮显示新增、删除和更改的操作符。 将鼠标悬停在目录中的某个运算符上时，会在差异对比的两个版本中高亮显示对应的运算符。

其他资源

• 将数据引入 Lakeflow 设计器
• Lakeflow Designer 中的内置运算符