在 Lakeflow 设计器中创建可视化数据准备

Lakeflow Designer 允许在视觉对象、拖放画布上生成数据转换工作流。 本页介绍如何创建可视化数据准备：从添加数据源、串联各个运算符，到预览结果并写入 Unity Catalog。

Requirements

若要使用 Lakeflow Designer，必须具备：

• 启用了 Unity 目录的 Azure Databricks 工作区。
• CAN USE 对至少一个常规用途计算资源（无服务器或全用途）的权限。

在 Designer 右上角、Schedule 按钮旁边的计算资源选择器中，选择要使用的计算资源。

创建新的可视化数据准备

若要创建新的可视化数据准备，请在侧边栏中单击新建，然后选择可视化数据准备。

设计器打开后会显示欢迎屏幕，您可以在其中添加数据源或浏览示例可视化数据准备。

添加数据源

每个视觉数据准备都以一个或多个数据源开头。 Source 运算符表示画布上的数据源。

添加数据源：

1. 添加 Source 运算符。 在欢迎屏幕中，单击 “选择源运算符”。 在画布中，打开操作员菜单并选择“ 源”。

2. 在“源配置”窗格中，选择如何引入数据。 可以浏览现有表、上传本地 CSV 或Excel文件、从文件创建表或从 Google Drive 导入或SharePoint。

3. 选择或配置数据源。 Source 运算符显示在画布上。

还可以将 CSV 或Excel文件直接拖放到画布上，以便快速创建源运算符。

若要稍后更改源，请打开 Source 运算符，然后单击 “选择新数据源”。 更改源会使所有下游运算符的输出缓存失效。

有关每个引入选项的完整详细信息，请参阅 将数据引入 Lakeflow 设计器。

添加和配置运算符

若要添加运算符，请在画布左侧的侧窗格中打开运算符菜单。 单击某个运算符将其添加到画布，或将运算符从菜单拖动到画布上。 还可以单击 + 任何现有运算符旁边的按钮，添加具有自动连接的新运算符。

若要配置运算符，请双击它，或按住指针，然后单击 （编辑运算符）打开配置窗格。 设置该运算符类型的选项，然后单击“ 应用”。

有关每个可用运算符的详细信息，请参阅 Lakeflow Designer 中的内置运算符。 有关创建自己的用户定义的运算符的详细信息，请参阅 Lakeflow Designer 中的用户定义的运算符。

连接运算符

要连接两个运算符，请单击并拖动输出手柄（运算符右边缘的小圆）到下一个运算符的输入手柄（左边缘的小圆）。 这指定数据从第一个运算符流入第二个运算符。 数据流在可视化数据准备中从左向右流动。

某些运算符（如 Join 和 Combine）接受多个输入。

若要删除连接，请将指针悬停在其上，然后在连接上方显示的工具栏中单击。

预览结果

选择任意运算符，在屏幕底部的输出窗格中查看结果。 对于大多数运算符类型，输入数据位于左侧，输出数据位于右侧。 生成非表结果（如绘图、HTML 或图像）的运算符直接在输出窗格中呈现这些输出。

使用输出窗格中的视图控件在输入和输出（默认值）、仅输入或仅输出之间切换。 在组合视图中，拖动分隔线以调整输入和输出窗格的大小。

默认情况下，运算符会处理有限的数据示例，以供预览使用。 使用输出窗格中 的“行扫描 ”下拉列表来控制要处理的行数：

• 扫描的行数：限制：处理前 N 个输入行。 在下拉列表旁边的输入框中指定行数。
• 扫描的行数：最大值：处理所有输入行。

扫描的行设置仅控制预览处理。 计划运行和作业运行始终处理整个数据集。

将结果写入 Unity 目录

添加 输出 运算符以将结果写入 Unity 目录中的表：

1. 打开运算符菜单并选择“ 输出”，或单击 + 最后一个运算符旁边的“ 输出”。
2. 将上次转换的输出句柄连接到 输出 运算符的输入句柄（如果尚未连接）。
3. 双击 “输出 ”运算符打开其配置窗格。
4. 键入 表名称 并选择 “输出位置 ”（目录和架构）。
5. 单击 “运行” 。

每次运行都会创建或替换托管输出表，因此计划运行会覆盖该表，而不是在其后追加内容。 请参阅 输出。

在生产环境中安排或执行

可以通过将工作流设定为任务来实现自动化。

• 直接计划：单击顶部菜单中的“ 计划 ”按钮，为视觉数据准备创建计划作业。
• 添加到作业：创建 Azure Databricks 作业，并将可视化数据准备选作一项任务。 这样，你就可以在更大的流水线中，将可视化数据准备与其他任务结合起来。

若要查看和管理现有计划，请再次单击“ 计划 ”以打开列表。 单击 “添加计划 ”以创建另一个计划，或打开计划的 菜单可 编辑、 立即运行、 暂停、 克隆、 查看作业或 将其删除 。

安排可视化数据准备计划时，您可以选择为该计划覆盖其参数值。 例如，您可以创建一个将 environment 参数设置为 test 的计划，以及另一个将其设置为 production 的计划。 请参阅参数。

存储和管理视觉数据准备文件

可视化数据准备文件以原生格式存储在工作区中。 你可以导出它们、导入它们，并在它们位于 Git 文件夹中时使用 Git 对其进行跟踪。

导出可视化数据准备文件

1. 单击 右上角。
2. 选择“ 文件>导出”。
3. 文件导出为 <file_name>.designer.ipynb.

导入可视化数据准备文件

1. 在工作区文件系统中，单击
2. 选择“导入”。
3. 选择要导入的视觉数据准备文件。

将视觉数据准备文件与 Git 配合使用

1. 在工作区中创建 Git 文件夹。
2. 将可视化数据准备文件移动到该 Git 文件夹中。
3. 像 Git 中的其他任何笔记本一样跟踪、提交和版本化文件。
4. 在 Git 中，该文件显示为 <file_name>.designer.ipynb.

重命名可视化数据准备

若要重命名可视化数据准备，请单击编辑器顶部显示其名称的选项卡，然后键入新名称。

删除可视化数据准备

若要删除视觉数据准备，请打开 文件的烤肉串菜单，然后选择“ 移动到回收站”。

若要一次性删除多个视觉对象数据准备文件，请从左侧导航打开 工作区 ，选择要删除的文件，然后选择“ 移动到回收站 ”列表顶部。

在画布中工作时的其他提示

画布上提供以下操作，帮助您编辑可视化数据准备流程。

• 重命名运算符：单击任何配置窗格顶部的文本字段以重命名该运算符。 描述性名称可让你一眼就更容易理解可视化数据准备内容。 某些运算符（如 SQL 运算符）可以按名称引用其他运算符的输出。
• 复制运算符：将指针按住运算符并单击或者选择一个运算符，然后按 Cmd/Ctrl+C，然后按 Cmd/Ctrl+V。
• 删除运算符：将指针悬停在运算符上方，然后单击“ 。在上方显示的工具栏中，或选择该运算符，然后按 Delete。
• 自动布局：单击 在标题工具栏中，自动排列紧凑布局中的所有运算符。
• 拟合视图：单击 在标题工具栏中查看当前视区中的所有运算符。
• 撤消和重做：按 Cmd/Ctrl+Z 和 Cmd/Ctrl+Shift+Z，或使用标题工具栏中的撤消和重做按钮。
• 查看生成的代码：若要查看设计器生成的 PySpark 代码，请在右窗格中打开 版本历史记录 ，将文件推送到 Git 文件夹并在其中查看，或在作业运行详细信息中查看代码。
• 查看版本历史记录：单击“ 在右窗格中打开视觉数据准备的版本历史记录，其中列出了其更改。 选择一个版本，将其与以下版本进行比较。

其他资源

• 将数据引入 Lakeflow 设计器
• Lakeflow Designer 中的内置运算符