在 Lakeflow 设计器中创建可视化数据准备

Lakeflow Designer 允许在视觉对象、拖放画布上生成数据转换工作流。 本页介绍如何创建可视化数据准备：从添加数据源、串联各个运算符，到预览结果并写入 Unity Catalog。

Requirements

若要使用 Lakeflow Designer，必须具备：

• 启用了 Unity 目录的 Azure Databricks 工作区。
• CAN USE 对至少一个常规用途计算资源（无服务器或全用途）的权限。

在 Designer 右上角、Schedule 按钮旁边的计算资源选择器中，选择要使用的计算资源。

创建新的可视化数据准备

若要创建新的可视化数据准备，请在侧边栏中单击新建，然后选择可视化数据准备。

设计器打开后会显示欢迎屏幕，您可以在其中添加数据源或浏览示例可视化数据准备。

若要查找现有的视觉数据准备文件，请从边栏中打开 视觉对象数据准备 页。 此页面列出了所有视觉数据准备文件，并包括一个入门视频，以帮助你开始使用 Lakeflow Designer。

添加数据源

每个视觉数据准备都以一个或多个数据源开头。 Source 运算符表示画布上的数据源。

添加数据源：

1. 添加 Source 运算符。 在欢迎屏幕中，单击 “选择源运算符”。 在画布中，打开操作员菜单并选择“ 源”。

2. 在 “源 配置”窗格中，选择如何引入数据：

   • 选择现有表。
   • 上传本地 CSV 或Excel文件。
   • 从文件创建表。
   • 从 Google Drive 导入或SharePoint。

3. 选择或配置数据源。 Source 运算符显示在画布上。

还可以将 CSV 或Excel文件直接拖放到画布上，以便快速创建源运算符。

若要稍后更改源，请打开 Source 运算符，然后单击 “选择新数据源”。 更改源会使所有下游运算符的输出缓存失效。

有关每个引入选项的完整详细信息，请参阅 将数据引入 Lakeflow 设计器。

添加和配置运算符

若要添加运算符，请在画布左侧的侧窗格中打开运算符菜单。 单击某个运算符将其添加到画布，或将运算符从菜单拖动到画布上。 还可以单击 + 任何现有运算符旁边的按钮，添加具有自动连接的新运算符。

若要配置运算符，请双击它，或将鼠标悬停在它上方，然后单击 。（编辑运算符），打开配置窗格。 设置该运算符类型的选项，然后单击“ 应用”。

有关每个可用运算符的详细信息，请参阅 Lakeflow Designer 中的内置运算符。 有关创建自己的用户定义的运算符的详细信息，请参阅 Lakeflow Designer 中的用户定义的运算符。

连接运算符

要连接两个运算符，请单击并拖动输出手柄（运算符右边缘的小圆）到下一个运算符的输入手柄（左边缘的小圆）。 这指定数据从第一个运算符流入第二个运算符。 数据流在可视化数据准备中从左向右流动。

某些运算符（如 Join 和 Combine）接受多个输入。

若要删除连接，请将鼠标悬停在其上，然后单击显示在连接上方的工具栏中的。

预览结果

选择任意运算符，在屏幕底部的输出窗格中查看结果。 对于大多数运算符类型，输入数据位于左侧，输出数据位于右侧。 生成非表结果（如绘图、HTML 或图像）的运算符直接在输出窗格中呈现这些输出。

使用输出窗格中的视图控件在输入和输出（默认值）、仅输入或仅输出之间切换。 在组合视图中，拖动分隔线以调整输入和输出窗格的大小。

默认情况下，运算符会处理有限的数据示例，以供预览使用。 使用输出窗格中 的“行扫描 ”下拉菜单来控制要处理的行数：

• 扫描的行数：限制：处理前 N 个输入行。 指定下拉菜单旁边的字段中的行数。
• 扫描的行数：最大值：处理所有输入行。

扫描的行设置仅控制预览处理。 计划运行和作业运行始终处理整个数据集。

写入结果

添加 输出 运算符以编写结果。 输出运算符可以写入 Unity 目录表、将结果发布为具体化视图，或者将 CSV、Excel 或 JSON 文件写入 Unity 目录卷。

1. 打开运算符菜单并选择“ 输出”，或单击 + 最后一个运算符旁边的“ 输出”。
2. 将上次转换的输出句柄连接到 输出 运算符的输入句柄（如果尚未连接）。
3. 双击 “输出 ”运算符打开其配置窗格。
4. 选择 输出类型 并配置目标。 对于表，输入 表名称，选择 输出位置 （目录和架构），然后选择 写入模式。
5. 单击 “运行” 。

有关完整的输出类型和写入模式集，请参阅 输出。

在生产环境中安排或执行

可以通过将工作流设定为任务来实现自动化。 单击顶部菜单中的“计划”按钮，为视觉对象数据准备创建计划作业，或将视觉对象数据准备作为任务添加到更大的Azure Databricks作业。

若要将视觉数据准备移动到生产环境，包括将其存储在 Git 中、使用声明性自动化捆绑包进行部署以及跨环境参数化，请参阅 将视觉数据准备文件移动到生产环境。

导出和导入可视化数据准备文件

可视化数据准备文件以原生格式存储在工作区中。 可以导出它们并将其导入，以在工作区之间移动或共享它们。

若要导出可视化数据准备文件：

1. 单击 右上角。
2. 选择“ 文件>导出”。
3. 文件导出为 <file_name>.designer.ipynb.

导入可视化数据准备文件：

1. 在工作区文件系统中，单击
2. 选择“导入”。
3. 选择要导入的视觉数据准备文件。

若要使用 Git 对视觉数据准备文件进行版本控制，并将其带到生产环境，请参阅 将视觉数据准备文件移动到生产环境。

重命名可视化数据准备文件

若要重命名视觉对象数据准备文件，请单击在编辑器顶部显示其名称的选项卡，然后输入一个新名称。

删除可视化数据准备文件

若要删除视觉数据准备文件，请打开 菜单，然后选择“ 移动到回收站”。

若要一次性删除多个视觉对象数据准备文件，请从左侧导航打开 工作区 ，选择要删除的文件，然后选择列表顶部的 “移动到回收站 ”。

在画布中工作时的其他提示

画布上提供以下操作，帮助您编辑可视化数据准备流程。

• 重命名运算符：单击任何配置窗格顶部的框以重命名该运算符。 描述性名称可让你一眼就更容易理解可视化数据准备内容。 某些运算符（如 SQL 运算符）可以按名称引用其他运算符的输出。
• 复制运算符：将鼠标悬停在运算符上并单击“ 或选择一个运算符，然后按 Cmd/Ctrl+C ，然后按 Cmd/Ctrl+V。
• 删除运算符：将鼠标悬停在运算符上，然后在其上方显示的工具栏中单击 ，或选择该运算符并按 Delete。
• 自动布局：单击 在标题工具栏中，自动排列紧凑布局中的所有运算符。
• 拟合视图：单击 在标题工具栏中查看当前视区中的所有运算符。
• 撤消和重做：按 Cmd/Ctrl+Z 和 Cmd/Ctrl+Shift+Z，或使用标题工具栏中的撤消和重做按钮。
• 打开命令面板：在 macOS 上按 Cmd+Shift+P 或 Windows Ctrl+Shift+P 以快速访问编辑器操作。
• 查看生成的代码：打开左侧菜单中 的“目录 ”选项卡，选择一个运算符，然后展开 “生成的代码 ”部分以查看代码设计器为其生成的代码。 有关详细信息，请参阅 目录。
• 查看版本历史记录：单击“ 在右窗格中打开视觉数据准备的版本历史记录，其中列出了其更改。 选择一个版本，将其与以下版本进行比较。

其他资源

• 将数据引入 Lakeflow 设计器
• Lakeflow Designer 中的内置运算符