将数据引入 Lakeflow 设计器

可以将任何可通过 Azure Databricks 访问的数据引入 Lakeflow 设计器中的视觉数据准备中。

设计器中的所有数据引入都以 Source 运算符开头。 打开源操作员的配置窗格时,可使用以下选项。

浏览现有表

单击浏览现有项以打开资产选择器,并查看 Unity Catalog 中的表和卷。 当数据已在Azure Databricks时使用此选项。

还可以选择 Unity 目录指标视图作为源。 选择指标视图时,选择要包含的维度和度量值,设计器将生成聚合查询。

创建外部数据库连接

在未配置的 源 操作符中,选择 创建外部数据库连接 以连接到外部数据库。 Designer 创建一个 Unity Catalog 连接和 一个外部目录,然后打开该目录,这样你就可以选择一个表。

创建新的 Unity 目录连接需要在 Unity 目录元存储库上具有 CREATE CONNECTION 和 CREATE CATALOG 权限。 如需列出、授权访问或之后删除连接,请参见 “管理湖屋联邦连接”。 要管理国外目录,请参见 “管理并操作国外目录”。

Designer 支持以下连接类型:

  • Amazon Redshift

  • Azure Synapse

  • Databricks

  • MySQL

  • Oracle

  • PostgreSQL

  • Salesforce 数据云

  • Salesforce Data Cloud 文件共享

  • Snowflake

  • SQL Server

  • Teradata

如果数据源在设计器中不可用,请查看 Lakeflow Connect 的托管连接器。 Lakeflow Connect 支持从 SaaS 应用程序(如 Salesforce、Workday、HubSpot 等)、数据库、云存储和流媒体源中获取数据。 使用 Lakeflow Connect 将数据引入 Unity 目录表后,可以在设计器中将其用作源。

导入文件夹或卷

Source 运算符的目标可以是整个 Unity Catalog 卷或文件夹路径,而不是单个文件。 设计器从文件夹中的文件检测格式,并将其加载到单个表中:

  • 对于 CSV、JSON、Excel 和 Parquet 等结构化文件格式,设计器读取所有文件,并将其行合并到一个表中。
  • 对于 PDF 等文档文件,Designer 会将每个文件读取为单独的一行数据,因此每个文件对应一行数据。

拖放文件

从工作区文件浏览器或本地设备拖动文件到画布,即可自动创建 源 操作符。 对于本地文件,Designer 会上传一份副本到 Unity Catalog 卷,供操作员读取。

注释

拖放Excel文件需要启用Excel文件格式支持。 请参阅读取和流式传输Excel文件。

从文件开始进行可视化数据准备

要从一个或多个文件开始新的视觉数据准备,打开 视觉数据准备 页面,点击 “新建”旁边的下拉箭头,选择 导入文件,然后选择 “作为源”。 上传一个或多个CSV、JSON、Excel或PDF文件。 Designer 会为每个文件创建一个带有源操作符的可视化数据准备。

从文件创建表

在“源配置”窗格中选择“从文件创建表”上传本地 CSV 或 Excel 文件,以此创建 Unity Catalog 表。 如果希望将数据保留为托管表而不是存储在卷中,请使用此选项。 此外,对于大量数据,这可提供最佳性能。 上传的文件受 Unity 目录卷文件大小限制的约束。 请参阅 在 Unity Catalog 卷中处理文件。

从SharePoint导入

若要从SharePoint导入文件,请执行以下操作:

  1. 在“源配置”窗格中,选择从 SharePoint 导入。

  2. 选择一个已有的 Unity 目录连接,该连接能够访问你的 SharePoint 站点,或选择创建连接以创建连接。

  3. 提供 直接文件链接。

Warning

若要获取正确的 URL,请右键单击SharePoint中的文件,选择 Preview,然后从浏览器地址栏中复制 URL。 请勿使用共享链接。

其他资源