将数据引入 Lakeflow 设计器

可以将任何可通过 Azure Databricks 访问的数据引入 Lakeflow 设计器中的视觉数据准备中。

设计器中的所有数据引入都以 Source 运算符开头。 打开源操作员的配置窗格时,可使用以下选项。

浏览现有表

单击浏览现有项以打开资产选择器,并查看 Unity Catalog 中的表和卷。 当数据已在Azure Databricks时使用此选项。

还可以选择 Unity 目录指标视图作为源。 选择指标视图时,选择要包含的维度和度量值,设计器将生成聚合查询。

导入文件夹或卷

Source 运算符的目标可以是整个 Unity Catalog 卷或文件夹路径,而不是单个文件。 设计器从文件夹中的文件检测格式,并将其加载到单个表中:

  • 对于 CSV、JSON、Excel 和 Parquet 等结构化文件格式,设计器读取所有文件,并将其行合并到一个表中。
  • 对于 PDF 等文档文件,Designer 会将每个文件读取为单独的一行数据,因此每个文件对应一行数据。

拖放本地文件

将 CSV 或Excel文件从本地计算机直接拖到画布上。 设计器将文件上传到 Unity 目录中的卷,并自动创建源运算符。

注释

拖放Excel文件需要启用Excel文件格式支持。 请参阅读取和流式传输Excel文件

从文件创建表

在“源配置”窗格中选择“从文件创建表”上传本地 CSV 或 Excel 文件,以此创建 Unity Catalog 表。 如果希望将数据保留为托管表而不是存储在卷中,请使用此选项。 此外,对于大量数据,这可提供最佳性能。 上传的文件受 Unity 目录卷文件大小限制的约束。 请参阅 在 Unity Catalog 卷中处理文件

从 Google Drive 导入

从 Google Drive 导入文件:

  1. 在“源配置”窗格中,选择“ 从 Google Drive 导入”。

  2. 选择有权访问 Google Drive 的 Unity 目录连接。

  3. 提供文件 URL。

这需要配置用于访问 Google Drive 的 Unity Catalog 连接。

从SharePoint导入

若要从SharePoint导入文件,请执行以下操作:

  1. 在“源配置”窗格中,选择从 SharePoint 导入
  2. 选择有权访问你SharePoint网站的 Unity Catalog 连接。
  3. 提供 直接文件链接

Warning

若要获取正确的 URL,请右键单击SharePoint中的文件,选择 Preview,然后从浏览器地址栏中复制 URL。 请勿使用共享链接。

这需要配置用于 SharePoint 访问的 Unity Catalog 连接。

其他资源