可以将任何可通过 Azure Databricks 访问的数据引入 Lakeflow 设计器中的视觉数据准备中。
设计器中的所有数据引入都以 Source 运算符开头。 打开源操作员的配置窗格时,可使用以下选项。
浏览现有表
单击浏览现有项以打开资产选择器,并查看 Unity Catalog 中的表和卷。 当数据已在Azure Databricks时使用此选项。
还可以选择 Unity 目录指标视图作为源。 选择指标视图时,选择要包含的维度和度量值,设计器将生成聚合查询。
导入文件夹或卷
Source 运算符的目标可以是整个 Unity Catalog 卷或文件夹路径,而不是单个文件。 设计器从文件夹中的文件检测格式,并将其加载到单个表中:
- 对于 CSV、JSON、Excel 和 Parquet 等结构化文件格式,设计器读取所有文件,并将其行合并到一个表中。
- 对于 PDF 等文档文件,Designer 会将每个文件读取为单独的一行数据,因此每个文件对应一行数据。
拖放本地文件
将 CSV 或Excel文件从本地计算机直接拖到画布上。 设计器将文件上传到 Unity 目录中的卷,并自动创建源运算符。
注释
拖放Excel文件需要启用Excel文件格式支持。 请参阅读取和流式传输Excel文件。
从文件创建表
在“源配置”窗格中选择“从文件创建表”上传本地 CSV 或 Excel 文件,以此创建 Unity Catalog 表。 如果希望将数据保留为托管表而不是存储在卷中,请使用此选项。 此外,对于大量数据,这可提供最佳性能。 上传的文件受 Unity 目录卷文件大小限制的约束。 请参阅 在 Unity Catalog 卷中处理文件。
从 Google Drive 导入
从 Google Drive 导入文件:
在“源配置”窗格中,选择“ 从 Google Drive 导入”。
选择有权访问 Google Drive 的 Unity 目录连接。
提供文件 URL。
这需要配置用于访问 Google Drive 的 Unity Catalog 连接。
从SharePoint导入
若要从SharePoint导入文件,请执行以下操作:
- 在“源配置”窗格中,选择从 SharePoint 导入。
- 选择有权访问你SharePoint网站的 Unity Catalog 连接。
- 提供 直接文件链接。
Warning
若要获取正确的 URL,请右键单击SharePoint中的文件,选择 Preview,然后从浏览器地址栏中复制 URL。 请勿使用共享链接。
这需要配置用于 SharePoint 访问的 Unity Catalog 连接。