可以将任何可通过 Azure Databricks 访问的数据引入 Lakeflow 设计器中的视觉数据准备中。
设计器中的所有数据引入都以 Source 运算符开头。 打开源操作员的配置窗格时,可使用以下选项。
浏览现有表
单击浏览现有项以打开资产选择器,并查看 Unity Catalog 中的表和卷。 当数据已在Azure Databricks时使用此选项。
还可以选择 Unity 目录指标视图作为源。 选择指标视图时,选择要包含的维度和度量值,设计器将生成聚合查询。
创建外部数据库连接
在未配置的 源 操作符中,选择 创建外部数据库连接 以连接到外部数据库。 Designer 创建一个 Unity Catalog 连接和 一个外部目录,然后打开该目录,这样你就可以选择一个表。
创建新的 Unity 目录连接需要在 Unity 目录元存储库上具有 CREATE CONNECTION 和 CREATE CATALOG 权限。 如需列出、授权访问或之后删除连接,请参见 “管理湖屋联邦连接”。 要管理国外目录,请参见 “管理并操作国外目录”。
Designer 支持以下连接类型:
Amazon Redshift
Azure Synapse
Databricks
MySQL
Oracle
PostgreSQL
Salesforce 数据云
Salesforce Data Cloud 文件共享
Snowflake
SQL Server
Teradata
如果数据源在设计器中不可用,请查看 Lakeflow Connect 的托管连接器。 Lakeflow Connect 支持从 SaaS 应用程序(如 Salesforce、Workday、HubSpot 等)、数据库、云存储和流媒体源中获取数据。 使用 Lakeflow Connect 将数据引入 Unity 目录表后,可以在设计器中将其用作源。
导入文件夹或卷
Source 运算符的目标可以是整个 Unity Catalog 卷或文件夹路径,而不是单个文件。 设计器从文件夹中的文件检测格式,并将其加载到单个表中:
- 对于 CSV、JSON、Excel 和 Parquet 等结构化文件格式,设计器读取所有文件,并将其行合并到一个表中。
- 对于 PDF 等文档文件,Designer 会将每个文件读取为单独的一行数据,因此每个文件对应一行数据。
拖放文件
从工作区文件浏览器或本地设备拖动文件到画布,即可自动创建 源 操作符。 对于本地文件,Designer 会上传一份副本到 Unity Catalog 卷,供操作员读取。
注释
拖放Excel文件需要启用Excel文件格式支持。 请参阅读取和流式传输Excel文件。
从文件开始进行可视化数据准备
要从一个或多个文件开始新的视觉数据准备,打开 视觉数据准备 页面,点击 “新建”旁边的下拉箭头,选择 导入文件,然后选择 “作为源”。 上传一个或多个CSV、JSON、Excel或PDF文件。 Designer 会为每个文件创建一个带有源操作符的可视化数据准备。
从文件创建表
在“源配置”窗格中选择“从文件创建表”上传本地 CSV 或 Excel 文件,以此创建 Unity Catalog 表。 如果希望将数据保留为托管表而不是存储在卷中,请使用此选项。 此外,对于大量数据,这可提供最佳性能。 上传的文件受 Unity 目录卷文件大小限制的约束。 请参阅 在 Unity Catalog 卷中处理文件。
从SharePoint导入
若要从SharePoint导入文件,请执行以下操作:
在“源配置”窗格中,选择从 SharePoint 导入。
选择一个已有的 Unity 目录连接,该连接能够访问你的 SharePoint 站点,或选择创建连接以创建连接。
提供 直接文件链接。
Warning
若要获取正确的 URL,请右键单击SharePoint中的文件,选择 Preview,然后从浏览器地址栏中复制 URL。 请勿使用共享链接。