使用非结构化数据

在Unity Catalog中存储、管理和处理非结构化文件,如文档、图片、音频和视频,以及结构化数据。

开始

试着用一个端到尾的例子,看看各个部分如何拼接在一起。

指南 Description
FILE 函数快速启动 创建一个带有 FILE 列的表格,并用 FILE 函数处理文件。
非结构化数据教程 使用Unity Catalog卷存储、查询、处理和共享非结构化文件。

存储和参考文件

根据你是通过路径访问还是以表中的值访问,选择如何存储和引用文件。

Approach Description
Unity 目录卷 管理非表格文件的存储。 通过路径上传、整理和访问卷内的文件。
文件类型 将引用文件及其元数据作为表中的一级值,其访问受对引用它们的行的访问权限控制。 关于类型定义,请参见 FILE 类型引用
二进制数据源 将文件的原始字节存储在列 BINARY 中。
图像数据来源 将图像文件读取到DataFrame中。

进程文件

在你把文件存入 Unity 目录后,提取内容,运行自定义代码,构建管道。

任务 Description
解析文档 使用 ai_parse_document.. 从文档中提取结构化内容。
带有UDF的进程文件 读取文件元数据和字节,并在 UDF 中使用你自己的代码生成新文件。

治理文件

控制谁可以访问文件并管理其生命周期,使用 Unity Catalog。

能力 Description
音量访问控制 对卷授予权限,以控制谁可以基于路径读取和写入文件。
文件管理生命周期 让 Azure Databricks 管理表所引用文件的存储和生命周期。
FILE 列上的行筛选器 通过对引用文件的行应用行过滤器来限制访问文件。