在Unity Catalog中存储、管理和处理非结构化文件,如文档、图片、音频和视频,以及结构化数据。
开始
试着用一个端到尾的例子,看看各个部分如何拼接在一起。
| 指南 | Description |
|---|---|
| FILE 函数快速启动 | 创建一个带有 FILE 列的表格,并用 FILE 函数处理文件。 |
| 非结构化数据教程 | 使用Unity Catalog卷存储、查询、处理和共享非结构化文件。 |
存储和参考文件
根据你是通过路径访问还是以表中的值访问,选择如何存储和引用文件。
| Approach | Description |
|---|---|
| Unity 目录卷 | 管理非表格文件的存储。 通过路径上传、整理和访问卷内的文件。 |
| 文件类型 | 将引用文件及其元数据作为表中的一级值,其访问受对引用它们的行的访问权限控制。 关于类型定义,请参见 FILE 类型引用。 |
| 二进制数据源 | 将文件的原始字节存储在列 BINARY 中。 |
| 图像数据来源 | 将图像文件读取到DataFrame中。 |
进程文件
在你把文件存入 Unity 目录后,提取内容,运行自定义代码,构建管道。
| 任务 | Description |
|---|---|
| 解析文档 | 使用 ai_parse_document.. 从文档中提取结构化内容。 |
| 带有UDF的进程文件 | 读取文件元数据和字节,并在 UDF 中使用你自己的代码生成新文件。 |
治理文件
控制谁可以访问文件并管理其生命周期,使用 Unity Catalog。
| 能力 | Description |
|---|---|
| 音量访问控制 | 对卷授予权限,以控制谁可以基于路径读取和写入文件。 |
| 文件管理生命周期 | 让 Azure Databricks 管理表所引用文件的存储和生命周期。 |
| FILE 列上的行筛选器 | 通过对引用文件的行应用行过滤器来限制访问文件。 |