Unity Catalog 中的受管资产与外部资产

在 Unity 目录中注册的每个 安全对象 都受到集中管理。 这意味着 Unity 目录管理对象的元数据,从而控制治理的各个方面,包括访问、审核和世系。

但是,对于表和卷等数据资产,Unity 目录还可以控制云帐户中基础数据文件的存储位置和生命周期,其中包括如何组织、优化和删除它们。 这种区别是将托管外部数据资产区分开的标准。

  • 托管资产:Unity 目录控制治理(访问控制、审核、世系)和基础文件存储生命周期(文件优化、组织方式以及删除它们的时间)。
  • 外部资产:Unity Catalog 仅负责治理控制。 基础文件存储生命周期由你或外部系统控制。

在 Unity 目录中注册托管资产时,将保留数据的完全所有权。 数据文件始终保留在云帐户中。 Unity Catalog 确定在您的帐户中数据存储的位置,但不会将其转移到 Azure Databricks,也不拥有这些数据。

托管和外部之间的区别仅适用于表格和卷。 其他 Unity 目录安全对象(如视图、模型和函数)没有托管和外部变体。

差异摘要

下表总结了 Unity 目录中的托管资产和外部资产之间的差异:

Unity 目录托管表或卷 外部表或卷
存储位置 由 Unity Catalog 设置(在您的云帐户中) 由你设置
文件生命周期管理 由 Unity 目录管理(优化、组织、删除) 由你管理
丢弃行为 数据文件在 8 天保留期后永久删除 数据文件保持原位
数据所有权

Unity Catalog 中“manage”一词的用法

管理 ”一词在 Unity 目录中具有多个用途。 本部分总结了在不同上下文中 管理 的含义。

当人们说某个对象 由 Unity 目录管理时,它们通常意味着 Unity 目录控制对该对象的访问。 这适用于所有已注册的 Unity 目录对象,包括外部表和卷。

“托管表”或“托管卷”中 托管 的单词具有更具体的含义:Unity 目录确定云帐户中存储基础数据文件的位置,并控制文件生命周期(优化、组织和删除)。 这称为 托管存储位置。 数据始终保留在云帐户中。 Azure Databricks不拥有或保存数据。

该单词 MANAGE 还显示为可以分配给 Unity 目录对象的特权。 通常, MANAGE 允许用户分配或撤销权限、转让所有权和删除对象,而无需所有者。 请参阅 MANAGE

下表总结了这些常见的 管理用途:

条款 Meaning 适用对象
“由 Unity Catalog 管理” Unity 目录控制对象的访问、审核和世系。 所有已注册的 Unity 目录对象,包括外部表和卷
托管表托管卷 Unity 目录还控制云帐户中的基础存储位置(托管存储位置)和数据生命周期。 仅限于表格和卷册
托管存储位置 云帐户中的指定路径,其中 Unity 目录存储托管表和卷的数据文件。 可以在元存储、目录或架构级别配置托管存储位置。 请参阅在 Unity Catalog 中指定托管存储位置 仅限于表格和卷册
MANAGE 权限 一种权限,允许用户分配或撤销权限、转让所有权和删除对象,而无需所有者。 请参阅 MANAGE 所有 Unity Catalog 可安全控制的对象

托管表和外部表

Unity 目录托管表是一个表,其中 Unity 目录确定基础数据文件的存储位置。 Unity Catalog 将托管表存储在包含架构、目录或元存储上定义的托管存储位置中。 删除托管表时,Unity 目录会删除基础数据文件。 托管表使用 Delta 或 Apache Iceberg 格式。

外部表是一个表,可在其中指定基础数据文件的存储位置。 删除外部表时,Unity 目录会从元存储中删除表元数据,但基础数据文件保持不变。 外部表支持多种格式,包括 Delta、CSV、JSON、Avro、Parquet 和 ORC。

有关表类型的详细信息,请参阅 Databricks Unity 目录表类型

托管表和外部表都支持通过开放 API(包括 Unity REST API 和 Iceberg REST 目录(IRC)从外部引擎读取、写入和创建访问权限。 这意味着托管表不会导致供应商锁定。 支持这些 API 的任何引擎都可以访问托管表。 请参阅使用外部系统来访问 Databricks 数据

托管卷和外部卷

Unity Catalog 管理的卷是由 Unity Catalog 确定存储位置的卷。 Unity Catalog 会自动将托管卷存储在您云帐户中包含的架构的托管存储位置。 与托管表一样,可以保留基础数据的完全所有权。 删除托管卷时,Unity 目录会删除基础数据文件。

外部卷指的是一种可以指定存储位置的存储卷。 该位置必须是 Unity 目录外部位置覆盖的路径。 删除外部卷时,Unity 目录会删除卷定义,但基础数据文件保持不变。

有关卷的详细信息,请参阅“什么是 Unity Catalog 卷?”。