Important
元存储级别的基于属性的访问控制(ABAC)策略目前处于 测试阶段。 你可以在元存储库(Unity 目录 对象层级的根节点)附加 ABAC 策略,因此同一个策略适用于元存储库中的每个目录。
元数据存储是 ABAC 策略的有效作用域。 附加到元商店的策略适用于元商店中每种策略类型支持的每个目录、模式和对象,包括在你定义策略后创建的对象。 这为治理团队提供了一个定义全组织数据保护规则的地方,无需为每个目录配置或复制策略。 元存储库不能直接被标记,因此基于标签的策略通过应用到目录和低层对象的 受控标签 来匹配对象。
元存储级别支持所有四种 ABAC 策略类型:行筛选器、列掩码、 GRANT 和 DENY (Beta)。 元存储级策略采用与其他任何 ABAC 策略相同的字段、条件和评估行为。 只是范围不同。
您可以使用目录资源管理器、SQL 或 REST API 创建和管理元存储级别的策略。 有关 ABAC 和核心概念的概述(包括治理标签以及 has_tag 和 has_tag_value 等内置函数),请参阅 基于属性的访问控制 (ABAC) 的核心概念。
Requirements
计算要求
使用 SQL 创建、修改或丢弃元存储级策略需要运行 Databricks 运行时 19 及以上版本的计算。
权限要求
- 创建、更新和删除元商店级别的策略需要担任 元商店管理员 角色。
- 列出和查看元存储级别的策略需要具有
READ METADATA或元存储管理员角色。
元存储级别策略的工作原理
元存储级策略遵循与其他 ABAC 策略相同的规则,沿对象层次结构向下继承:
- 单个策略适用于整个元存储。 附加到元存储的策略会对元存储中所有目录和架构内、在
FOR子句中指定类型的每个对象进行评估。 - 新目录会自动纳入其中。 在政策定义后创建的目录,只要符合政策条件,且无需目录所有者或管理员采取任何行动,则该目录被覆盖。
- 行为与低层级政策相匹配。 元存储级别策略保留每个策略类型的标准功能和评估行为,例如 DENY 优先级、工作区绑定和行筛选器组合。 元存储作用域没有特有的评估逻辑。
元存储不能直接被标记,所以如果元存储级别的策略使用标签条件,就将该治理标签应用到你希望策略匹配的每个目录或低级别对象上。
支持的政策目标
元存储级策略可应用于 (FOR) 该策略类型在目录级别支持的每一种可保护对象类型:
- 行过滤和列掩码策略适用于
FOR TABLES,其中包括流式表、物化视图和视图(测试版)。 - GRANT 策略适用于 支持的安全对象类型和权限 中列出的安全对象类型。
- DENY 策略适用于 受支持的安全对象类型和权限中列出的安全对象类型。
GRANT 和 DENY 策略不能针对元存储库中的非 catalog 对象,例如外部位置、存储凭据、共享、收件人、提供程序和连接。 请参阅限制。
创建元存储级策略
您可以使用 Catalog Explorer 界面、CREATE POLICY SQL 语句或 REST API 创建元存储级策略。
目录浏览器
- 在 Azure Databricks 工作区中,单击
Catalog。
- 在 “目录 ”窗格顶部,单击
并选择 元存储。
- 单击“策略”选项卡。
- 单击“新建策略”。
- 填写您选择的保单类型所需的字段。 Scope字段设置为当前的元存储。
- 单击“创建策略”。
SQL
使用 ON METASTORE 附加该策略。 该策略针对的是你当前运营的元商店。 不要指定元存储名称。 请参阅限制。
以下列掩码策略会对元存储中所有表内标记为 ssn 的每一列进行掩码处理,适用于除 HR admins 组外的所有账户用户:
CREATE POLICY ssn_mask
ON METASTORE
COLUMN MASK ssn_to_last_nr
TO `account users` EXCEPT `HR admins`
FOR TABLES
MATCH COLUMNS has_tag('ssn') AS ssn
ON COLUMN ssn
USING COLUMNS (4);
以下 DENY 策略可防止非管理员管理在整个元存储中标记为 sensitive 的每个表的访问控制。 它适用于除 data_admins 群组外的所有账户用户:
CREATE POLICY managed_access
ON METASTORE
COMMENT 'Prevent non-admins from managing permissions on sensitive tables'
TO `account users` EXCEPT `data_admins`
DENY MANAGE ACCESS CONTROL
FOR TABLES
WHEN has_tag('sensitive');
完整SQL语法请参见 创建策略。
REST API
将 on_securable_type 设置为 METASTORE,并将 on_securable_fullname 设置为当前元存储的名称。 其余的有效负载与限定于目录范围的策略完全相同。
以下示例创建 SQL 选项卡中所示的 DENY 策略:
curl -X POST "https://${DATABRICKS_HOST}/api/2.1/unity-catalog/policies" \
-H "Authorization: Bearer ${DATABRICKS_TOKEN}" \
-H "Content-Type: application/json" \
--data-binary @- << 'EOF'
{
"name": "managed_access",
"comment": "Prevent non-admins from managing permissions on sensitive tables",
"on_securable_type": "METASTORE",
"on_securable_fullname": "my_metastore",
"for_securable_type": "TABLE",
"policy_type": "POLICY_TYPE_DENY",
"to_principals": ["account users"],
"except_principals": ["data_admins"],
"deny": {
"privileges": ["MANAGE_ACCESS_CONTROL"]
},
"when_condition": "has_tag('sensitive')"
}
EOF
on_securable_fullname 只接受你当前运营的元商店名称。 一个元商店ID,或者另一个元商店的名称,会被拒绝。 要查找你的元商店名称,请点击目录菜单面板顶部的齿轮图标,选择元商店。 关于请求和响应的详细信息,请参见 REST API 参考中的 创建策略 。
删除元存储级策略
目录浏览器
在元商店的 “策略 ”标签页中管理元商店级别的策略。
- 在 Azure Databricks 工作区中,单击
Catalog。
- 在 “目录 ”窗格顶部,单击
并选择 元存储。
- 单击“策略”选项卡。
- 选择策略。
- 单击“ 删除策略”。
SQL
要用SQL删除元存储层策略,请执行 DROP POLICY:
DROP POLICY ssn_mask ON METASTORE;
REST API
curl -X DELETE "https://${DATABRICKS_HOST}/api/2.1/unity-catalog/policies/METASTORE/my_metastore/ssn_mask" \
-H "Authorization: Bearer ${DATABRICKS_TOKEN}"
显示策略
使用 SHOW POLICIES 列出在安全对象上定义的策略。 使用 SHOW EFFECTIVE POLICIES 还可包括从父作用域继承的策略,例如影响目录的元存储级策略。
SHOW [EFFECTIVE] POLICIES ON METASTORE
结果包括策略名称、策略类型、每个策略所定义的可保护对象的目录和架构,以及该可保护对象的类型和全名。 返回元存储级别的策略时,会将 on_securable_type 设置为 METASTORE,并将 on_securable_fullname 设置为元存储名称。 只有当策略在表上定义时,列 Table 才会被填充。
Example:
SHOW POLICIES ON METASTORE;
Policy Name Policy Type Catalog Schema Table Comment on_securable_type on_securable_fullname
-------------- ----------- ------- ------ ----- ---------------------------------------------------------------- ----------------- ---------------------
ssn_mask COLUMN_MASK NULL NULL NULL NULL METASTORE my_metastore
managed_access DENY NULL NULL NULL Prevent non-admins from managing permissions on sensitive tables METASTORE my_metastore
描述策略
使用 DESCRIBE POLICY 查看特定元存储级策略的详细信息。 需要对 Metastore 或 Metastore 管理员角色具有 READ METADATA 权限。
{ DESC | DESCRIBE } POLICY policy_name ON METASTORE
结果显示策略的属性作为键值对,包括名称、安全对象类型、安全对象名称、主体、特权和 WHEN 条件。
使用信息架构查询策略定义
要列出元存储级别的策略定义,请查询 SYSTEM.INFORMATION_SCHEMA.ABAC_POLICY_DEFINITIONS 并按 on_securable_type 进行筛选:
SELECT *
FROM system.information_schema.abac_policy_definitions
WHERE on_securable_type = 'METASTORE';
元存储级策略在 on_securable_type 中返回 METASTORE,其中 catalog_name、schema_name 和 securable_name 均为 NULL。 有关可用的列和更多示例,请参见 ABAC_POLICY_DEFINITIONS。
策略配额
| Resource | 策略类型 | Limit |
|---|---|---|
| 每个元存储的策略(所有对象) | 行过滤器 / 列掩码 | 10,000 |
| 每个元存储的策略(所有对象) | 授予 / 拒绝 | 10,000 |
| 每个元存储的策略,直接附加 | 行过滤器 / 列掩码 | 100 |
| 每个元存储的策略,直接附加 | 允许/拒绝 | 100 |
行筛选器和列掩码策略共享一个配额,GRANT 和 DENY 策略共享单独的配额。 这两组独立计数。
有关行过滤和列掩码策略配额的详细信息,请参见 策略配额。 有关 GRANT 策略配额的详细信息,请参阅 策略配额。 有关 DENY 策略配额的详细信息,请参阅 策略配额。
审计日志
元存储级别的策略创建、修改和删除操作与其他 ABAC 策略一样,记录在相同的 METASTORE、on_securable_type、createPolicy 和 deletePolicy 操作下,其中 getPolicy 设置为 listPolicies。 有关审核日志查询示例,请参阅 审核日志记录 。
Limitations
- SQL 只针对当前的元存储库。
ON METASTORE始终以你当前操作所在的元存储为目标。 在ON METASTORE之后指定元存储名称会返回语法错误,而且你无法在其他元存储上管理策略。 - GRANT 和 DENY 对象。 GRANT 和 DENY 策略不能针对元存储中的非目录对象,例如外部位置、存储凭据、共享、收件人、提供程序和连接。 有关完整的对象层级,请参见 Unity 目录对象层级。
- 信息图式。 这个
ABAC_POLICY_DEFINITIONS视图没有metastore_name列。 元存储级别策略由on_securable_type=METASTORE识别。