Metastore级别的ABAC政策(Beta)

Important

元存储级别的基于属性的访问控制(ABAC)策略目前处于 测试阶段。 你可以在元存储库(Unity 目录 对象层级的根节点)附加 ABAC 策略,因此同一个策略适用于元存储库中的每个目录。

元数据存储是 ABAC 策略的有效作用域。 附加到元商店的策略适用于元商店中每种策略类型支持的每个目录、模式和对象,包括在你定义策略后创建的对象。 这为治理团队提供了一个定义全组织数据保护规则的地方,无需为每个目录配置或复制策略。 元存储库不能直接被标记,因此基于标签的策略通过应用到目录和低层对象的 受控标签 来匹配对象。

元存储级别支持所有四种 ABAC 策略类型:行筛选器、列掩码、 GRANT 和 DENY (Beta)。 元存储级策略采用与其他任何 ABAC 策略相同的字段、条件和评估行为。 只是范围不同。

您可以使用目录资源管理器、SQL 或 REST API 创建和管理元存储级别的策略。 有关 ABAC 和核心概念的概述(包括治理标签以及 has_tag 和 has_tag_value 等内置函数),请参阅 基于属性的访问控制 (ABAC) 的核心概念。

Requirements

计算要求

使用 SQL 创建、修改或丢弃元存储级策略需要运行 Databricks 运行时 19 及以上版本的计算。

权限要求

  • 创建、更新和删除元商店级别的策略需要担任 元商店管理员 角色。
  • 列出和查看元存储级别的策略需要具有 READ METADATA 或元存储管理员角色。

元存储级别策略的工作原理

元存储级策略遵循与其他 ABAC 策略相同的规则,沿对象层次结构向下继承:

  • 单个策略适用于整个元存储。 附加到元存储的策略会对元存储中所有目录和架构内、在 FOR 子句中指定类型的每个对象进行评估。
  • 新目录会自动纳入其中。 在政策定义后创建的目录,只要符合政策条件,且无需目录所有者或管理员采取任何行动,则该目录被覆盖。
  • 行为与低层级政策相匹配。 元存储级别策略保留每个策略类型的标准功能和评估行为,例如 DENY 优先级、工作区绑定和行筛选器组合。 元存储作用域没有特有的评估逻辑。

元存储不能直接被标记,所以如果元存储级别的策略使用标签条件,就将该治理标签应用到你希望策略匹配的每个目录或低级别对象上。

支持的政策目标

元存储级策略可应用于 (FOR) 该策略类型在目录级别支持的每一种可保护对象类型:

GRANT 和 DENY 策略不能针对元存储库中的非 catalog 对象,例如外部位置、存储凭据、共享、收件人、提供程序和连接。 请参阅限制。

创建元存储级策略

您可以使用 Catalog Explorer 界面、CREATE POLICY SQL 语句或 REST API 创建元存储级策略。

目录浏览器

  1. 在 Azure Databricks 工作区中,单击 Data icon.Catalog。
  2. 在 “目录 ”窗格顶部,单击 齿轮图标。齿轮图标 并选择 元存储。
  3. 单击“策略”选项卡。
  4. 单击“新建策略”。
  5. 填写您选择的保单类型所需的字段。 Scope字段设置为当前的元存储。
  6. 单击“创建策略”。

SQL

使用 ON METASTORE 附加该策略。 该策略针对的是你当前运营的元商店。 不要指定元存储名称。 请参阅限制。

以下列掩码策略会对元存储中所有表内标记为 ssn 的每一列进行掩码处理,适用于除 HR admins 组外的所有账户用户:

CREATE POLICY ssn_mask
ON METASTORE
COLUMN MASK ssn_to_last_nr
TO `account users` EXCEPT `HR admins`
FOR TABLES
MATCH COLUMNS has_tag('ssn') AS ssn
ON COLUMN ssn
USING COLUMNS (4);

以下 DENY 策略可防止非管理员管理在整个元存储中标记为 sensitive 的每个表的访问控制。 它适用于除 data_admins 群组外的所有账户用户:

CREATE POLICY managed_access
ON METASTORE
COMMENT 'Prevent non-admins from managing permissions on sensitive tables'
TO `account users` EXCEPT `data_admins`
DENY MANAGE ACCESS CONTROL
FOR TABLES
WHEN has_tag('sensitive');

完整SQL语法请参见 创建策略。

REST API

将 on_securable_type 设置为 METASTORE,并将 on_securable_fullname 设置为当前元存储的名称。 其余的有效负载与限定于目录范围的策略完全相同。

以下示例创建 SQL 选项卡中所示的 DENY 策略:

curl -X POST "https://${DATABRICKS_HOST}/api/2.1/unity-catalog/policies" \
  -H "Authorization: Bearer ${DATABRICKS_TOKEN}" \
  -H "Content-Type: application/json" \
  --data-binary @- << 'EOF'
{
  "name": "managed_access",
  "comment": "Prevent non-admins from managing permissions on sensitive tables",
  "on_securable_type": "METASTORE",
  "on_securable_fullname": "my_metastore",
  "for_securable_type": "TABLE",
  "policy_type": "POLICY_TYPE_DENY",
  "to_principals": ["account users"],
  "except_principals": ["data_admins"],
  "deny": {
    "privileges": ["MANAGE_ACCESS_CONTROL"]
  },
  "when_condition": "has_tag('sensitive')"
}
EOF

on_securable_fullname 只接受你当前运营的元商店名称。 一个元商店ID,或者另一个元商店的名称,会被拒绝。 要查找你的元商店名称,请点击齿轮图标。目录菜单面板顶部的齿轮图标,选择元商店。 关于请求和响应的详细信息,请参见 REST API 参考中的 创建策略 。

删除元存储级策略

目录浏览器

在元商店的 “策略 ”标签页中管理元商店级别的策略。

  1. 在 Azure Databricks 工作区中,单击 Data icon.Catalog。
  2. 在 “目录 ”窗格顶部,单击 齿轮图标。齿轮图标 并选择 元存储。
  3. 单击“策略”选项卡。
  4. 选择策略。
  5. 单击“ 删除策略”。

SQL

要用SQL删除元存储层策略,请执行 DROP POLICY:

DROP POLICY ssn_mask ON METASTORE;

REST API

curl -X DELETE "https://${DATABRICKS_HOST}/api/2.1/unity-catalog/policies/METASTORE/my_metastore/ssn_mask" \
  -H "Authorization: Bearer ${DATABRICKS_TOKEN}"

显示策略

使用 SHOW POLICIES 列出在安全对象上定义的策略。 使用 SHOW EFFECTIVE POLICIES 还可包括从父作用域继承的策略,例如影响目录的元存储级策略。

SHOW [EFFECTIVE] POLICIES ON METASTORE

结果包括策略名称、策略类型、每个策略所定义的可保护对象的目录和架构,以及该可保护对象的类型和全名。 返回元存储级别的策略时,会将 on_securable_type 设置为 METASTORE,并将 on_securable_fullname 设置为元存储名称。 只有当策略在表上定义时,列 Table 才会被填充。

Example:

SHOW POLICIES ON METASTORE;
Policy Name     Policy Type  Catalog  Schema  Table  Comment                                                           on_securable_type  on_securable_fullname
--------------  -----------  -------  ------  -----  ----------------------------------------------------------------  -----------------  ---------------------
ssn_mask        COLUMN_MASK  NULL     NULL    NULL   NULL                                                              METASTORE          my_metastore
managed_access  DENY         NULL     NULL    NULL   Prevent non-admins from managing permissions on sensitive tables  METASTORE          my_metastore

描述策略

使用 DESCRIBE POLICY 查看特定元存储级策略的详细信息。 需要对 Metastore 或 Metastore 管理员角色具有 READ METADATA 权限。

{ DESC | DESCRIBE } POLICY policy_name ON METASTORE

结果显示策略的属性作为键值对,包括名称、安全对象类型、安全对象名称、主体、特权和 WHEN 条件。

使用信息架构查询策略定义

要列出元存储级别的策略定义,请查询 SYSTEM.INFORMATION_SCHEMA.ABAC_POLICY_DEFINITIONS 并按 on_securable_type 进行筛选:

SELECT *
FROM system.information_schema.abac_policy_definitions
WHERE on_securable_type = 'METASTORE';

元存储级策略在 on_securable_type 中返回 METASTORE,其中 catalog_name、schema_name 和 securable_name 均为 NULL。 有关可用的列和更多示例,请参见 ABAC_POLICY_DEFINITIONS。

策略配额

Resource 策略类型 Limit
每个元存储的策略(所有对象) 行过滤器 / 列掩码 10,000
每个元存储的策略(所有对象) 授予 / 拒绝 10,000
每个元存储的策略,直接附加 行过滤器 / 列掩码 100
每个元存储的策略,直接附加 允许/拒绝 100

行筛选器和列掩码策略共享一个配额,GRANT 和 DENY 策略共享单独的配额。 这两组独立计数。

有关行过滤和列掩码策略配额的详细信息,请参见 策略配额。 有关 GRANT 策略配额的详细信息,请参阅 策略配额。 有关 DENY 策略配额的详细信息,请参阅 策略配额。

审计日志

元存储级别的策略创建、修改和删除操作与其他 ABAC 策略一样,记录在相同的 METASTORE、on_securable_type、createPolicy 和 deletePolicy 操作下,其中 getPolicy 设置为 listPolicies。 有关审核日志查询示例,请参阅 审核日志记录 。

Limitations

  • SQL 只针对当前的元存储库。 ON METASTORE 始终以你当前操作所在的元存储为目标。 在 ON METASTORE 之后指定元存储名称会返回语法错误,而且你无法在其他元存储上管理策略。
  • GRANT 和 DENY 对象。 GRANT 和 DENY 策略不能针对元存储中的非目录对象,例如外部位置、存储凭据、共享、收件人、提供程序和连接。 有关完整的对象层级,请参见 Unity 目录对象层级。
  • 信息图式。 这个 ABAC_POLICY_DEFINITIONS 视图没有 metastore_name 列。 元存储级别策略由 on_securable_type = METASTORE识别。

详细信息