为帐户设置 Delta Sharing(针对提供商)

本文介绍数据提供程序(希望使用 Delta Sharing 安全地共享数据的组织)如何在 Azure Databricks 上执行 Delta Sharing 的初始设置。

注意

如果你是数据接收者(接收使用 Delta Sharing 进行共享的数据的组织),请参阅读取使用 Databricks 到 Databricks Delta Sharing(针对接收方)共享的数据

重要

想要使用 Azure Databricks 中内置的增量共享服务器的提供程序必须至少拥有一个为 Unity Catalog 启用的工作区。 无需将所有工作区迁移到 Unity Catalog。 可以创建一个启用了 Unity Catalog 的工作区进行共享管理。 在某些帐户中,会自动为 Unity Catalog 启用新工作区。 请参阅 Unity Catalog 的自动启用

如果无法创建新的支持 Unity Catalog 的工作区,可以使用开放源代码 Delta Sharing 项目部署自己的 Delta Sharing 服务器,并使用该服务器从任何平台共享 Delta 表。

初始提供程序设置包括以下步骤:

  1. 为每个 Unity Catalog 元存储启用 Delta Sharing。
  2. (可选)安装 Unity Catalog CLI。
  3. 配置 Delta Sharing 活动的审核。

要求

作为设置 Azure Databricks 帐户才能共享数据的数据提供程序,必须具备:

对元存储启用 Delta Sharing

对于你计划使用 Delta Sharing 来共享数据的每个管理数据的 Unity Catalog 元存储,请执行以下步骤。

注意

如果只想使用 Delta Sharing 与帐户中其他 Unity Catalog 元存储上的用户共享数据,则无需在元存储上启用 Delta Sharing。 默认情况下,在单个 Azure Databricks 帐户中启用元存储之间的共享。

  1. 以 Azure Databricks 帐户管理员身份登录到帐户控制台

  2. 在边栏中单击“目录”图标“目录”。

  3. 单击元存储的名称以打开其详细信息。

  4. 单击“启用 Delta Sharing 以允许 Databricks 用户在组织外部共享数据”旁边的复选框。

  5. 配置收件人令牌生存期。

    此配置设置所有收件人令牌过期后必须重新生成的时间周期。 收件人令牌只能在开放共享协议中使用。 Databricks 建议配置默认令牌生存期,而不是允许令牌无限期有效。

    注意

    更改元存储的默认收件人令牌生存期时,现有收件人的收件人令牌生存期不会自动更新。 若要为给定的收件人应用新的令牌生存期,必须轮换其令牌。 请参阅管理收件人令牌(开放共享)

    设置默认收件人令牌生存期:

    1. 确认“设置过期”已启用(这是默认设置)。

      如果清除此复选框,令牌永远不会过期。 Databricks 建议为令牌配置有效期限。

    2. 输入秒数、分钟数、小时数或天数,然后选择度量单位。

    3. 单击 “启用”

    有关详细信息,请参阅令牌安全注意事项

  6. (可选)输入组织的名称,收件者可以使用该名称来标识与他们共享的人员。

  7. 单击 “启用”

(可选)安装 Unity Catalog CLI

若要管理共享和收件人,可使用目录资源管理器、SQL 命令或 Unity Catalog CLI。 CLI 在本地环境中运行,不需要 Azure Databricks 计算资源。

若要安装 CLI,请参阅 Databricks CLI 是什么?

启用审核日志记录

作为 Azure Databricks 帐户管理员,应启用审核日志记录来捕获 Delta Sharing 事件,例如:

  • 当某人创建、修改、更新或删除共享或收件人时
  • 当收件人访问激活链接并下载凭据时(仅限开放共享)
  • 当收件人访问数据时
  • 当接收者的凭据已轮换或过期时(仅限开放共享)

Delta Sharing 活动在帐户级别记录。

若要启用审核日志记录,请按照诊断日志参考中的说明进行操作。

重要

Delta Sharing 活动在帐户级别记录。 配置日志传递时,不要为 workspace_ids_filter 输入值。

有关如何记录 Delta Sharing 事件的详细信息,请参阅审核和监视数据共享

授予创建和管理共享和接收者的权限

元存储管理员有权创建和管理共享和接收者,包括向接收者授予共享。 元存储管理员可以使用以下特权委托许多提供者任务:

注意

如果工作区已自动为 Unity Catalog 启用,你可能没有元存储管理员。但是,默认情况下,此类工作区中的工作区管理员对元存储拥有 CREATE SHARECREATE RECIPIENT 权限。 有关详细信息,请参阅自动启用 Unity Catalog自动为 Unity Catalog 启用工作区时的工作区管理员权限

  • 元存储上的 CREATE SHARE 授予创建共享的权利。
  • 元存储上的 CREATE RECIPIENT 授予创建接收者的权利。
  • 元存储上的 USE RECIPIENT 授予列出和查看元存储中所有接收者的详细信息的权利。
  • 元存储上的 USE SHARE 授予列出和查看元存储中所有共享的详细信息的权利。
  • USE RECIPIENTUSE SHARE,SET SHARE PERMISSION 组合在一起使用户能够向接收者授予共享访问权限。
  • USE SHARESET SHARE PERMISSION 组合在一起使用户能够转让任何共享的所有权。
  • 共享和接收者所有者可以更新这些对象并向接收者授予共享。 默认情况下,对象创建者会被授予所有权,但所有权可以转让。
  • 只要共享所有者对表具有 SELECT 权限,对卷具有 READ VOLUME 权限,就可以将表和卷添加到共享。

有关详细信息,请参阅 Unity Catalog 特权和安全对象以及为 Delta Sharing 指南中描述的每项任务列出的权限。