共用方式為

管理外部位置

本页介绍如何列出、查看、更新、授予权限、启用文件事件以及删除 外部位置。

注意

Databricks 建议使用卷管理文件访问。 请参阅“什么是 Unity Catalog 卷？”。

描述外部位置

若要查看外部位置的属性（包括权限和工作区访问权限），可以使用目录资源管理器或 SQL 命令。

目录资源管理器

  1. 在边栏中，单击 “数据”图标。目录。

  2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  3. 单击外部位置的名称以查看其属性。

SQL

在笔记本或 Databricks SQL 编辑器中运行以下命令。 将 <location-name> 替换为外部位置的名称。

DESCRIBE EXTERNAL LOCATION <location-name>;

显示外部位置的授予

若要查看外部位置的授予，可以使用目录资源管理器或 SQL 命令。

目录资源管理器

  1. 在边栏中，单击 “数据”图标。目录。

  2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  3. 单击外部位置的名称。

  4. 单击“权限”。

SQL

若要在外部位置显示授予，请使用如下命令。 你可以选择筛选结果以只显示指定主体的授权。

SHOW GRANTS [<principal>] ON EXTERNAL LOCATION <location-name>;

替换占位符值替：

  • <location-name>：允许在您的云租户中读取和写入存储容器或存储桶的外部位置的名称。
  • <principal>：帐户级用户的电子邮件地址或帐户级组的名称。 如果组或用户名包含空格或 @ 符号，请使用其周围的后刻度（` `），而不是撇号。

对外部位置授予权限

本部分介绍如何使用目录资源管理器和笔记本或 SQL 查询中的 SQL 命令授予和撤销对外部位置的权限。 有关改用 Databricks CLI 或 Terraform 的信息，请参阅 Databricks Terraform 文档和什么是 Databricks CLI？。

所需权限：对外部位置中引用的元存储和存储凭据具有 CREATE EXTERNAL LOCATION 权限，或对外部位置具有 MANAGE 权限。 默认情况下，元存储管理员对元存储具有 CREATE EXTERNAL LOCATION。

授予使用外部位置的权限：

目录资源管理器

  1. 在边栏中，单击 “数据”图标。目录。

  2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  3. 单击外部位置的名称以打开其属性。

  4. 单击“权限”。

  5. 若要向用户或组授予权限，请选择每个标识，然后单击“授予”。

  6. 若要撤销用户或组的权限，请选择每个标识，然后单击“撤销”。

SQL

在笔记本或 SQL 查询编辑器中运行以下 SQL 命令。 此示例授予创建引用外部位置的外部表的能力：

GRANT CREATE EXTERNAL TABLE ON EXTERNAL LOCATION <location-name> TO <principal>;

替换占位符值替：

  • <location-name>：允许在您的云租户中读取和写入存储容器或存储桶的外部位置的名称。
  • <principal>：帐户级用户的电子邮件地址或帐户级组的名称。 如果组或用户名包含空格或 @ 符号，请在其周围使用反勾（而不是撇号）。 例如， 财务团队 。

将外部位置分配给特定工作区

默认情况下，可以从元存储中的所有工作区访问外部位置。 这意味着，如果用户已被授予该外部位置的权限（例如，READ FILES），则可以从附加到元存储的任何工作区行使该权限。 如果使用工作区来隔离用户数据访问，则可能需要仅允许从特定工作区访问外部位置。 此功能称为工作区绑定或外部位置隔离。

将外部位置绑定到特定工作区的典型用例包括：

  • 确保对包含生产数据的外部位置拥有 CREATE EXTERNAL TABLE 权限的数据工程师只能在生产工作区中的该位置创建外部表。
  • 确保对包含敏感数据的外部位置具有 READ FILES 特权的数据工程师只能使用特定工作区访问该数据。

有关如何按工作区限制其他类型的数据访问的详细信息，请参阅将目录访问仅限于特定工作区。

重要

当针对外部位置行使权限时，将会引用工作区绑定。 例如，如果用户通过从 CREATE TABLE myCat.mySch.myTable LOCATION 'abfss://my-container-name@storage-account-name.dfs.core.chinacloudapi.cn/finance' 工作区发出语句 myWorkspace 创建外部表，则除了常规用户特权检查之外，还会执行以下工作区绑定检查：

  • 覆盖 'abfss://my-container-name@storage-account-name.dfs.core.chinacloudapi.cn/finance' 的外部位置是否绑定到 myWorkspace？
  • 目录 myCat 是否绑定到具有 myWorkspace 访问级别的 Read & Write？

如果外部位置随后与 myWorkspace 解除绑定，则外部表将继续运行。

此功能还允许从中央工作区填充目录，并使用目录绑定将其提供给其他工作区，而无需在其他工作区中提供外部位置。

将外部位置绑定到一个或多个工作区

要将外部位置分配到特定的工作区，可以使用目录资源管理器或 Databricks CLI。

所需权限：元存储管理员、外部位置所有者或外部位置上的 MANAGE。

注意

元存储管理员可以使用目录资源管理器查看元存储中的所有外部位置，外部位置所有者可以查看他们在元存储中拥有的所有外部位置，无论外部位置是否已分配到当前工作区。 未分配给工作区的外部位置显示为灰色。

目录资源管理器

  1. 登录到链接到元存储的工作区。

  2. 在边栏中，单击 “数据”图标。目录。

  3. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  4. 选择外部位置，然后转到“工作区”选项卡。

  5. 在“工作区”选项卡上，清除“所有工作区拥有访问权限”复选框。

    如果外部位置已绑定到一个或多个工作区，则此复选框已清除。

  6. 单击“分配到工作区”，然后输入或查找要分配的工作区。

若要撤销访问权限，请转到“工作区”选项卡，选择该工作区，然后单击“撤销”。 若要允许从所有工作区进行访问，请选中“所有工作区都具有访问权限”复选框。

CLI

向工作区分配外部位置时需使用两个 Databricks CLI 命令组并分两个步骤完成。

在以下示例中，将 <profile-name> 替换为 Azure Databricks 身份验证配置文件的名称。 它应包括个人访问令牌的值，以及生成个人访问令牌的工作区的工作区实例名称和工作区 ID。 请参阅个人访问令牌身份验证（已弃用）。

  1. 使用 external-locations 命令组的 update 命令将外部位置的 isolation mode 设置为 ISOLATED：

    databricks external-locations update <my-location> \
--isolation-mode ISOLATED \
--profile <profile-name>

    对于附加到元存储的所有工作区，默认的 isolation-mode 设置为 OPEN。

  2. 使用 workspace-bindings 命令组的 update-bindings 命令将工作区分配到外部位置：

    databricks workspace-bindings update-bindings external-location <my-location> \
--json '{
  "add": [{"workspace_id": <workspace-id>}...],
  "remove": [{"workspace_id": <workspace-id>}...]
}' --profile <profile-name>

    使用 "add" 和 "remove" 属性添加或删除工作区绑定。

    注意

    只读绑定 (BINDING_TYPE_READ_ONLY) 不适用于外部位置。 因此，没有理由为外部位置绑定设置binding_type。

若要列出某个外部位置的所有工作区分配，请使用 workspace-bindings 命令组的 get-bindings 命令：

databricks workspace-bindings get-bindings external-location <my-location> \
--profile <profile-name>

另请参阅 REST API 参考中的工作区绑定。

从工作区取消绑定外部位置

workspace-bindings中包含有关使用目录资源管理器或 CLI 命令组撤销工作区对外部位置的访问权限的说明。

更改外部位置的所有者

外部位置的创建者是其初始所有者。 若要将所有者更改为其他帐户级用户或组，可以使用目录资源管理器或 SQL 命令。

所需权限：外部位置所有者或具有 MANAGE 权限的用户。

目录资源管理器

  1. 在边栏中，单击 “数据”图标。目录。

  2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  3. 单击外部位置的名称。

  4. 单击Edit iconEdit icon“所有者。

  5. 键入以搜索主体并选择它。

  6. 单击“ 保存”。

SQL

在笔记本或 Databricks SQL 编辑器中运行以下命令。 替换占位符值替：

  • <location-name>：该凭据的名称。
  • <principal>：帐户级用户的电子邮件地址或帐户级组的名称。 如果组或用户名包含空格或 @ 符号，请在其周围使用反勾（而不是撇号）。 例如， 财务团队 。
ALTER EXTERNAL LOCATION <location-name> OWNER TO <principal>

将外部位置标记为只读

如果希望用户对外部位置具有只读访问权限，可以使用目录资源管理器将外部位置标记为只读。

将外部位置标记为只读：

  • 阻止用户写入这些外部位置中的文件，而不考虑存储凭据的 Azure 托管标识授予的任何写入权限，也不管对该外部位置授予的 Unity Catalog 权限如何。
  • 阻止用户在这些外部位置创建托管表或卷。
  • 阻止使用只读外部位置创建目录。
  • 使系统能够在创建时正确验证外部位置。

创建外部位置时，可以将外部位置标记为只读。

还可使用目录资源管理器在创建外部位置后更改只读状态：

  1. 在边栏中，单击 “数据”图标。目录。

  2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  3. 选择外部位置，单击 Kebab 菜单图标。 “ 测试连接 ”按钮旁边的菜单，然后选择“ 编辑”。

  4. 在“编辑”对话框中，单击“高级选项”并选择“限制为只读使用”选项。

  5. 单击“更新” 。

（推荐）为外部位置启用文件事件

如果要引入云提供商推送的更改通知，为外部位置启用文件事件具有以下优势：

在您开始之前

如果要让 Azure Databricks 代表您配置 Azure 数据湖存储队列或 SQS 队列，您的外部位置必须引用能提供足够权限的存储凭据以进行配置。 有关说明，请参阅下一步。

如果要创建自己的 Azure Data Lake 存储队列，则存储凭据所表示的标识必须对这些 Azure Data Lake 存储队列具有以下权限：

  • 存储队列数据贡献者

如果要创建自己的 SQS 队列，存储凭据所表示的标识必须对这些 SQS 队列具有以下权限：

  • sqs:ReceiveMessage
  • sqs:DeleteMessage
  • sqs:PurgeQueue

步骤 1：确认 Azure Databricks 有权访问 Azure Data Lake Storage 中的文件事件

在可以为外部位置安全对象启用文件事件之前，必须确保已将 Azure Data Lake Storage 帐户配置为授予 Azure Databricks 对它发出的文件事件的访问权限。 如果希望 Azure Databricks 为你配置 Azure Data Lake Storage 中的文件事件，还必须确保 Azure Databricks 具有适当的访问权限。

配置存储凭据时，建议分配此访问权限。

对于 Azure Data Lake Storage 容器

若要确认授予对外部位置访问权限的托管身份已正确配置，请执行以下操作：

  1. 获取 Azure 托管标识 ID。

    1. 在边栏中，单击 “数据”图标。目录。

    2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

    3. 选择外部位置。

    4. 在“ 概述 ”选项卡上，单击 “凭据 名称”。

    5. 在“存储凭据 概述 ”选项卡上，复制 连接器 ID 或 用户分配的托管标识 ID。

      你将下一步骤中使用此内容。

  2. 登录到 Azure Data Lake Storage 帐户。

  3. 转到 访问控制（IAM）， 然后单击 “检查访问 ”按钮。

  4. 在 托管标识中，根据托管标识类型选择 用户分配的托管标识 或 Azure Databricks 的访问连接器。

  5. 搜索你在步骤 1 中复制的托管标识。

  6. 确认托管标识具有以下角色：

    • 存储帐户参与者
    • 存储 blob 数据参与者
    • EventGrid EventSubscription 参与者
    • 存储队列数据参与者：只有在希望 Azure Databricks 为你在 Azure Data Lake Storage 中创建订阅和事件时才需要。 如果未启用此角色，则必须自行创建 Azure 存储队列 。

  7. 如果缺少这些角色中的任何一个，请转到 “符合条件的分配 ”选项卡并添加这些角色。

有关分配这些角色的详细信息，请参阅 步骤 3：授予托管标识对文件事件的访问权限 ， 步骤 4：授予 Azure Databricks 代表你配置文件事件的访问权限。

步骤 2：使用目录资源管理器为外部位置启用文件事件

若要启用文件事件，请执行以下步骤。

  1. 在边栏中，单击 “数据”图标。目录。

  2. 在“快速访问”页中，单击“外部数据>”按钮，然后转到“外部位置”选项卡。

  3. 选择外部位置。

  4. 单击“测试Kebab menu icon.Kebab menu icon.连接”按钮旁边的 ，然后选择“编辑”。

  5. 在“编辑”对话框中，单击“ 高级选项”。

  6. 选择“ 启用文件事件”。

  7. 选择 “文件”事件类型：

    自动：（建议）如果希望 Azure Databricks 为你设置订阅和事件，请选择此选项。

    提供：如果已自行配置 Azure 存储队列 或 SQS 队列 ，请选择此选项。

  8. 如果选择了提供的文件事件类型，请输入现有存储队列的队列 URL。

    • Azure 存储队列： https://<storage account>.queue.core.chinacloudapi.cn/<queue>

    • AWS SQS 队列： https://sqs.<region>.amazonaws.com/<account-ID>/<queue-name>

  9. 单击“更新” 。

  10. 等待几秒钟，然后单击主外部位置编辑页面上的测试连接，以确认文件事件已成功启用。

文件事件限制

外部位置上的文件事件具有以下限制：

  • 事件吞吐量限制为每秒引入 2000 个文件。

  • 不能使用 resourceTags 此选项标记云资源。 相反，在自动加载程序服务创建队列和订阅资源后，使用云控制台标记资源。

  • 如果没有为该存储位置定义外部位置，则无法为 Unity 目录元存储根存储位置设置文件事件。

    不能在 Unity 目录中未定义外部位置对象的存储位置上设置文件事件。 Unity 目录的某些实现包括与外部位置不关联的元存储根存储位置。 要确定您的元存储库根存储位置是否符合此条件：

    1. 作为帐户管理员，登录到帐户控制台。

    2. 单击 “数据”图标。目录。

    3. 单击元存储名称。

    4. 转到 “配置 ”选项卡。

    5. 如果有 ADLS Gen 2 路径 值，则元存储根没有为其定义外部位置对象。

      若要更新元存储根存储以使用外部位置，请单击“ 删除 ”按钮。 将为你创建一个外部场所。 有关详细信息，请参阅 “删除元存储级别存储”。

  • 不支持 Azure Blob 存储。

修改外部位置

外部位置的所有者或具有 MANAGE 特权的用户可以更改外部位置的名称、URI 和存储凭证。

若要重命名外部位置，请执行以下操作：

在笔记本或 Databricks SQL 编辑器中运行以下命令。 替换占位符值替：

  • <location-name>：位置的名称。
  • <new-location-name>：位置的新名称。
ALTER EXTERNAL LOCATION <location-name> RENAME TO <new-location-name>;

若要更改云租户中外部位置指向的 URI，请执行以下操作：

在笔记本或 Databricks SQL 编辑器中运行以下命令。 替换占位符值替：

  • <location-name>：外部位置的名称。
  • <url>：该位置应该授权你的云租户访问的新存储 URL。
ALTER EXTERNAL LOCATION location_name SET URL '<url>' [FORCE];

即使外部表依赖于外部位置，FORCE 选项也会更改 URL。

若要更改外部位置使用的存储凭据，请执行以下操作：

在笔记本或 Databricks SQL 编辑器中运行以下命令。 替换占位符值替：

  • <location-name>：外部位置的名称。
  • <credential-name>：用来访问云租户中位置 URL 的存储凭据的名称。
ALTER EXTERNAL LOCATION <location-name> SET STORAGE CREDENTIAL <credential-name>;

删除外部位置

若要删除（丢弃）外部位置，你必须是其所有者，或者对外部位置具有 MANAGE 特权。 若要删除外部位置，请执行以下操作：

在笔记本或 Databricks SQL 编辑器中运行以下命令。 括号中的项是可选的。 将 <location-name> 替换为外部位置的名称。

DROP EXTERNAL LOCATION [IF EXISTS] <location-name>;