在另一个 Databricks 工作区中运行联合查询

本文介绍如何设置 Lakehouse Federation，以对另一个 Databricks 工作区中的 Databricks 数据运行联合查询。 若要详细了解 Lakehouse Federation，请参阅“什么是 Lakehouse Federation？”。

若使用 Lakehouse Federation 连接到另一个工作区中的 Databricks 目录，必须在 Azure Databricks Unity Catalog 元存储中创建以下内容：

• Databricks 工作区中的群集或 SQL 仓库。
• 与群集或 SQL 仓库的连接。
• Unity Catalog 元存储中的外部目录，镜像可从群集或 SQL 仓库访问的其他 Databricks 目录，以便可以使用 Unity Catalog 查询语法和数据治理工具来管理 Azure Databricks 用户对数据的访问。

开始之前

工作区要求：

• 已为 Unity Catalog 启用工作区。

计算要求：

• 涵盖计算资源到目标数据库系统的网络连接。 请参阅 Lakehouse Federation 网络建议。

• Azure Databricks 计算必须使用 Databricks Runtime 13.3 LTS 或更高版本以及 标准 或 专用 访问模式。

• SQL 仓库必须是专业版，并且必须使用 2023.40 或更高版本。

所需的权限：

• 若要创建连接，你必须是元存储管理员或对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。
• 若要创建外部目录，必须对元存储具有 CREATE CATALOG 权限，并且是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 特权。

后面每个基于任务的部分都指定了其他权限要求。

在用于配置连接的 Azure Databricks 工作区中，还必须有一个活动群集或 SQL 仓库。

创建连接

连接指定用于访问外部数据库系统的路径和凭据。 若要创建连接，可以使用目录资源管理器，或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE CONNECTION SQL 命令。

所需的权限：具有 CREATE CONNECTION 特权的元存储管理员或用户。

目录资源管理器

1. 在 Azure Databricks 工作区中，单击 目录。

2. 在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加连接”。

   也可在“快速访问”页中单击“外部数据 >”按钮，转到“连接”选项卡，然后单击“创建连接”。

3. 在“设置连接”向导的“连接基本信息”页面上，输入用户友好的连接名称。

4. 选择 Databricks 的“连接类型”。

5. （可选）添加注释。

6. 单击 “下一步” 。

7. 在 身份验证 页上，输入其他 Databricks 实例的以下连接属性：

   • 主机：工作区实例名称。 若要了解如何获取工作区实例名称，请参阅获取工作区对象的标识符。
   • 个人访问令牌：允许访问目标工作区的 Azure Databricks 个人访问令牌。 若要了解如何获取令牌，请参阅 Azure Databricks 个人访问令牌身份验证（旧版）。 对于连接，Databricks 建议对服务主体使用个人访问令牌。
   • HTTP 路径：SQL 仓库的 HTTP 路径。 若要获取路径，请转到边栏中的“SQL > SQL 仓库”，选择 SQL 仓库，转到“连接详细信息”选项卡，然后复制 HTTP 路径的值。

8. 单击“ 创建连接”。

9. 在“目录基本信息”页上，输入其他 Azure Databricks 工作区中可映射到此元存储中的目录对象的目录名称。

10. （可选）单击“测试连接”以确认它是否正常工作。

11. 单击“创建目录”。

12. 在 “访问 ”页上，选择用户可以在其中访问所创建的目录的工作区。 您可以选择所有工作区均具有访问权限，或单击分配到工作区，选择工作区，然后单击分配。

13. 更改能够管理对目录中所有对象的访问的 所有者 。 开始在文本框中键入主体，然后单击返回的结果中的主体。

14. 授予对目录的“特权”。 单击“授权”：

    1. 指定将有权访问目录中对象的 主体 。 开始在文本框中键入主体，然后单击返回的结果中的主体。

    2. 选择“特权预设”以对每个主体授权。 默认情况下，向所有帐户用户授予 BROWSE。

       • 从下拉菜单中选择 “数据读取者 ”，以授予 read 对目录中对象的权限。
       • 从下拉菜单中选择 “数据编辑器”，以向 read 和 modify 授予目录中对象的权限。
       • 手动选择要授予的权限。

    3. 单击授权。

15. 单击 “下一步” 。

16. 在“元数据”页上，指定标记键值对。 有关详细信息，请参阅 将标记应用于 Unity 目录安全对象。

17. （可选）添加注释。

18. 单击“ 保存”。

SQL

在笔记本或 Databricks SQL 查询编辑器中运行以下命令，替换掉以下内容：

• <connection-name>：要创建的连接的用户友好名称。
• <workspace-instance>：目标工作区实例。 若要了解如何获取工作区实例名称，请参阅获取工作区对象的标识符。
• <sql-warehouse-path>：SQL 仓库的 HTTP 路径。 若要获取路径，请转到边栏中的“SQL > SQL 仓库”，选择 SQL 仓库，转到“连接详细信息”选项卡，然后复制 HTTP 路径的值。
• <personal-access-token>：允许访问目标工作区的 Azure Databricks 个人访问令牌。 若要了解如何获取令牌，请参阅 Azure Databricks 个人访问令牌身份验证（旧版）。 对于连接，Databricks 建议使用服务主体的个人访问令牌。

CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken '<personal-access-token>'
);

建议对凭据等敏感值使用 Azure Databricks 机密而不是纯文本字符串。 例如：

CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken secret ('<secret-scope>','<secret-key-password>')
)

有关设置机密的详细信息，请参阅机密管理。

创建外部目录

外部目录会镜像外部 Databricks 工作区中的目录，以便你可以查询和管理对该外部 Databricks 目录中数据的访问权限，就像它是你自己的工作环境中的目录一样。 若要创建外部目录，请使用与已定义的外部 Databricks 工作区的连接。

若要创建外部目录，可以使用目录资源管理器，或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE FOREIGN CATALOG SQL 命令。 你还可以使用 Databricks REST API 或 Databricks CLI 来创建目录。 请参阅 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

所需的权限：对元存储具有 CREATE CATALOG 权限，并且具有连接的所有权或对连接具有 CREATE FOREIGN CATALOG 权限。

目录资源管理器

1. 在 Azure Databricks 工作区中，单击 以打开目录资源管理器。

2. 在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加目录”。

   也可在“快速访问”页中单击“目录”按钮，然后单击“创建目录”按钮。

3. 按照创建目录中的说明创建外部目录。

SQL

在笔记本或 Databricks SQL 编辑器中运行以下 SQL 命令。 括号中的项是可选的。 替换占位符值替：

• <catalog-name>：要创建的外部目录的名称。
• <connection-name>：指定数据源、路径和访问凭据的连接对象。
• <external-catalog-name>：要镜像的外部 Databricks 工作区中的目录的名称。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (catalog '<external-catalog-name>');

支持的下推

所有计算均支持以下下推：

• 筛选器
• 投影
• 限制
• 函数：仅支持筛选表达式（字符串函数、数学函数、数据、时间和时间戳函数以及其他杂项函数，例如 Alias、Cast、SortOrder）。

Databricks Runtime 13.3 LTS 及更高版本和 SQL 仓库计算支持下列下推：

• 聚合
• 以下布尔运算符：=、<、<=、>、>=、<=>
• 以下数学函数（在禁用了 ANSI 时不受支持）：+、-、*、%、/
• 以下各类运算符：^、|、~
• 排序，与限制一起使用时

不支持以下下推：

• 联接
• Windows 函数

数据类型映射

使用 Databricks-to-Databricks 联合时，数据类型通常映射一对一。 但是，以下数据类型映射到 StringType：