在 Oracle 上运行联合查询

本文介绍如何设置 Azure Databricks Lakehouse Federation，以便对不受 Azure Databricks 管理的 Oracle 数据运行联合查询。 若要详细了解 Lakehouse Federation，请参阅“什么是 Lakehouse Federation？”。

若要使用 Lakehouse Federation 连接到 Oracle 数据库，必须在 Azure Databricks Unity Catalog 元存储中创建以下内容：

• 与 Oracle 数据库的连接。
• 一个外部目录，它镜像 Unity Catalog 中的 Oracle 数据库，以便你可使用 Unity Catalog 查询语法和数据治理工具来管理 Azure Databricks 用户对数据库的访问。

开始之前，请确保符合此部分的要求。

工作区要求：

• 已为 Unity Catalog 启用工作区。

计算要求：

• 涵盖计算资源到目标数据库系统的网络连接。 请参阅 Lakehouse Federation 网络建议。
• Azure Databricks 计算必须使用 Databricks Runtime 16.1（或更高版本）和共享或单用户访问模式。
• SQL 仓库必须是 Pro 或无服务器仓库，且必须使用 2024.50 或更高版本。

所需的权限：

• 若要创建连接，你必须是元存储管理员或对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。
• 若要创建外部目录，必须对元存储具有 CREATE CATALOG 权限，并且是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 特权。

后面每个基于任务的部分都指定了其他权限要求。

• 已启用服务器端的加密。

连接指定用于访问外部数据库系统的路径和凭据。 若要创建连接，可以使用目录资源管理器，或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE CONNECTION SQL 命令。

所需的权限：具有 CREATE CONNECTION 特权的元存储管理员或用户。

1. 在 Azure Databricks 工作区中，单击 “目录”。
2. 在左窗格中，展开“外部数据”菜单，然后选择“连接”。
3. 单击“创建连接”。
4. 输入用户友好的连接名称。
5. 选择 Oracle 的连接类型。
6. 输入你的 Oracle 实例的以下连接属性：
   • 主机：例如 oracle-demo.123456.rds.amazonaws.com
   • 端口：例如 1521
   • 用户：例如 oracle_user
   • 密码：例如 password123
7. （可选）添加注释。
8. 单击“创建”。

在笔记本或 Databricks SQL 查询编辑器中运行以下命令：

CREATE CONNECTION <connection-name> TYPE oracle
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Databricks 建议对凭据等敏感值使用 Azure Databricks 机密而不是纯文本字符串。 例如：

CREATE CONNECTION <connection-name> TYPE oracle
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如果必须在笔记本 SQL 命令中使用纯文本字符串，请避免通过使用 \ 将特殊字符（如 $）进行转义来截断字符串。 例如：\$。

有关设置机密的详细信息，请参阅机密管理。

外部目录镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。 若要创建外部目录，请使用与已定义的数据源的连接。

要创建外部目录，可以使用目录资源管理器，或在 Azure Databricks 笔记本或 SQL 查询编辑器中使用 CREATE FOREIGN CATALOG SQL 命令。

所需的权限：对元存储具有 CREATE CATALOG 权限，并且具有连接的所有权或对连接具有 CREATE FOREIGN CATALOG 权限。

1. 在 Azure Databricks 工作区中，单击 “目录”以打开目录资源管理器。

2. 在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加目录”。

   也可在“快速访问”页中单击“目录”按钮，然后单击“创建目录”按钮。

3. 按照创建目录中的说明创建外部目录。

在笔记本或 SQL 查询编辑器中运行以下 SQL 命令。 括号中的项是可选的。 替换占位符值替：

• <catalog-name>：Azure Databricks 中目录的名称。
• <connection-name>：指定数据源、路径和访问凭据的连接对象。
• <service-name>：要在 Azure Databricks 中镜像为目录的服务名称。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (service_name '<service-name>');

支持以下下推：

• 筛选器
• 投影
• 限制
• 聚合
• Offset
• 强制转换
• Contains、Startswith、Endswith

从 Oracle 读取到 Spark 时，数据类型映射如下所示：

• 如果为 spark.sql.timestampType = TIMESTAMP_LTZ（默认），则 DATE 和 TIMESTAMP 会映射到 Spark TimestampType。 如果为 spark.sql.timestampType = TIMESTAMP_NTZ TimestampNTZType，则会映射到 TimestampNTZType。