在 Oracle 上运行联合查询

本页介绍如何设置 Lakehouse 联邦，以在不由 Azure Databricks 管理的 Oracle 数据上运行联合查询。 若要详细了解 Lakehouse Federation，请参阅 连接到外部数据库和目录

若要通过 Lakehouse Federation 连接到 Oracle 数据库，必须在 Azure Databricks 的 Unity Catalog 元存储中创建以下内容（2023 年 11 月 9 日之后创建的工作区已自动配置 Unity Catalog 元存储）：

  • 与 Oracle 数据库的连接。
  • 外部目录，它在 Unity Catalog 中映射您的 Oracle 数据库，这样您可以使用 Unity Catalog 查询语法和数据治理工具来管理对数据库的 Azure Databricks 用户访问权限。

局限性

  • Lakehouse 联邦仅支持与 Oracle 云的传输层安全协议（TLS）连接。 与其他 Oracle 数据库的连接使用本机网络加密 （NNE）。

  • 连接到版本为 11.2.0.3.0 及更高的实例时存在一个已知问题，这些实例没有时区值 Etc/UTC（错误：ORA-01882: timezone region not found）。

    • 解决方法：将 spark.databricks.connector.oracle.timezoneAsRegion 设置为 false。 这直接映射到 oracle.jdbc.timezoneAsRegion JDBC 驱动程序属性。 在经典计算中，可以在群集 Spark 配置中设置此配置。在 Databricks SQL 仓库和无服务器计算上，请联系Azure Databricks支持部门应用此设置。

    警告

    解决方法可能会导致错误的夏令时 （DST） 行为。 要永久解决此问题，请更新 Oracle 数据库时区文件。 请参阅 Oracle 支持 - ORA-01882。

许可证

Oracle 驱动程序和其他必要的 Oracle JAR 文件受无点击许可协议 FDHUT 的约束。

开始之前

在开始之前，请确认你满足本部分中的要求。

Databricks 要求

工作区要求：

  • 已为 Unity Catalog 启用工作区。 2023年11月9日之后创建的工作区会自动启用Unity Catalog，包括自动配置元存储。 若您的工作区在自动启用功能推出之前创建且尚未启用 Unity Catalog，则需要手动创建元存储。 请参阅 Unity 目录入门。

计算要求：

  • 从计算资源到目标数据库系统的网络连接。 请参阅 Lakehouse Federation 网络建议。
  • Azure Databricks计算必须使用 Databricks Runtime 16.1 或更高版本和 Standard 或 Dedicated 访问模式。
  • SQL 仓库必须是 Pro 或无服务器仓库，且必须使用 2024.50 或更高版本。

所需的权限：

  • 若要创建连接，你必须是元存储管理员或对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。 在自动为 Unity 目录启用的工作区中，工作区管理员默认具有 CREATE CONNECTION 权限。
  • 若要创建外部目录，必须对元存储具有 CREATE CATALOG 权限，并且是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 特权。 在自动为 Unity 目录启用的工作区中，工作区管理员默认具有 CREATE CATALOG 权限。

后面每个基于任务的部分都指定了其他权限要求。

Oracle 要求

对于使用本机网络加密的连接，您必须启用至少ACCEPTED级别的服务器端NNE。 请参阅 Oracle 文档中 的“配置网络数据加密 ”。 这不适用于改用 TLS 的 Oracle 云连接。

创建Azure Databricks连接

连接指定用于访问外部数据库系统的路径和凭据。 若要创建连接，可以在Azure Databricks笔记本或 Databricks SQL 查询编辑器中使用目录资源管理器或 CREATE CONNECTION SQL 命令。

注意

你还可以使用 Databricks REST API 或 Databricks CLI 来创建连接。 请参阅 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

所需的权限：具有 CREATE CONNECTION 特权的元存储管理员或用户。

目录浏览器

  1. 在Azure Databricks工作区中，单击Data icon.Catalog。

  2. 单击 “插入”图标。连接，然后单击 “连接”。

  3. 单击“ 创建连接 ”按钮。

  4. 在“设置连接”向导的“连接基本信息”页面上，输入用户友好的连接名称。

  5. 选择 Oracle 的连接类型。

  6. （可选）添加注释。

  7. 单击 “下一步” 。

  8. 在 “身份验证 ”页上，为 Oracle 实例输入以下内容：

    • 主机：例如 oracle-demo.123456.rds.amazonaws.com
    • 端口：例如 1521
    • 用户：例如 oracle_user
    • 密码：例如 password123
    • 加密协议： Native Network Encryption （默认）或 Transport Layer Security
    • 用户提供的服务器证书：可选。 你Oracle实例的PEM编码公开证书，用于在TLS握手时验证服务器身份。 当你的服务器提供来自私有或内部证书授权机构的证书，且不在默认信任存储中时，提供该证书。 用户提供的服务器证书要求使用 加密协议Transport Layer Security，而 Lakehouse Federation 仅对 Oracle Cloud 连接提供支持。 主机名验证作为TLS握手的一部分进行：如果证书上的主机名与请求的主机名不匹配，连接将失败。

  9. 单击“创建连接”。

  10. 在 “目录基本信息 ”页上，输入外国目录的名称。 外部目录镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity 目录查询和管理对该数据库中数据的访问。

  11. （可选）单击“测试连接”以确认它是否正常工作。

  12. 单击“创建目录”。

  13. 在 “访问 ”页上，选择用户可以在其中访问所创建的目录的工作区。 您可以选择所有工作区均具有访问权限，或单击分配到工作区，选择工作区，然后单击分配。

  14. 更改能够管理对目录中所有对象的访问的 所有者 。 开始在文本框中键入主体，然后单击返回的结果中的主体。

  15. 授予对目录的“特权”。 单击“授权”：

    1. 指定将有权访问目录中对象的 主体 。 开始在文本框中键入主体，然后单击返回的结果中的主体。

    2. 选择“特权预设”以对每个主体授权。 默认情况下，向所有帐户用户授予 BROWSE。

      • 从下拉菜单中选择 “数据读取者 ”，以授予 read 对目录中对象的权限。
      • 从下拉菜单中选择 “数据编辑器”，以向 read 和 modify 授予目录中对象的权限。
      • 手动选择要授予的权限。

    3. 单击授权。

  16. 单击 “下一步” 。

  17. 在“元数据”页上，指定标记键值对。 有关详细信息，请参阅 将标记应用于 Unity 目录安全对象。

  18. （可选）添加注释。

  19. 单击“ 保存”。

SQL

在笔记本或 Databricks SQL 查询编辑器中运行以下命令：

CREATE CONNECTION <connection-name> TYPE oracle
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>',
  encryption_protocol '<protocol>' -- optional
);

Databricks 建议对凭据等敏感值使用 Azure Databricks secrets 而不是纯文本字符串。 例如：

CREATE CONNECTION <connection-name> TYPE oracle
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>'),
  encryption_protocol '<protocol>' -- optional
)

在TLS握手过程中验证服务器身份（例如，当你的Oracle服务器呈现来自私有或内部证书授权机构的证书，但该证书不在默认信任存储中时），在选项 userProvidedServerCertificate 中传递服务器的PEM编码证书。 用户提供的服务器证书需要 encryption_protocol 设置为 TLS，Lakehouse Federation 仅支持 Oracle 云连接。

CREATE CONNECTION <connection-name> TYPE oracle
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>'),
  encryption_protocol 'TLS',
  userProvidedServerCertificate '<pem-encoded-certificate>'
)

如果必须在笔记本 SQL 命令中使用纯文本字符串，避免截断字符串的方法是通过将特殊字符（如使用 $）转义为 \。 例如：\$。

有关设置机密的详细信息，请参阅机密管理。

创建外国目录

注意

如果使用 UI 创建与数据源的连接，则包含外部目录创建，你可以跳过此步骤。

外部目录镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity 目录查询和管理对该数据库中数据的访问。 若要创建外部目录，请使用与已定义的数据源的连接。

若要创建外部目录，可以在Azure Databricks笔记本或 SQL 查询编辑器中使用目录资源管理器或 CREATE FOREIGN CATALOG SQL 命令。 你还可以使用 Databricks REST API 或 Databricks CLI 来创建目录。 请参阅 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

必要的权限：CREATE CATALOG 对元数据存储拥有权限，并且拥有连接的所有权或对连接具有 CREATE FOREIGN CATALOG 权限。

目录浏览器

  1. 在Azure Databricks工作区中，单击Data icon.Catalog打开目录资源管理器。

  2. 在“目录”窗格顶部，单击 添加或加号图标“添加”图标，然后从菜单中选择“添加目录”。

    也可在“快速访问”页中单击“目录”按钮，然后单击“创建目录”按钮。

  3. 按照创建目录中的说明创建外部目录。

SQL

在笔记本或 SQL 查询编辑器中运行以下 SQL 命令。 括号中的项是可选的。 替换占位符的值

  • <catalog-name>：Azure Databricks中目录的名称。
  • <connection-name>：指定数据源、路径和访问凭据的连接对象。
  • <service-name>：要在Azure Databricks中作为目录镜像的服务名称。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (service_name '<service-name>');

支持的下推

下表列出了 Oracle 支持的下推操作以及每个操作所需的计算。

下推 支持的计算
聚合 支持 所有计算
算数运算符
（如 +、-、*、%、/） - 如果禁用 ANSI，则不支持		 支持 所有计算
布尔运算符
（例如 =、<=>、<、<=、>、>=）		 支持 所有计算
包含、以...开始、以...结束 支持 所有计算
筛选器 支持 所有计算
限制 支持 所有计算
数学函数
（ABS、FLOOR——部分支持，仅支持筛选表达式）		 支持 所有计算
其他功能
（如 Alias、Cast、SortOrder — 部分支持、仅筛选表达式）		 支持 所有计算
抵消 支持 所有计算
预测结果 支持 所有计算
排序（与限制一起使用时） 支持 所有计算
字符串函数
（UPPER、LOWER、CHAR_LENGTH、TRIM、RTRIM、LTRIM、CONCAT、RPAD、LPAD — 部分支持，仅支持筛选表达式）		 支持 所有计算
联接 支持 Databricks Runtime 17.2 及更高版本和 SQL 仓库计算。 此下推功能现处于公开预览阶段；请在“预览”页面上启用“联合查询的联接下推”开关。
窗口函数 不支持 不支持

数据类型映射

从 Oracle 读取到 Spark 时，数据类型映射如下所示：

Oracle 类型 Spark 类型
TIMESTAMP WITH TIMEZONE、TIMESTAMP WITH LOCAL TIMEZONE TimestampType
DATE、TIMESTAMP TimestampType/TimestampNTZType*
NUMBER、FLOAT DecimalType**
BINARY FLOAT FloatType
BINARY DOUBLE DoubleType
CHAR、NCHAR、VARCHAR2、NVARCHAR2 StringType

如果* （默认值），则DATETIMESTAMP和TimestampType会映射到 Spark spark.sql.timestampType = TIMESTAMP_LTZ。 如果 TimestampNTZType，它们被映射到 spark.sql.timestampType = TIMESTAMP_NTZ。

** NUMBER 如果不指定精度，则会映射到 DecimalType(38, 10) ，因为 Spark 中不支持纯浮点小数。

其他资源

  • Last updated on