在 Teradata 上运行联合查询

重要

此功能目前以公共预览版提供。

本文介绍如何设置 Lakehouse 联邦,以执行针对非 Azure Databricks 管理的 Teradata 数据的联邦查询。 若要详细了解 Lakehouse Federation,请参阅“什么是 Lakehouse Federation?”。

若要使用 Lakehouse Federation 连接到 Teradata 数据库,必须在 Azure Databricks Unity Catalog 元存储中创建以下内容:

  • 与 Teradata 数据库的连接
  • 一个外部目录,用于镜像 Unity Catalog 中的 Teradata 数据库,以便可以使用 Unity Catalog 查询语法和数据治理工具来管理对该数据库的 Azure Databricks 用户访问权限。

在您开始之前

开始之前,请确保符合此部分的要求。

Databricks 要求

工作区要求:

  • 已为 Unity Catalog 启用工作区。

计算要求:

  • 计算资源与目标数据库系统之间的网络连接。 请参阅 Lakehouse Federation 网络建议
  • Azure Databricks 计算必须使用 Databricks Runtime 16.1 或更高版本以及 标准专用 访问模式。
  • SQL 仓库必须是 Pro 或无服务器仓库,且必须使用 2024.50 或更高版本。

所需的权限:

  • 若要创建连接,你必须是元存储管理员或对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。
  • 若要创建外部目录,你必须对元存储具有 CREATE CATALOG 权限,并且是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 特权。

后面的每个基于任务的部分中都指定了其他权限要求。

Teradata 要求

  • 在主机服务器上启用 TLS。 默认情况下,SSLMODEREQUIRE。 有关详细信息,请参阅 Teradata 文档中 如何使用 TLS 保护连接。

创建 Azure Databricks 连接

连接指定用于访问外部数据库系统的路径和凭据。 若要创建连接,可以使用目录资源管理器,或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE CONNECTION SQL 命令。

注意

你还可以使用 Databricks REST API 或 Databricks CLI 来创建连接。 请参阅 POST /api/2.1/unity-catalog/connectionsUnity Catalog 命令

所需的权限:具有 CREATE CONNECTION 特权的元存储管理员或用户。

目录资源管理器

  1. 在 Azure Databricks 工作区中,单击目录图标目录

  2. 目录窗格顶部,单击Add or plus icon“添加”或“加号”图标,然后从菜单中选择“添加连接”

    或者,在“快速访问”页中,单击“外部数据 >”按钮,转到“连接”选项卡,然后单击“创建连接

  3. 在“设置连接”向导的“连接基本信息”页面上,输入用户友好的连接名称

  4. 选择连接类型Teradata

  5. (可选)添加注释。

  6. 单击 “下一步”

  7. 身份验证 页上,输入 Teradata 实例的以下连接属性:

    • 主机:例如 teradata-demo.teradata.com
    • 端口:例如 1025
    • 用户:例如 teradata_user
    • 密码:例如 password123
  8. 单击“ 创建连接”。

  9. “目录基本信息 ”页上,输入外国目录的名称。 外部目录镜像外部数据系统中的数据库,以便可以使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。

  10. (可选)单击“测试连接”以确认它是否正常工作。

  11. 单击“创建目录”。

  12. “访问 ”页上,选择用户可以在其中访问所创建的目录的工作区。 您可以选择所有工作区均具有访问权限,或单击分配到工作区,选择工作区,然后单击分配

  13. 更改能够管理对目录中所有对象的访问的 所有者 。 开始在文本框中键入主体,然后单击返回的结果中的主体。

  14. 授予对目录的“特权”。 单击“授权”

    1. 指定将有权访问目录中对象的 主体 。 开始在文本框中键入主体,然后单击返回的结果中的主体。

    2. 选择“特权预设”以对每个主体授权。 默认情况下,向所有帐户用户授予 BROWSE

      • 从下拉菜单中选择 “数据读取者 ”,以授予 read 对目录中对象的权限。
      • 从下拉菜单中选择 “数据编辑器”,以向 readmodify 授予目录中对象的权限。
      • 手动选择要授予的权限。
    3. 单击授权

  15. 单击 “下一步”

  16. 在“元数据”页上,指定标记键值对。 有关详细信息,请参阅 将标记应用于 Unity 目录安全对象

  17. (可选)添加注释。

  18. 单击“ 保存”。

SQL

在笔记本或 Databricks SQL 查询编辑器中运行以下命令:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Databricks 建议对凭据等敏感值使用 Azure Databricks 机密,而不是纯文本字符串。 例如:

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如果必须在笔记本 SQL 命令中使用纯文本字符串,请通过使用 $ 转义特殊字符(例如 \)来避免字符串被截断。 例如: \$

有关设置机密的详细信息,请参阅机密管理

创建外部目录

注意

如果使用 UI 创建与数据源的连接,则包含外部目录创建,你可以跳过此步骤。

外部目录镜像外部数据系统中的数据库,以便可以使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。 若要创建外部目录,请使用与已定义的数据源的连接。

要创建外部目录,可以使用目录资源管理器,或在 Azure Databricks 笔记本或 SQL 查询编辑器中使用 CREATE FOREIGN CATALOG SQL 命令。 你还可以使用 Databricks REST API 或 Databricks CLI 来创建目录。 请参阅 POST /api/2.1/unity-catalog/catalogsUnity Catalog 命令

所需的权限:对元存储的 CREATE CATALOG 权限以及连接的所有权或对连接的 CREATE FOREIGN CATALOG 特权。

目录资源管理器

  1. 在 Azure Databricks 工作区中,单击 目录图标“目录”以打开目录资源管理器。

  2. 在“目录”窗格顶部,单击 “添加”或加号图标图标,然后从菜单中选择“添加目录”

    也可在“快速访问”页中单击“目录”按钮,然后单击“创建目录”按钮。

  3. 按照说明在 “创建目录”中创建外部目录。

SQL

在笔记本或 SQL 查询编辑器中运行以下 SQL 命令。 括号中的项是可选的。 替换占位符的值:

  • <catalog-name>:Azure Databricks 中目录的名称。
  • <connection-name>:指定数据源、路径和访问凭据的连接对象
  • <database-name>:要在 Azure Databricks 中作为目录镜像的数据库的名称。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支持的下推

支持以下下推:

  • 过滤 器
  • 预测
  • 限度
  • 聚合
  • 演员阵容
  • Contains、Startswith、Endswith、Like

数据类型映射

从 Teradata 读取到 Spark 时,数据类型的映射如下:

Teradata 类型 Spark 类型
字节、Blob 二进制类型
Byteint、Smallint、Integer 整数类型
BigInt LongType
浮点数、双精度浮点数、双精度 DoubleType
Number(n, m) 十进制类型
数字(, m)、数字()、数字 不支持
Varchar(N) 字符串类型
时间、时间戳 时间戳类型