使用 Azure 流分析从 Confluent Cloud Kafka 流式传输数据

本文介绍如何将 Azure 流分析作业直接连接到 Confluent Cloud Kafka 作为输入。

先决条件

• 拥有一个 Confluent Cloud Kafka 群集。
• Kafka 群集的 API 密钥文件包含用作用户名的 API 密钥、用作密码的 API 机密和启动服务器地址。
• 拥有一个 Azure 流分析作业。 可以按照文档创建 Azure 流分析作业：快速入门：使用 Azure 门户创建流分析作业
• Confluent Cloud Kafka 群集必须可公开访问，并且不能位于防火墙后或在虚拟网络中受到保护。
• Confluent Cloud Kafka 群集的主题的时间戳类型应为 LogAppendTime。 Confluent Cloud Kafka 主题的默认值为 CreateTime。
• 拥有一个现有密钥保管库。 可以按照快速入门：使用 Azure 门户创建 Key Vault 文档来创建密钥保管库资源

将 Azure 流分析配置为使用托管标识

Azure 流分析要求配置托管标识以访问密钥保管库。 可以通过导航到左侧“配置”下的“托管标识”选项卡，将流分析作业配置为使用托管标识。

1. 单击“配置”下的“托管标识”选项卡。
2. 选择“切换标识”，然后选择要与作业一起使用的标识：系统分配的标识或用户分配的标识。
3. 对于用户分配的标识，请选择用户分配标识所在的订阅，然后选择标识的名称。
4. 查看并保存。

从 LetsEncrypt 下载证书

Azure 流分析是一个基于 librdkafka 的客户端，若要连接到 Confluent Cloud，需要 TLS 证书，Confluent Cloud 会将这些证书用于服务器身份验证。 Confluent Cloud 使用来自开放证书颁发机构 (CA) Let’s Encrypt 的 TLS 证书。

在 LetsEncrypt 网站上以 PEM 格式下载 ISRG 根 X1 证书。

配置密钥保管库权限

Azure 流分析与 Azure Key Vault 无缝集成，以访问身份验证和加密所需的存储机密。 Azure 流分析作业使用托管标识连接到 Azure 密钥保管库，以确保安全连接并避免机密外泄。 若要使用下载的证书，必须先将其上传到密钥保管库。

若要上传证书，必须具有对密钥保管库的“密钥保管库管理员”访问权限。 按照以下步骤授予管理员访问权限：

1. 在密钥保管库中，选择“访问控制(IAM)”。

2. 选择“添加”>“添加角色分配”，打开“添加角色分配”页面 。

3. 使用以下配置分配角色：

通过 Azure CLI 将证书作为机密上传到密钥保管库

确保已使用 PowerShell 在本地配置并安装 Azure CLI。 可以访问此页面以获取有关设置 Azure CLI 的指导：Azure CLI 入门

登录到 Azure CLI：

az cloud set -n AzureChinaCloud
az login

连接到包含密钥保管库的订阅：

az account set --subscription <subscription name>

例如：

az account set --subscription mymicrosoftsubscription

以下命令可以将证书作为机密上传到密钥保管库：

<your key vault> 是要将证书上传到的密钥保管库的名称。 <name of the secret> 是要为机密提供的任何名称，以及名称在密钥保管库中的显示方式。 <file path to certificate> 是证书所在的路径。 可以右键单击并复制证书的路径。

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

例如：

az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem

向流分析作业授予访问密钥保管库中的证书的权限

若要使 Azure 流分析作业读取密钥保管库中的机密，作业必须具有访问密钥保管库的权限。 使用以下步骤向流分析作业授予特殊权限：

1. 在密钥保管库中，选择“访问控制(IAM)”。

2. 选择“添加”>“添加角色分配”，打开“添加角色分配”页面 。

3. 使用以下配置分配角色：

在流分析作业中配置 Kafka 输入

1. 在流分析作业中，选择“作业拓扑”下的“输入”

2. 选择“添加输入”>“Kafka”以打开“Kafka 新建输入”配置边栏选项卡。

3. 使用以下配置：

使用以下配置：

保存配置和测试连接

保存配置。 Azure 流分析作业使用提供的配置进行验证。 如果流分析可以连接到 Kafka 群集，则门户中会显示成功的连接。

限制

• 上传到密钥保管库的证书必须是 PEM 格式。
• Kafka 的最低版本必须是版本 0.10。
• Azure 流分析不支持使用 OAuth 或 SAML 单一登录 (SSO) 向 Confluent Cloud 进行身份验证。 必须通过 SASL_SSL 协议使用 API 密钥。
• 必须使用 Azure CLI 将证书作为机密上传到密钥保管库。 无法使用 Azure 门户将包含多行机密的证书上传到密钥保管库。

后续步骤