Azure 流分析的 Kafka 输出

Azure 流分析允许以生成者身份直接连接到 Kafka 群集以输出数据。 该解决方案是低代码的，完全由 Microsoft 的 Azure 流分析团队管理，因此可使其符合业务合规性标准。 Kafka 输出向后兼容，并且支持从版本 0.10 开始具有最新客户端版本的所有版本。 用户可以使用公共终结点连接到虚拟网络和 Kafka 群集内的 Kafka 群集，具体取决于配置。 配置依赖于现有的 Kafka 配置约定。 支持的压缩类型为 None、Gzip、Snappy、LZ4 和 Zstd。

步骤

本文介绍如何将 Kafka 设置为 Azure 流分析的输出。 有六个步骤：

1. 创建 Azure 流分析作业。
2. 如果使用 mTLS 或 SASL_SSl 安全协议，请将 Azure 流分析作业配置为使用托管标识。
3. 如果使用 mTLS 或 SASL_SSl 安全协议，请配置 Azure Key Vault。
4. 将证书作为机密上传到 Azure Key Vault 中。
5. 授予 Azure 流分析访问已上传的证书的权限。
6. 在 Azure 流分析作业中配置 Kafka 输出。

配置

下表列出了用于创建 Kafka 输出的属性名称和说明：

身份验证和加密

可以使用四种类型的安全协议连接到 Kafka 群集：

有关连接到 Confluence Cloud Kafka 的分步教程，请访问文档：

• Confluent Cloud kafka 输入：将 Confluence Cloud Kafka 中的数据流式传输到 Azure 流分析
• Confluent Cloud kafka 输出：将 Azure 流分析中的数据流式传输到 Confluence Cloud

密钥保管库集成

Azure 流分析与 Azure Key Vault 无缝集成，以便在使用 mTLS 或 SASL_SSL 安全协议时访问身份验证和加密所需的存储机密。 Azure 流分析作业使用托管标识连接到 Azure 密钥保管库，以确保安全连接并避免机密外泄。 证书作为机密存储在密钥保管库中，并且必须采用 PEM 格式。

使用权限配置密钥保管库

可以按照文档快速入门：使用 Azure 门户创建密钥保管库创建密钥保管库资源。若要上传证书，必须对密钥保管库具有“密钥保管库管理员”访问权限。 请按照以下步骤授予管理员访问权限。

1. 选择“访问控制 (IAM)”。

2. 选择“添加”>“添加角色分配”，打开“添加角色分配”页面 。

3. 使用以下配置分配角色：

通过 Azure CLI 将证书上传到密钥保管库

确保已使用 PowerShell 在本地配置 Azure CLI。 可以访问此页面以获取有关设置 Azure CLI 的指导：Azure CLI 入门

登录到 Azure CLI：

az login

连接到包含密钥保管库的订阅：

az account set --subscription <subscription name>

以下命令可以将证书作为机密上传到密钥保管库：

<your key vault> 是要将证书上传到的密钥保管库的名称。 <name of the secret> 是要为机密提供的任何名称，以及名称在密钥保管库中的显示方式。 <file path to certificate> 是证书所在的路径。 可以右键单击并复制证书的路径。

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

例如：

az keyvault secret set --vault-name mykeyvault --name kafkasecret --file C:\Users\Downloads\certificatefile.pem

配置托管标识

Azure 流分析要求配置托管标识以访问密钥保管库。 可以通过导航到左侧“配置”下的“托管标识”选项卡，将 ASA 作业配置为使用托管标识。

1. 在左侧菜单上，选择“配置”下的“托管标识”选项卡。
2. 选择“切换标识”，然后选择要与作业配合使用的标识：系统分配的标识或用户分配的标识。
3. 对于用户分配的标识，请选择用户分配标识所在的订阅，然后选择标识的名称。
4. 查看并保存。

向流分析作业授予访问密钥保管库中的证书的权限

若要使 Azure 流分析作业读取密钥保管库中的机密，作业必须具有访问密钥保管库的权限。 使用以下步骤向流分析作业授予特殊权限：

1. 选择“访问控制 (IAM)”。

2. 选择“添加”>“添加角色分配”，打开“添加角色分配”页面 。

3. 使用以下配置分配角色：

虚拟网络集成

如果 Kafka 位于虚拟网络内或防火墙后面，则必须配置 Azure 流分析作业以访问 Kafka 主题。

限制

• 将 Azure 流分析作业配置为使用虚拟网络/SWIFT 时，作业必须至少配置六 (6) 个流单元或一 (1) 个 V2 流单元。
• 将 mTLS 或 SASL_SSL 与 Azure Key Vault 配合使用时，必须将 Java 密钥存储转换为 PEM 格式。
• 可以配置 Azure Stream Analytics 连接的 Kafka 最低版本为 0.10。
• Azure 流分析不支持使用 OAuth 或 SAML 单一登录 (SSO) 向 Confluent Cloud 进行身份验证。 必须通过 SASL_SSL 协议使用 API 密钥

后续步骤

• 快速入门：使用 Azure 门户创建流分析作业
• 使用 Azure 流分析流式传输 confluent 云 kafka 中的数据
• 将 Azure 流分析中的数据流式传输到 confluent 云