本文提供相关文章的链接,这些文章介绍了如何将 Apache Kafka 应用程序与 Azure 事件中心集成。
事件中心提供了 Kafka 终结点,可由现有的基于 Kafka 的应用程序用作运行你自己的 Kafka 群集的替代方法。 事件中心可与许多现有 Kafka 应用程序配合使用。 有关详细信息,请参阅适用于 Apache Kafka 的事件中心
你可以在 GitHub 和此内容集中找到各种快速入门文章,快速熟悉用于 Kafka 的事件中心。
请参阅 azure-event-hubs-for-kafka 存储库中的以下快速入门教程:
客户端语言/框架 | 说明 |
---|---|
.NET | 本快速入门介绍如何使用通过 .Net Core 2.0 以 C# 编写的示例制作者和使用者来创建和连接到事件中心 Kafka 终结点。 此示例基于 Confluent 的 Apache Kafka .NET 客户端,经过修改后可与用于 Kafka 的事件中心配合使用。 |
Java | 本快速入门介绍如何使用以 Java 编写的示例制作者和使用者来创建和连接到事件中心 Kafka 终结点。 |
Node.js | 本快速入门介绍如何使用以 Node 编写的示例制作者和使用者来创建和连接到事件中心 Kafka 终结点。 此示例使用 node-rdkafka 库。 |
Python | 本快速入门介绍如何使用以 Python 编写的示例制作者和使用者来创建和连接到事件中心 Kafka 终结点。 此示例基于 Confluent 的 Apache Kafka Python 客户端,经过修改后可与用于 Kafka 的事件中心配合使用。 |
Go | 本快速入门介绍如何使用以 Go 编写的示例制作者和使用者来创建和连接到事件中心 Kafka 终结点。 此示例基于 Confluent 的 Apache Kafka Golang 客户端,经过修改后可与用于 Kafka 的事件中心配合使用。 |
Sarama kafka Go | 本快速入门介绍如何使用通过 Sarama Kafka 客户端库以 Go 编写的示例制作者和使用者来创建和连接到事件中心 Kafka 终结点。 |
Kafka | 本快速入门介绍如何使用 Apache Kafka 分发版附带的 CLI 来创建和连接到事件中心 Kafka 终结点。 |
kcat | kcat 是一个非 JVM 的命令行使用者和创建者。它基于 librdkafka,因其速度快且资源占用量小而广受欢迎。 本快速入门包含一个示例配置和几个简单的示例 kafkacat 命令。 |
请参阅此内容集中的这个快速入门:使用 Kafka 协议通过事件中心进行数据流式传输,其中提供的分步说明介绍了如何将数据流式传输到事件中心。 你将了解如何只需更改应用程序配置,即可使用生产者和使用者与事件中心通信。
请参阅 GitHub 中的以下教程:
教程 | 说明 |
---|---|
Akka | 本教程演示如何在不更改协议客户端或运行自己的群集的情况下,将 Akka Streams 连接到已启用 Kafka 的事件中心。 有两个单独的使用 Java 和 Scala 编程语言的教程。 |
连接 | 本文档将指导你将 Kafka Connect 与 Azure 事件中心集成,并部署基本 FileStreamSource 和 FileStreamSink 连接器。 虽然这些连接器不是用于生产的,但它们可以演示由 Azure 事件中心伪装为 Kafka 代理的端到端 Kafka Connect 方案。 |
Filebeat | 本文档将指导你通过 Filebeat 的 Kafka 输出来集成 Filebeat 和事件中心。 |
Flink | 本教程演示了如何在不更改协议客户端或运行自有群集的情况下,将 Apache Flink 连接到已启用 Kafka 的事件中心。 |
FluentD | 本文档将指导你使用 Fluentd 的 out_kafka 输出插件来集成 Fluentd 和事件中心。 |
互操作 | 本教程介绍如何在使用不同协议的使用者与创建者之间交换事件。 |
Logstash | 本教程将指导你使用 Logstash Kafka 输入/输出插件将 Logstash 与已启用 Kafka 的事件中心集成。 |
MirrorMaker | 本教程介绍事件中心和 Kafka MirrorMaker 如何通过在事件中心服务中镜像 Kafka 输入流将现有 Kafka 管道集成到 Azure 中。 |
NiFi | 本教程演示了如何将 Apache NiFi 连接到事件中心命名空间。 |
OAuth | 这两个快速入门介绍如何使用以 Go 和 Java 编程语言编写的示例创建者和使用者来创建和连接事件中心 Kafka 终结点。 |
Spark | 本教程将演示如何在不更改协议客户端或运行自有 Kafka 群集的情况下,将 Spark 应用程序连接到事件中心。 |
请参阅此内容集中的这个教程:使用流分析处理用于事件中心的 Apache Kafka 事件,该教程介绍如何将数据流式传输到事件中心,并使用 Azure 流分析对其进行处理。
请参阅文档中的以下操作指南:
文章 | 说明 |
---|---|
在事件中心镜像 Kafka 中转站 | 演示如何使用 Kafka MirrorMaker 在事件中心镜像 Kafka 中转站。 |
将 Apache Spark 连接到事件中心 | 详细介绍如何将 Spark 应用程序连接到事件中心进行实时流式处理。 |
将 Apache Flink 连接到事件中心 | 演示如何在不更改你的协议客户端或运行你自己的群集的情况下,将 Apache Flink 连接到事件中心。 |
将 Apache Kafka Connect 与事件中心(预览版)集成 | 详细介绍如何将 Kafka Connect 与事件中心集成,以及如何部署基本的 FileStreamSource 和 FileStreamSink 连接器。 |
将 Akka Streams 连接到事件中心 | 演示如何在不更改你的协议客户端或运行你自己的群集的情况下,将 Akka Streams 连接到事件中心。 |
将适用于 Apache Kafka 的 Spring Boot Starter 与 Azure 事件中心配合使用 | 介绍如何配置基于 Java 的 Spring Cloud Stream Binder,它是使用 Spring Boot Initializer 创建的,目的是将 Apache Kafka 与 Azure 事件中心配合使用。 |
请查看 GitHub 存储库 azure-event-hubs-for-kafka 中 quickstart 和 tutorials 文件夹下的示例。
另请参阅以下文章: