集成概述

  • 项目

有许多数据连接器、工具和集成可与平台无缝协作，它们用于引入、业务流程、输出和数据查询。 本文档提供了关于可用连接器、工具和集成的高级概述。 提供了每个连接器的详细信息，以及指向其完整文档的链接。

对于特定集成类型的概述页面，请选择以下按钮之一。

数据集成

查询集成

可视化集成

比较表

以下各表汇总了每个项目的功能。 选择对应于连接器或工具和集成的选项卡。 每个项目名称都链接到其详细说明。

下表汇总了可用连接器及其功能：

名称 引入 导出 协调 查询
Apache Kafka ✔
Apache Log4J 2 ✔
Apache Spark ✔ ✔ ✔
Azure Cosmos DB ✔
Azure 数据工厂 ✔ ✔
Azure 事件网格 ✔
Azure 事件中心 ✔
Azure Functions ✔ ✔
Azure IoT 中心 ✔
Fluent Bit ✔
JDBC ✔
逻辑应用程序 ✔ ✔ ✔
Logstash ✔
Matlab ✔
NLog ✔
ODBC ✔
Open Telemetry ✔
Serilog ✔
Splunk ✔
Splunk 通用转发器 ✔
Telegraf ✔

详细说明

以下是连接器、工具和集成的详细说明。 选择对应于连接器或工具和集成的选项卡。 上述比较表汇总了所有可用项目。

Apache Kafka

Apache Kafka 是一个分布式流式处理平台，可用于构建实时流式处理数据管道，在系统或应用程序之间可靠地移动数据。 Kafka Connect 是一个工具，用于在 Apache Kafka 和其他数据系统之间以可缩放且可靠的方式流式传输数据。 Kafka 接收器充当来自 Kafka 的连接器，并且不需要使用代码。 此连接器已通过 Confluent 金级认证 - 已经过质量、功能完整性、标准合规性和性能方面的综合审查和测试。

Apache Log4J 2

Log4J 是适用于 Java 应用程序的流行日志记录框架，由 Apache 基金会维护。 开发人员可以使用 Log4j 根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出的日志语句。 Apache Log4J 2 接收器允许将日志数据流式传输到数据库，你可以在其中实时分析和可视化日志。

Apache Spark

Apache Spark 是用于大规模数据处理的统一分析引擎。 Spark 连接器是可在任何 Spark 群集上运行的开源项目。 它实现数据源和数据接收器，以便将数据移出或移入 Spark 群集。 使用 Apache Spark 连接器，可以构建面向数据驱动场景的可缩放快速应用程序。 例如，机器学习 (ML)、提取-转换-加载 (ETL) 和 Log Analytics。 有了此连接器，数据库变成了标准 Spark 源和接收器操作（例如 read、write 和 writeStream）的有效数据存储。

Azure Cosmos DB

Azure Cosmos DB 更改源数据连接是一个引入管道，用于侦听 Cosmos DB 更改源并将数据引入到数据库中。

Azure 数据工厂

Azure 数据工厂 (ADF) 是基于云的数据集成服务，可用于集成不同的数据存储，以及对数据执行活动。

Azure 事件网格

事件网格引入是用于侦听 Azure 存储并在订阅事件发生时更新数据库以提取信息的管道。 可以通过 Azure 事件网格订阅配置从 Azure 存储（Blob 存储和 ADLSv2）连续引入，以用于生成“已创建 Blob”或“已重命名 Blob”通知，并通过 Azure 事件中心流式传输这些通知。

  • 功能：引入
  • 支持的引入类型：批处理、流式处理
  • 用例：事件处理
  • 文档：事件网格数据连接

Azure 事件中心

Azure 事件中心是大数据流式处理平台和事件引入服务。 可以配置从客户托管的事件中心持续引入。

Azure Functions

借助 Azure Functions，可以按计划或以响应某个事件的方式在云中运行无服务器代码。 使用 Azure Functions 的输入和输出绑定，可以将数据库集成到工作流中，以引入数据并针对数据库运行查询。

Azure IoT 中心

Azure IoT 中心是一项托管服务，承载在云中，充当中央消息中心，用于 IoT 应用程序与其管理的设备之间的双向通信。 可以使用与事件中心兼容的设备到云消息内置终结点配置从客户管理的 IoT 中心持续引入。

  • 功能：引入
  • 支持的引入类型：批处理、流式处理
  • 用例：IoT 数据
  • 文档：IoT 中心数据连接

Fluent Bit

Fluent Bit 是一种开源代理，用于从各种源收集日志、指标和跟踪。 它让你可以在将事件数据发送到存储之前对事件数据进行筛选、修改和聚合。

JDBC

Java 数据库连接 (JDBC) 是用于连接数据库和执行查询的 Java API。 你可以使用 JDBC 连接到 Azure 数据资源管理器。

逻辑应用程序

Microsoft 逻辑应用连接器允许在计划或触发的任务中自动运行查询和命令。

Logstash

使用 Logstash 插件能够将 Logstash 中的事件处理到 Azure 数据资源管理器数据库中以供以后分析。

Matlab

MATLAB 是一个编程和数值计算平台，用于分析数据、开发算法和创建模型。 可以在 MATLAB 中获取授权令牌，后者用于在 Azure 数据资源管理器中查询数据。

NLog

NLog 是一个灵活且免费的日志记录平台，适用于 .NET Standard 等各种 .NET 平台。 借助 NLog，可以写入多个目标，例如数据库、文件或控制台。 使用 NLog，可以即时更改日志记录配置。 NLog 接收器是 NLog 的目标，可用于将日志消息发送到数据库。 该插件提供了将日志接收到群集的有效方法。

ODBC

开放式数据库连接 (ODBC) 是一种广泛接受的应用程序编程接口 (API)，适用于数据库访问。 Azure 数据资源管理器与一部分 SQL Server 通信协议 (MS-TDS) 的兼容。 这种兼容性支持将适用于 SQL Server 的 ODBC 驱动程序与 Azure 数据资源管理器结合使用。

Open Telemetry

OpenTelemetry 连接器支持将多个接收器的数据引入数据库。 它可以根据你的需求自定义导出数据的格式，以此充当将 Open Telemetry 生成的数据引入数据库的桥梁。

Serilog

Serilog 是适用于 .NET 应用程序的常用日志记录框架。 开发人员可以使用 Serilog 来根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出哪些日志语句。 Serilog 接收器也称为追加器，可将你的日志数据流式传输到数据库，你可以在其中对日志进行实时分析和可视化。

Splunk

Splunk Enterprise 是一个软件平台，可用于同时从多个源引入数据。Azure 数据资源管理器加载项将数据从 Splunk 发送到群集中的表。

Splunk 通用转发器

Telegraf

Telegraf 是一种开源、轻型、内存占用极小的代理，用于收集、处理和写入遥测数据，包括日志、指标和 IoT 数据。 Telegraf 支持数百个输入和输出插件。 它得到了开源社区的广泛使用和大力支持。 输出插件充当 Telegraf 的连接器，并支持从许多类型的输入插件将数据引入数据库。

相关内容