集成概述

下表汇总了可用连接器及其功能：

下表汇总了可用的工具和集成及其功能：

Apache Kafka 是一个分布式流式处理平台，可用于构建实时流式处理数据管道，在系统或应用程序之间可靠地移动数据。 Kafka Connect 是一个工具，用于在 Apache Kafka 和其他数据系统之间以可缩放且可靠的方式流式传输数据。 Kafka 接收器充当来自 Kafka 的连接器，并且不需要使用代码。 此连接器已通过 Confluent 金级认证 - 已经过质量、功能完整性、标准合规性和性能方面的综合审查和测试。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：日志、遥测、时序
• 基础 SDK：Java
• 存储库：Azure - https://github.com/Azure/kafka-sink-azure-kusto/
• 文档：从 Apache Kafka 引入数据
• 社区博客：从 Kafka 引入 Azure 数据资源管理器

Log4J 是适用于 Java 应用程序的流行日志记录框架，由 Apache 基金会维护。 开发人员可以使用 Log4j 根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出的日志语句。 Apache Log4J 2 接收器允许将日志数据流式传输到数据库，你可以在其中实时分析和可视化日志。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：日志
• 基础 SDK：Java
• 存储库：Azure - https://github.com/Azure/azure-kusto-log4j
• 文档：使用 Apache Log4J 2 连接器引入数据
• 社区博客：Apache Log4J 和 Azure 数据资源管理器入门

Apache Spark 是用于大规模数据处理的统一分析引擎。 Spark 连接器是可在任何 Spark 群集上运行的开源项目。 它实现数据源和数据接收器，以便将数据移出或移入 Spark 群集。 使用 Apache Spark 连接器，可以构建面向数据驱动场景的可缩放快速应用程序。 例如，机器学习 (ML)、提取-转换-加载 (ETL) 和 Log Analytics。 有了此连接器，数据库变成了标准 Spark 源和接收器操作（例如 read、write 和 writeStream）的有效数据存储。

• 功能：引入、导出
• 支持的引入类型：批处理、流式处理
• 用例：遥测
• 基础 SDK：Java
• 存储库：Azure - https://github.com/Azure/azure-kusto-spark/
• 文档：Apache Spark 连接器
• 社区博客：使用 Apache Spark 对 Azure 数据资源管理器进行数据预处理

Azure Cosmos DB 更改源数据连接是一个引入管道，用于侦听 Cosmos DB 更改源并将数据引入到数据库中。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：更改源
• 文档：从 Azure Cosmos DB 引入数据（预览版）

Azure 数据工厂 (ADF) 是基于云的数据集成服务，可用于集成不同的数据存储，以及对数据执行活动。

• 功能：引入、导出
• 支持的引入类型：批处理
• 用例：数据业务流程
• 文档：使用 Azure 数据工厂将数据复制到数据库

事件网格引入是用于侦听 Azure 存储并在订阅事件发生时更新数据库以提取信息的管道。 可以通过 Azure 事件网格订阅配置从 Azure 存储（Blob 存储和 ADLSv2）连续引入，以用于生成“已创建 Blob”或“已重命名 Blob”通知，并通过 Azure 事件中心流式传输这些通知。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：事件处理
• 文档：事件网格数据连接

Azure 事件中心是大数据流式处理平台和事件引入服务。 可以配置从客户托管的事件中心持续引入。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 文档：Azure 事件中心数据连接

借助 Azure Functions，可以按计划或以响应某个事件的方式在云中运行无服务器代码。 使用 Azure Functions 的输入和输出绑定，可以将数据库集成到工作流中，以引入数据并针对数据库运行查询。

• 功能：引入、导出
• 支持的引入类型：批处理
• 用例：工作流集成
• 文档：使用输入和输出绑定集成 Azure Functions（预览版）
• 社区博客：Azure Functions 的 Azure 数据资源管理器 (Kusto) 绑定

Azure IoT 中心是一项托管服务，承载在云中，充当中央消息中心，用于 IoT 应用程序与其管理的设备之间的双向通信。 可以使用与事件中心兼容的设备到云消息内置终结点配置从客户管理的 IoT 中心持续引入。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：IoT 数据
• 文档：IoT 中心数据连接

Cribl Stream 是一个处理引擎，可安全地从任何源收集、处理和流式传输计算机事件数据。 它让你可以分析并处理任何目标的数据以进行分析。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例： 计算机数据处理，包括日志、指标、检测数据
• 文档：将数据从 Cribl Stream 引入 Azure 数据资源管理器

Fluent Bit 是一种开源代理，用于从各种源收集日志、指标和跟踪。 它让你可以在将事件数据发送到存储之前对事件数据进行筛选、修改和聚合。

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志、指标、跟踪
• 存储库：fluent-bit Kusto 输出插件
• 文档：使用 Fluent Bit 将数据引入 Azure 数据资源管理器
• 社区博客：Fluent bit 和 Azure 数据资源管理器入门

Java 数据库连接 (JDBC) 是用于连接数据库和执行查询的 Java API。 你可以使用 JDBC 连接到 Azure 数据资源管理器。

• 功能：查询、可视化
• 基础 SDK：Java
• 文档：使用 JDBC 连接到 Azure 数据资源管理器

Microsoft 逻辑应用连接器允许在计划或触发的任务中自动运行查询和命令。

• 功能：引入、导出
• 支持的引入类型：批处理
• 用例：数据业务流程
• 文档：Microsoft 逻辑应用和 Azure 数据资源管理器

使用 Logstash 插件能够将 Logstash 中的事件处理到 Azure 数据资源管理器数据库中以供以后分析。

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志
• 基础 SDK：Java
• 存储库：Azure - https://github.com/Azure/logstash-output-kusto/
• 文档：从 Logstash 引入数据
• 社区博客：如何从 Elasticsearch 迁移到 Azure 数据资源管理器

MATLAB 是一个编程和数值计算平台，用于分析数据、开发算法和创建模型。 可以在 MATLAB 中获取授权令牌，后者用于在 Azure 数据资源管理器中查询数据。

• 功能：查询
• 文档：使用 MATLAB 查询数据

NLog 是一个灵活且免费的日志记录平台，适用于 .NET Standard 等各种 .NET 平台。 借助 NLog，可以写入多个目标，例如数据库、文件或控制台。 使用 NLog，可以即时更改日志记录配置。 NLog 接收器是 NLog 的目标，可用于将日志消息发送到数据库。 该插件提供了将日志接收到群集的有效方法。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：遥测、日志、指标
• 基础 SDK：.NET
• 存储库：Azure - https://github.com/Azure/azure-kusto-nlog-sink
• 文档：使用 NLog 接收器引入数据
• 社区博客：NLog 接收器和 Azure 数据资源管理器入门

开放式数据库连接 (ODBC) 是一种广泛接受的应用程序编程接口 (API)，适用于数据库访问。 Azure 数据资源管理器与一部分 SQL Server 通信协议 (MS-TDS) 的兼容。 这种兼容性支持将适用于 SQL Server 的 ODBC 驱动程序与 Azure 数据资源管理器结合使用。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：遥测、日志、指标
• 文档：使用 ODBC 连接到 Azure 数据资源管理器

OpenTelemetry 连接器支持将多个接收器的数据引入数据库。 它可以根据你的需求自定义导出数据的格式，以此充当将 Open Telemetry 生成的数据引入数据库的桥梁。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：跟踪、指标、日志
• 基础 SDK：Go
• 存储库：Open Telemetry - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
• 文档：从 OpenTelemetry 引入数据
• 社区博客：Open Telemetry 和 Azure 数据资源管理器入门

Serilog 是适用于 .NET 应用程序的常用日志记录框架。 开发人员可以使用 Serilog 来根据记录器的名称、记录器级别和消息模式以任意粒度控制要输出哪些日志语句。 Serilog 接收器也称为追加器，可将你的日志数据流式传输到数据库，你可以在其中对日志进行实时分析和可视化。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：日志
• 基础 SDK：.NET
• 存储库：Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
• 文档：使用 Serilog 接收器引入数据
• 社区博客：Serilog 接收器和 Azure 数据资源管理器入门

Splunk Enterprise 是一个软件平台，可用于同时从多个源引入数据。Azure 数据资源管理器加载项将数据从 Splunk 发送到群集中的表。

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志
• 基础 SDK：Python
• 存储库：Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
• 文档：从 Splunk 引入数据
• Splunk Base：适用于 Splunk 的 Azure 数据资源管理器加载项
• 社区博客：适用于 Splunk 的 Azure 数据资源管理器加载项入门

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志
• 存储库：Azure - https://github.com/Azure/azure-kusto-splunk
• 文档：将数据从 Splunk 通用转发器引入 Azure 数据资源管理器
• 社区博客：使用 Splunk 通用转发器将数据引入 Azure 数据资源管理器

Telegraf 是一种开源、轻型、内存占用极小的代理，用于收集、处理和写入遥测数据，包括日志、指标和 IoT 数据。 Telegraf 支持数百个输入和输出插件。 它得到了开源社区的广泛使用和大力支持。 输出插件充当 Telegraf 的连接器，并支持从许多类型的输入插件将数据引入数据库。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：遥测、日志、指标
• 基础 SDK：Go
• 存储库：InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
• 文档：从 Telegraf 引入数据
• 社区博客：Telegraf 的新 Azure 数据资源管理器输出插件可以实现大规模 SQL 监视

可通过 Azure CLI 管理 Kusto 资源。

• 功能：管理
• 文档：az kusto

Azure 数据资源管理器与 Azure Blob 存储和 Azure Data Lake Storage（Gen1 和 Gen2）集成，提供对存储在外部存储中的数据的快速、缓存和索引访问。

• 功能：查询
• 文档：使用 Azure 数据资源管理器查询 Azure Data Lake 中的数据

使用 Azure Data Studio 的 Kusto (KQL) 扩展，你可以连接到 Azure 数据资源管理器群集并进行查询。 用户可以使用包含 IntelliSense 的 Kusto 内核，编写并运行 KQL 查询，以及创作笔记本

• 功能：查询
• 文档：Kusto 扩展概述，使用 Kusto 和使用 Kqlmagic

Azure 数据资源管理器支持在 Azure 数据资源管理器、Application Insights (AI) 和 Log Analytics (LA)之间跨服务查询。 你可使用 Azure 数据资源管理器查询工具和在跨服务查询中查询 Log Analytics 或 Application Insights 工作区。

• 功能：查询
• 文档：Azure Monitor

Kqlmagic 是一种命令，可在 Azure Data Studio 笔记本中扩展 Python 内核的功能。 可以组合使用 Python 和 Kusto 查询语言 (KQL)，以通过与 render 命令集成的丰富 Plotly 库查询和可视化数据。 Kqlmagic 使你可以在同一个位置获得笔记本、数据分析和丰富 Python 功能的优势。 具有 Kqlmagic 的受支持数据源包括 Azure 数据资源管理器、Application Insights、Azure Monitor 日志。

• 功能：查询、可视化
• 文档：Azure Notebooks

Delta Kusto 是一个命令行接口 (CLI)，它使用 Azure 数据资源管理器数据库中的 Kusto 对象（例如表、函数、策略、安全角色）来实现持续集成/持续部署 (CI/CD) 自动化。 它可以处理单个数据库、多个数据库或整个群集。 Delta Kusto 还支持多租户方案。

• 功能：源代码管理
• 文档：Delta Kusto

Jupyter Notebook 是一个开源的 Web 应用程序，可用于创建和共享包含实时代码、公式、可视化效果和叙述性文本的文档。 它可用于各种任务，例如数据清理和转换、数值模拟、统计建模、数据可视化和机器学习。

Kqlmagic 扩展了 Jupyter Notebook 中的 Python 内核功能，因此你可以本机运行 Kusto 查询语言 (KQL) 查询。 可以使用与 render 运算符集成的丰富 Plot.ly 库来组合 Python 和 KQL 以查询和可视化数据。 kqlmagic 扩展与 Jupyter Lab、Visual Studio Code Jupyter 扩展和 Azure Data Studio 兼容，支持的数据源包括 Azure 数据资源管理器、Azure Monitor 日志和 Application Insights。

• 功能：查询、可视化
• 文档：Jupyter Notebooks
• 社区博客：使用适用于 Jupyter Notebook 的 KQL magic 在 Azure 数据资源管理器中分析数据

开放源代码存储库包含 C# 分析程序和语义分析器，以及用于在 JavaScript 中生成相同库的翻译项目。

• 功能：语言分析
• 文档：Kusto 查询语言分析程序

Kusto.Explorer 是一款免费软件，可在 Windows 桌面上下载和使用。 借助 Kusto.Explorer，可以在用户友好的界面中使用 Kusto 查询语言 (KQL) 查询和分析数据。

• 功能：查询、可视化
• 文档：安装和用户界面、使用 Kusto.Explorer
  • 其他文章包括选项、故障排除、键盘快捷方式、代码功能

Kusto.Cli 是一个命令行实用工具，用于在 Kusto 群集上发送查询和控制命令。

• 功能：查询
• 文档：Kusto CLI

Lightingest 是用于将临时数据引入 Azure 数据资源管理器的命令行实用工具。

• 功能：引入
• 支持的引入类型：批处理
• 用例：历史数据加载
• 存储库：LightIngest
• 文档：使用 LightIngest 引入数据

Microsoft Purview 通过提供统一的服务来管理来自各种源的数据，简化了数据治理。

• 功能：治理
• 文档：将 Azure 数据资源管理器与 Microsoft Purview 集成

可以在应用中集成Monaco 编辑器与 Kusto 查询语言支持 (monaco-kusto)。 将 monaco-kusto 集成到应用中可以提供编辑体验，例如完成、着色、重构、重命名和“转到定义”

• 功能：查询
• 存储库：Monaco 编辑器
• 文档：Monaco 编辑器的 Kusto 查询语言设置和使用 - 一种 Kusto 查询语言编辑器，可以嵌入基于 Web 和 electron 的应用程序中。
  • Kusto 查询语言插件 - 访问 Kusto 查询语言编辑器插件。
  • 嵌入 Azure 数据资源管理器 Web UI - 可以在 iframe 中嵌入 Azure 数据资源管理器 Web UI，并将其托管在第三方网站中。

PowerShell 脚本可以使用 Kusto 客户端库，因为 PowerShell 原本就已与 .NET 库集成。

• 功能：查询
• 文档：使用 PowerShell 提供的 Kusto .NET 客户端库

同步 Kusto 是一种工具，使用户能够同步各种 Kusto 架构实体，如表架构和存储的函数。 此同步在本地文件系统、Azure 数据资源管理器数据库和 Azure 存储库之间完成。

• 功能：源代码管理
• 存储库：SyncKusto
• 文档：同步 Kusto

Azure 数据资源管理器提供了一种 Web 体验，使你能够连接到 Azure 数据资源管理器群集并编写、运行和共享 Kusto 查询语言 (KQL) 命令和查询

• 功能：引入、导出、查询、可视化
• 支持的引入类型：批处理、流式处理
• 文档：Azure 数据资源管理器 Web UI、从文件获取数据