集成概述

下表汇总了可用连接器及其功能：

下表汇总了可用的工具和集成及其功能：

Apache Kafka

Apache Kafka是一个分布式流式处理平台，用于构建实时流数据管道，以便可靠地在系统或应用程序之间传输数据。 Kafka Connect 是一个工具，用于在 Apache Kafka 和其他数据系统之间以可缩放且可靠的方式流式传输数据。 Kafka Sink 充当来自 Kafka 的连接器，无需编写代码。 此连接器是 Confluent 认证的金牌，这意味着它通过全面审查和测试质量、功能完整性、符合标准和性能。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：日志、遥测、时序
• Underlying SDK：Java
• Repository： Azure - https://github.com/Azure/kafka-sink-azure-kusto/
• 文档：从 Apache Kafka 引入数据
• Community Blog：Kafka 引入到 Azure Data Explorer

Apache Log4J 2

Log4J 是适用于 Java 应用程序的流行日志记录框架，由 Apache 基金会维护。 Log4j 开发人员可以根据记录器的名称、记录器级别和消息模式，以任意粒度控制哪些日志语句输出。 通过使用 Apache Log4J 2 接收器，可以将日志数据流式传输到数据库，可以在其中实时分析和可视化日志。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：日志
• Underlying SDK：Java
• Repository： Azure - https://github.com/Azure/azure-kusto-log4j
• 文档：使用 Apache Log4J 2 连接器引入数据
• Community Blog：入门 Apache Log4J 和 Azure Data Explorer

Apache Spark

Apache Spark 是用于大规模数据处理的统一分析引擎。 Spark 连接器是可在任何 Spark 群集上运行的open source project。 它实现数据源和数据接收器，以便将数据移出或移入 Spark 群集。 通过使用 Apache Spark 连接器，可以构建面向数据驱动方案的快速且可缩放的应用程序。 例如，机器学习（ML）、提取-转换-加载（ETL）和日志分析。 通过使用连接器，您的数据库将成为一种有效的数据存储，用于标准 Spark 源和汇操作，例如读取、写入和 writeStream。

• 功能：引入、导出
• 支持的引入类型：批处理、流式处理
• 用例：遥测
• Underlying SDK：Java
• Repository： Azure - https://github.com/Azure/azure-kusto-spark/
• 文档：Apache Spark 连接器
• Community Blog：使用Apache Spark对Azure数据资源管理器进行数据预处理

Azure Cosmos DB

Azure Cosmos DB 是一个引入管道，用于侦听 Cosmos DB 更改馈送并将数据引入数据库。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：变更日志
• Documentation：从 Azure Cosmos DB 导入数据（预览版）

Azure Data Factory

Azure Data Factory（ADF）是基于云的数据集成服务，可用于集成不同的数据存储并对数据执行活动。

• 功能：引入、导出
• 支持的引入类型：批处理
• 用例：数据编排
• Documentation：通过使用 Azure Data Factory 将数据复制到您的数据库

Azure Event Grid

事件网格数据传输是一个管道，它侦听 Azure 存储，并在订阅事件发生时更新您的数据库以获取信息。 可以通过使用 Azure Event Grid 订阅获取 blob 被创建或重命名的通知，从而配置对 Azure 存储（Blob storage 和 ADLSv2）的持续引入，并通过 Azure Event Hubs 流式传输这些通知。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：事件处理
• 文档：事件网格数据连接

Azure Event Hubs

Azure Event Hubs是大数据流式处理平台和事件引入服务。 您可以配置从客户管理的事件中心持续引入。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• Documentation：Azure Event Hubs数据连接

Azure Functions

Azure Functions允许按计划或在响应事件时在云中运行无服务器代码。 通过使用Azure Functions的输入和输出绑定，可以将数据库集成到工作流中，以引入数据并针对数据库运行查询。

• 功能：引入、导出
• 支持的引入类型：批处理
• 用例：工作流集成
• 文档：使用输入和输出绑定集成 Azure Functions（预览）
• Community Blog：Azure Data Explorer（Kusto）与Azure Functions的绑定

Azure IoT中心

Azure IoT Hub是托管在云中的托管服务，充当 IoT 应用程序与所管理设备之间的双向通信的中心消息中心。 可以配置从客户管理的 IoT 中心持续引入，使用其与事件中心兼容的设备到云消息内置终结点。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：IoT 数据
• Documentation：IoT Hub数据连接

Azure监视器

Azure Monitor 代理可以使用数据收集规则将以下虚拟机数据发送到Azure Data Explorer：

• 性能计数器
• IIS 日志
• Windows 事件日志
• Linux 系统日志
• 自定义文本日志
• 自定义 JSON 日志

Cribl流

Cribl Stream 是一个处理引擎，可安全地从任何源收集、处理和流式传输计算机事件数据。 它允许你解析并处理这些数据，以用于任何目的的分析。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例： 计算机数据处理，包括日志、指标、检测数据
• Documentation：将数据从Cribl Stream导入到 Azure Data Explorer

Fluent Bit

Fluent Bit 是一种开源代理，用于从各种源收集日志、指标和跟踪。 它允许在将事件数据发送到storage之前对其进行筛选、修改和聚合。

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志、指标、跟踪
• Repository：fluent-bit Kusto Output Plugin
• Documentation：使用 Fluent Bit 将数据引入 Azure Data Explorer
• Community Blog：Getting started with Fluent bit and Azure Data Explorer

JDBC

Java 数据库连接 (JDBC) 是用于连接数据库和执行查询的 Java API。 可以使用 JDBC 连接到Azure Data Explorer。

• 功能：查询、可视化
• Underlying SDK：Java
• Documentation：使用 JDBC 连接到 Azure Data Explorer

Logic Apps

通过使用 Microsoft 逻辑应用连接器，可以在计划或触发的任务中自动运行查询和命令。

• 功能：引入、导出
• 支持的引入类型：批处理
• 用例：数据编排
• Documentation：Microsoft逻辑应用和Azure Data Explorer

Logstash

Logstash 插件使你能够将 Logstash 中的事件处理到 Azure Data Explorer 数据库中以供以后分析。

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志
• Underlying SDK：Java
• Repository： Azure - https://github.com/Azure/logstash-output-kusto/
• 文档：从 Logstash 引入数据
• Community Blog：如何从 Elasticsearch 迁移到 Azure Data Explorer

Matlab

MATLAB 是一个编程和数值计算平台，用于分析数据、开发算法和创建模型。 可以在 MATLAB 中获取授权令牌，以便在 Azure Data Explorer 中查询数据。

• 功能：查询
• 文档：使用 MATLAB 查询数据

NLog

NLog 是各种.NET平台（包括.NET标准）的灵活免费日志记录平台。 借助 NLog，可以写入多个目标，例如数据库、文件或控制台。 通过使用 NLog，可以实时更改日志记录配置。 NLog 接收器是 NLog 的目标，可用于将日志消息发送到数据库。 该插件提供了将日志高效传送到集群的方法。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：遥测、日志、指标
• Underlying SDK：.NET
• Repository： Azure - https://github.com/Azure/azure-kusto-nlog-sink
• 文档：使用 NLog 数据接收器导入数据
• Community Blog：从 nLog 接收器和 Azure Data Explorer 入门

ODBC

Open Database Connectivity（ODBC）是被广泛接受的用于数据库访问的应用程序编程接口（API）。 Azure Data Explorer与SQL Server通信协议（MS-TDS）子集兼容。 此兼容性允许将 ODBC 驱动程序用于SQL Server和Azure Data Explorer。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：遥测、日志、指标
• Documentation：通过 ODBC 连接到 Azure 数据资源管理器

开放遥测

OpenTelemetry 连接器支持将多个接收器的数据引入数据库。 它可以根据你的需求自定义导出数据的格式，以此充当将 Open Telemetry 生成的数据引入数据库的桥梁。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：跟踪、指标、日志
• Underlying SDK：Go
• 存储库： Open Telemetry - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
• 文档：从 OpenTelemetry 引入数据
• Community Blog：Getting started with Open Telemetry and Azure Data Explorer

Serilog

Serilog 是.NET应用程序的常用日志记录框架。 通过使用 Serilog，开发人员可以根据记录器的名称、记录器级别和消息模式，以任意粒度控制哪些日志语句输出。 Serilog 接收器也称为追加器，可将你的日志数据流式传输到数据库，你可以在其中对日志进行实时分析和可视化。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：日志
• 底层SDK：.NET
• Repository： Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
• 文档：使用 Serilog 接收器引入数据
• 社区博客：入门指南：Serilog sink 和 Azure Data Explorer

Splunk

Splunk Enterprise 是一个软件平台，可用于同时从多个源引入数据。 Azure Data Explorer加载项将数据从 Splunk 发送到群集中的表。

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志
• Underlying SDK：Python
• Repository： Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
• 文档：从 Splunk 引入数据
• Splunk Base：适用于 Splunk 的 Azure Data Explorer 插件
• Community Blog：Azure Data Explorer 插件在 Splunk 的入门指南

Splunk 通用转发器

• 功能：引入
• 支持的引入类型：批处理
• 用例：日志
• Repository： Azure - https://github.com/Azure/azure-kusto-splunk
• Documentation：将数据从 Splunk 通用转发器引入到 Azure Data Explorer
• Community Blog：使用 Splunk 通用转发器将数据引入 Azure Data Explorer

Telegraf

Telegraf 是一个open source轻型代理，内存占用最少，用于收集、处理和写入遥测数据，包括日志、指标和 IoT 数据。 Telegraf 支持数百个输入和输出插件。 它得到了open source社区的广泛使用和支持。 输出插件充当 Telegraf 的连接器，并支持从许多类型的输入插件将数据引入数据库。

• 功能：引入
• 支持的引入类型：批处理、流式处理
• 用例：遥测、日志、指标
• Underlying SDK：Go
• Repository： InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
• 文档：从 Telegraf 引入数据
• Community Blog：全新 Azure Data Explorer 输出插件为 Telegraf 提供大规模 SQL 监控支持

Azure CLI

Azure CLI允许管理 Kusto 资源。

• 功能：管理
• Documentation：az kusto

Azure Data Lake

Azure Data Explorer与 Azure Blob Storage 和 Azure Data Lake Storage（Gen1 和 Gen2）集成，为存储在外部存储中的数据提供快速、缓存和索引的访问。

• 功能：查询
• Documentation：在 Azure Data Lake 中使用 Azure Data Explorer 查询数据

Azure监视器

Azure Data Explorer支持 Azure Data Explorer、Application Insights （AI） 和 Log Analytics （LA）。 可以使用 Azure Data Explorer 查询工具或跨服务查询来查询 Log Analytics 或 Application Insights 工作区。

• 功能：查询
• Documentation：Azure Monitor

Azure笔记本

Kqlmagic 是一个命令，用于扩展 Azure Data Studio 笔记本中 Python 内核的功能。 可以使用与呈现命令集成的丰富 Plotly 库来合并 Python 和 Kusto 查询语言（KQL）来查询和可视化数据。 Kqlmagic 使你可以在同一个位置获得笔记本、数据分析和丰富 Python 功能的优势。 Kqlmagic 支持的数据源包括 Azure Data Explorer、Application Insights 和 Azure Monitor 日志。

• 功能：查询、可视化
• Documentation：Azure Notebooks

DeltaKusto

Delta Kusto 是一个命令行接口（CLI），它支持在 Azure Data Explorer 数据库中使用 Kusto 对象（例如表、函数、策略和安全角色）实现持续集成和持续部署（CI/CD）自动化。 它可以处理单个数据库、多个数据库或整个群集。 Delta Kusto 还支持多租户方案。

• 功能：源代码管理
• Documentation：Delta Kusto

Jupyter Notebook

Jupyter Notebook是一个开源 Web 应用程序，可用于创建和共享包含实时代码、公式、可视化效果和叙述文本的文档。 它适用于各种任务，例如数据清理和转换、数值模拟、统计建模、数据可视化和machine learning。

Kqlmagic在 Jupyter Notebook 中扩展 Python 内核的功能，用于本地运行 Kusto 查询语言（KQL） 查询。 你可以结合使用 Python 和 KQL，并利用与 render 运算符集成的丰富的 Plot.ly 库来查询和可视化数据。 kqlmagic 扩展与 Jupyter Lab、Visual Studio Code Jupyter 扩展和 Azure Data Studio 兼容。 支持的数据源包括Azure Data Explorer、Azure监视日志和 Application Insights。

• 功能：查询、可视化
• 文档：使用 Kqlmagic 的笔记本
• Community Blog：使用 KQL magic for Jupyter Notebook 分析 Azure Data Explorer 中的数据

KQL 分析程序

开源存储库包含 C# 解析器和语义分析器，以及在 JavaScript 中生成相同库的翻译项目。

• 功能：语言分析
• Documentation：Kusto 查询语言分析器

Kusto.Explorer

Kusto。 资源管理器是可在 Windows 桌面上下载和使用的免费软件。 Kusto。 使用 Explorer，您可以在用户友好的界面中使用 Kusto 查询语言（KQL）来查询和分析您的数据。

• 功能：查询、可视化
• Documentation：安装和用户界面，使用 Kusto.Explorer
  • 其他文章包括 选项、故障排除、键盘快捷键、代码功能

Kusto CLI

Kusto.Cli 是一个命令行实用工具，用于在 Kusto 群集上发送查询和控制命令。

• 功能：查询
• 文档：Kusto CLI

LightIngest

LightIngest 是一个命令行实用工具，用于将临时数据引入到 Azure Data Explorer。

• 功能：引入
• 支持的引入类型：批处理
• 用例：历史数据加载
• Repository：LightIngest
• 文档：使用 LightIngest 引入数据

Microsoft Purview

Microsoft Purview提供统一服务来管理来自各种源的数据，从而简化了数据管理。

• 功能：治理
• Documentation：将 Azure Data Explorer 集成到 Microsoft Purview

Monaco 编辑器（插件/嵌入）

可以将 Monaco 编辑器与 Kusto 查询语言支持（monaco-kusto）集成到应用中。 将 monaco-kusto 集成到你的应用中，可以提供诸如自动完成、语法着色、重构、重命名和转到定义等编辑功能。

• 功能：查询
• Repository：Monaco Editor
• Documentation：为摩纳哥编辑器设置和使用 Kusto 查询语言 - Kusto 查询语言编辑器可以嵌入到基于 Web 和 Electron 的应用程序中。
  • Kusto 查询语言插件 - 访问 Kusto 查询语言插件编辑器。
  • 嵌入Azure Data Explorer Web UI - Azure Data Explorer Web UI 可以嵌入到 iframe 中，并托管在第三方网站中。

PowerShell

PowerShell 脚本可以使用 Kusto 客户端库，因为 PowerShell 本质上与.NET库集成。

• 功能：查询
• Documentation：从 PowerShell 使用 Kusto .NET 客户端库

SyncKusto

同步 Kusto 是一种工具，使用户能够同步各种 Kusto 架构实体，如表架构和存储的函数。 在本地文件系统、Azure Data Explorer数据库和Azure Repos之间完成此同步。

• 功能：源代码管理
• Repository：SyncKusto
• 文档：Sync Kusto

网页用户界面

Azure Data Explorer提供了一种 Web 体验，使你能够连接到Azure Data Explorer群集并编写、运行和共享 Kusto 查询语言（KQL）命令和查询

• 功能：引入、导出、查询、可视化
• 支持的引入类型：批处理、流式处理
• 文档：Azure Data Explorer 网络 UI，从文件中获取数据