使用 Fluent Bit 将数据引入到 Azure 数据资源管理器
Fluent Bit 是一种开源代理,用于从各种源收集日志、指标和跟踪。 使用它可以在将事件数据发送到存储之前对事件数据进行筛选、修改和聚合。 Azure 数据资源管理器是一项快速且高度可缩放的数据探索服务,适用于日志和遥测数据。 本文指导你完成使用 Fluent Bit 将数据发送到 Azure 数据资源管理器的过程。
本文将指导如何进行以下操作:
有关数据连接器的完整列表,请参阅数据连接器概述。
先决条件
- Fluent Bit。
- Azure 数据资源管理器群集和数据库。 创建群集和数据库。
可以将任何可用的查询工具用于查询环境。
创建一个表来存储日志
Fluent Bit 以 JSON 格式将日志随以下三个属性转发:log
(dynamic)、tag
(string) 和 timestamp
(datetime)。
可以创建一个表,其中包含上述每个属性的列。 或者,如果你有结构化日志,则可以创建一个表,其中包含映射到自定义列的日志属性。 若要了解详细信息,请选择相关选项卡。
若要为来自 Fluent Bit 的传入日志创建表,请执行以下操作:
浏览至查询环境。
选择要在其中创建表的数据库。
运行以下
.create table
命令:.create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
传入的 JSON 属性会自动映射到正确的列中。
使用引入数据的权限注册 Microsoft Entra 应用
Microsoft Entra 服务主体可以通过 Azure 门户或通过编程方式进行创建,如以下示例所示。
此服务主体是连接器用于将数据写入到 Kusto 中的表的标识。 你稍后将授予此服务主体访问 Kusto 资源所需的权限。
通过 Azure CLI 登录到你的 Azure 订阅。 然后在浏览器中进行身份验证。
az login
选择要托管主体的订阅。 当你有多个订阅时,此步骤是必需的。
az account set --subscription YOUR_SUBSCRIPTION_GUID
创建服务主体。 在此示例中,服务主体名为
my-service-principal
。az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
从返回的 JSON 数据中复制
appId
、password
、tenant
供将来使用。{ "appId": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn", "displayName": "my-service-principal", "name": "my-service-principal", "password": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn", "tenant": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn" }
现已创建了 Microsoft Entra 应用程序和服务主体。
向服务主体授予权限
运行以下命令(请将 <MyDatabase>
替换为数据库的名称):
.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')
此命令授予应用程序将数据引入到表的权限。 有关详细信息,请参阅基于角色的访问控制。
配置 Fluent Bit 以将日志发送到表
若要配置 Fluent Bit 以将日志发送到 Azure 数据资源管理器表,请创建经典模式或 YAML 模式配置文件,其中包含以下输出属性:
字段 | 描述 |
---|---|
Name | azure_kusto |
匹配 | 一种模式,用于针对传入记录的标记进行匹配。 它区分大小写,并且支持星号 (* ) 字符作为通配符。 |
Tenant_Id | 注册有权引入数据的 Microsoft Entra 应用中的目录(租户)ID。 |
Client_Id | 注册有权引入数据的 Microsoft Entra 应用中的应用程序(客户端)ID。 |
Client_Secret | 客户端密码值注册有权引入数据的 Microsoft Entra 应用。 |
Ingestion_Endpoint | 使用在 Azure 门户中的群集概述下找到的“数据引入 URI”。 |
Database_Name | 包含日志表的数据库的名称。 |
Table_Name | 创建一个表来存储日志中表的名称。 |
Ingestion_Mapping_Reference | 创建表中的引入映射的名称。 如果未创建引入映射,请从配置文件中删除该属性。 |
若要查看示例配置文件,请选择相关选项卡:
[SERVICE]
Daemon Off
Flush 1
Log_Level trace
HTTP_Server On
HTTP_Listen 0.0.0.0
HTTP_Port 2020
Health_Check On
[INPUT]
Name tail
Path /var/log/containers/*.log
Tag kube.*
Mem_Buf_Limit 1MB
Skip_Long_Lines On
Refresh_Interval 10
[OUTPUT]
Name azure_kusto
Match *
Tenant_Id azure-tenant-id
Client_Id azure-client-id
Client_Secret azure-client-secret
Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
Database_Name azure-data-explorer-database-name
Table_Name azure-data-explorer-table-name
验证数据是否已驻留在表中
配置完成后,日志应到达表。
若要验证是否已引入日志,请运行以下查询:
FluentBitLogs | count
若要查看日志数据示例,请运行以下查询:
FluentBitLogs | take 100