使用 Fluent Bit 将数据引入到 Azure 数据资源管理器

项目
09/09/2024

Fluent Bit 是一种开源代理，用于从各种源收集日志、指标和跟踪。使用它可以在将事件数据发送到存储之前对事件数据进行筛选、修改和聚合。 Azure 数据资源管理器是一项快速且高度可缩放的数据探索服务，适用于日志和遥测数据。本文指导你完成使用 Fluent Bit 将数据发送到 Azure 数据资源管理器的过程。

本文将指导如何进行以下操作：

创建一个表来存储日志
使用引入数据的权限注册 Microsoft Entra 应用
配置 Fluent Bit 以将日志发送到表
验证数据是否已驻留在表中

有关数据连接器的完整列表，请参阅数据连接器概述。

先决条件

Fluent Bit。
Azure 数据资源管理器群集和数据库。创建群集和数据库。

可以将任何可用的查询工具用于查询环境。

创建一个表来存储日志

Fluent Bit 以 JSON 格式将日志随以下三个属性转发：log (dynamic)、tag (string) 和 timestamp (datetime)。

可以创建一个表，其中包含上述每个属性的列。或者，如果你有结构化日志，则可以创建一个表，其中包含映射到自定义列的日志属性。若要了解详细信息，请选择相关选项卡。

默认架构
自定义架构

若要为来自 Fluent Bit 的传入日志创建表，请执行以下操作：

浏览至查询环境。
选择要在其中创建表的数据库。
运行以下 .create table 命令：
```
.create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
```
传入的 JSON 属性会自动映射到正确的列中。

若要为来自 Fluent Bit 的传入结构化日志创建表，请执行以下操作：

浏览至查询环境。
选择要在其中创建表的数据库。
运行 .create table 命令。例如，如果日志包含名为 myString、myInteger 和 myDynamic 的三个字段，则可以创建具有以下架构的表：
```
.create table FluentBitLogs (myString:string, myInteger:int, myDynamic: dynamic, timestamp:datetime)
```

创建 JSON 映射，以将日志属性映射到相应的列。以下命令基于上一步中的示例创建映射：

.create-or-alter table FluentBitLogs ingestion json mapping "LogMapping" 
    ```[
    {"column" : "myString", "datatype" : "string", "Properties":{"Path":"$.log.myString"}},
    {"column" : "myInteger", "datatype" : "int", "Properties":{"Path":"$.log.myInteger"}}, 
    {"column" : "myDynamic", "datatype" : "dynamic", "Properties":{"Path":"$.log.myInteger"}}, 
    {"column" : "timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}} 
    ]```

使用引入数据的权限注册 Microsoft Entra 应用

Microsoft Entra 服务主体可以通过 Azure 门户或通过编程方式进行创建，如以下示例所示。

此服务主体是连接器用于将数据写入到 Kusto 中的表的标识。你稍后将授予此服务主体访问 Kusto 资源所需的权限。

通过 Azure CLI 登录到你的 Azure 订阅。然后在浏览器中进行身份验证。
```
az login
```
选择要托管主体的订阅。当你有多个订阅时，此步骤是必需的。
```
az account set --subscription YOUR_SUBSCRIPTION_GUID
```

创建服务主体。在此示例中，服务主体名为 my-service-principal。

az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}

从返回的 JSON 数据中复制 appId、password、tenant 供将来使用。

{
  "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "displayName": "my-service-principal",
  "name": "my-service-principal",
  "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}

现已创建了 Microsoft Entra 应用程序和服务主体。

向服务主体授予权限

运行以下命令（请将 <MyDatabase> 替换为数据库的名称）：

.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')

此命令授予应用程序将数据引入到表的权限。有关详细信息，请参阅基于角色的访问控制。

配置 Fluent Bit 以将日志发送到表

若要配置 Fluent Bit 以将日志发送到 Azure 数据资源管理器表，请创建经典模式或 YAML 模式配置文件，其中包含以下输出属性：

字段	描述
Name	`azure_kusto`
匹配	一种模式，用于针对传入记录的标记进行匹配。它区分大小写，并且支持星号 (`*`) 字符作为通配符。
Tenant_Id	注册有权引入数据的 Microsoft Entra 应用中的目录（租户）ID。
Client_Id	注册有权引入数据的 Microsoft Entra 应用中的应用程序（客户端）ID。
Client_Secret	客户端密码值注册有权引入数据的 Microsoft Entra 应用。
Ingestion_Endpoint	使用在 Azure 门户中的群集概述下找到的“数据引入 URI”。
Database_Name	包含日志表的数据库的名称。
Table_Name	创建一个表来存储日志中表的名称。
Ingestion_Mapping_Reference	创建表中的引入映射的名称。如果未创建引入映射，请从配置文件中删除该属性。

若要查看示例配置文件，请选择相关选项卡：

经典模式
YAML 模式

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    Name azure_kusto
    Match *
    Tenant_Id azure-tenant-id
    Client_Id azure-client-id
    Client_Secret azure-client-secret
    Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    Database_Name azure-data-explorer-database-name
    Table_Name azure-data-explorer-table-name

config:
  service: |
    [SERVICE]
        Daemon Off
        Flush 1
        Log_Level trace
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port 2020
        Health_Check On
        
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 1MB
        Skip_Long_Lines On
        Refresh_Interval 10

  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Merge_Log_key log_processed
        K8S-Logging.Parser On
        K8S-Logging.Exclude Off


  outputs: |
    [OUTPUT]
        Name azure_kusto
    	Match *
    	Tenant_Id azure-tenant-id
    	Client_Id azure-client-id
    	Client_Secret azure-client-secret
    	Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    	Database_Name azure-data-explorer-database-name
    	Table_Name azure-data-explorer-table-name

验证数据是否已驻留在表中

配置完成后，日志应到达表。

若要验证是否已引入日志，请运行以下查询：
```
FluentBitLogs
| count
```
若要查看日志数据示例，请运行以下查询：
```
FluentBitLogs
| take 100
```

编写查询

通过