使用 Azure Monitor 代理从 JSON 文件收集日志

自定义 JSON 日志是数据收集规则 (DCR) 中使用的数据源之一。 有关创建 DCR 的详细信息，请参阅使用 Azure Monitor 代理收集数据。 本文提供有关文本和 JSON 日志类型的其他详细信息。

许多应用程序和服务将信息记录到 JSON 文件，而不是标准日志记录服务（例如 Windows 事件日志或 Syslog）。 可以使用 Azure Monitor 代理收集此数据，并将其存储在 Log Analytics 工作区中，其中包含从其他源收集的数据。

• Log Analytics 工作区，你在其中至少拥有参与者权限。
• 与 Log Analytics 工作区位于同一区域的数据收集终结点 (DCE)。 有关详细信息，请参阅如何根据部署设置数据收集终结点。
• 使用 Azure Monitor 代理收集数据中描述的新 DCR 或现有 DCR。

下图显示了从 json 文件收集日志数据的基本操作。

1. 该代理监视与本地磁盘上的指定名称模式匹配的任何日志文件。
2. 将收集日志中的每个条目并将其发送到 Azure Monitor。 用户定义的传入流用于将日志数据解析为列。
3. 如果传入流的架构与目标表的架构匹配，则使用默认转换。

Azure Monitor 代理所监视的文件必须满足以下要求：

• 文件必须存储在运行 Azure Monitor 代理的计算机本地驱动器上所监视的目录中。
• 每条记录都必须具有行尾符。
• 文件必须使用 ASCII 或 UTF-8 编码。 不支持其他格式，如 UTF-16。
• 新记录应附加到文件末尾，而不是覆盖旧记录。 覆盖将导致数据丢失。
• JSON 文本必须包含在一行中。 不支持 JSON 正文格式。 请查看以下示例。

遵循以下建议，确保不会遇到数据丢失或性能问题：

• 每天创建一个新的日志文件，以便可以轻松清理旧文件。
• 持续清理受监视目录中的日志文件。 跟踪过多日志文件可能会提高代理 CPU 和内存使用率。 请至少等待 2 天，以便有足够的时间处理所有日志。
• 请勿将与文件扫描模式匹配的文件重命名为同样与文件扫描模式匹配的其他名称。 这将导致引入重复数据。
• 请勿重命名与文件扫描模式匹配的大型日志文件或将其复制到受监视的目录。 如果必须这样做，则每分钟不得超过 50MB。

在从 JSON 文件收集日志数据之前，必须在 Log Analytics 工作区中创建一个自定义表来接收数据。 表架构必须与传入流中的列匹配，或者必须添加转换，以确保输出架构与表匹配。

例如，可以使用以下 PowerShell 脚本来创建包含多个列的自定义表。

$tableParams = @'
{
    "properties": {
        "schema": {
               "name": "{TableName}_CL",
               "columns": [
                    {
                        "name": "TimeGenerated",
                        "type": "DateTime"
                    }, 
                    {
                        "name": "MyStringColumn",
                        "type": "string"
                    },
                    {
                        "name": "MyIntegerColumn",
                        "type": "int"
                    },
                    {
                        "name": "MyRealColumn",
                        "type": "real"
                    },
                    {
                        "name": "MyBooleanColumn",
                        "type": "bool"
                    },
                    {
                        "name": "FilePath",
                        "type": "string"
                    },
                    {
                        "name": "Computer",
                        "type": "string"
                    }
              ]
        }
    }
}
'@

Invoke-AzRestMethod -Path "/subscriptions/{subscription}/resourcegroups/{resourcegroup}/providers/microsoft.operationalinsights/workspaces/{WorkspaceName}/tables/{TableName}_CL?api-version=2021-12-01-preview" -Method PUT -payload $tableParams

JSON 文件包含每个值的属性名称，并且 DCR 中的传入流需要包含与每个属性名称匹配的列。 需要使用日志中的列修改 ARM 模板的 columns 部分。

下表介绍了除了定义日志文件中的数据的列之外，还可以包括的可选列。

转换可能会修改传入流以筛选记录，或修改架构以匹配目标表。 如果传入流的架构与目标表的相同，则可以使用 source 的默认转换。 否则，请使用返回所需架构的 KQL 查询修改 ARM 模板的 transformKql 部分。

使用以下 ARM 模板创建用于收集 JSON 日志文件的 DCR，并做出前面部分中所述的更改。 下表描述了在部署模板时需要值的参数。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
                "description": "Unique name for the DCR."
            }
        },
        "dataCollectionEndpointResourceId": {
            "type": "string",
            "metadata": {
              "description": "Resource ID of the data collection endpoint (DCE)."
            }
        },
        "location": {
            "type": "string",
            "metadata": {
                "description": "Region for the DCR. Must be the same location as the Log Analytics workspace."
            }
        },
        "filePatterns": {
            "type": "string",
            "metadata": {
                "description": "Path on the local disk for the log file to collect. May include wildcards.Enter multiple file patterns separated by commas (AMA version 1.26 or higher required for multiple file patterns on Linux)."
            }
        },
        "tableName": {
            "type": "string",
            "metadata": {
                "description": "Name of destination table in your Log Analytics workspace. "
            }
        },
        "workspaceResourceId": {
            "type": "string",
            "metadata": {
                "description": "Resource ID of the Log Analytics workspace with the target table."
            }
        },
        "timeFormat": {
            "type": "string",
            "metadata": {
                "description": "The time format that you would like to use to split multi line input."
            }
      }
    },
    "variables": {
        "tableOutputStream": "[concat('Custom-', parameters('tableName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "apiVersion": "2022-06-01",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[parameters('location')]",
            "properties": {
                "dataCollectionEndpointId": "[parameters('dataCollectionEndpointResourceId')]",
                "streamDeclarations": {
                    "Custom-Json-stream": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "FilePath",
                                "type": "string"
                            },
                            {
                                "name": "MyStringColumn",
                                "type": "string"
                            },
                            {
                                "name": "MyIntegerColumn",
                                "type": "int"
                            },
                            {
                                "name": "MyRealColumn",
                                "type": "real"
                            },
                            {
                                "name": "MyBooleanColumn",
                                "type": "boolean"
                            }
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Json-stream"
                            ],
                            "filePatterns": [
                                "[parameters('filePatterns')]"
                            ],
                            "format": "json",
                            "name": "Custom-Json-stream",
                            "settings": {
                               "text": {
                                   "recordStartTimestampFormat": "[parameters('timeFormat')]"
                               }
                            }
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "[parameters('workspaceResourceId')]",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Json-stream"
                        ],
                        "destinations": [
                            "workspace"
                        ],
                        "transformKql": "source",
                        "outputStream": "[variables('tableOutputStream')]"
                    }
                ]
            }
        }
    ]
}

如果没有从预期的 JSON 日志中收集到数据，请执行以下步骤。

• 验证数据是否正在写入到所收集的日志文件。
• 验证日志文件的名称和位置是否与指定的文件模式匹配。
• 验证 DCR 中传入流的架构是否与日志文件中的架构匹配。
• 验证目标表的架构是否与传入流匹配，或者你是否具有将传入流转换为正确架构的转换。
• 请参阅验证操作，以验证代理是否正在运行，以及是否正在接收数据。

了解有关以下方面的详细信息：

• Azure Monitor 代理。
• 数据收集规则。
• Azure Monitor 中的成本管理最佳做法。