使用 Azure Monitor 代理将 syslog 和 CEF 消息引入到 Microsoft Sentinel

项目
10/11/2024
适用于:

Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

本文介绍如何使用 Syslog via AMA 和 Common Event Format (CEF) via AMA 连接器从 Linux 计算机以及网络和安全设备和装置筛选并引入 syslog 消息，包括采用通用事件格式 (CEF) 的消息。若要详细了解这些数据连接器，请参阅 Microsoft Sentinel 通过 AMA 的 Syslog 和通用事件格式 (CEF) 连接器。

先决条件

在开始之前，必须配置资源并分配相应的权限，如本部分所述。

Microsoft Sentinel 先决条件

安装相应的 Microsoft Sentinel 解决方案，并确保你有权完成本文中的步骤。

从 Microsoft Sentinel 中的内容中心安装相应的解决方案。有关更多信息，请参阅发现和管理 Microsoft Sentinel 的现成内容。
确定 Microsoft Sentinel 解决方案所需的数据连接器 — Syslog via AMA 或 Common Event Format (CEF) via AMA，以及是否需要安装 Syslog 或通用事件格式解决方案。若要满足此先决条件：
- 在内容中心，选择已安装的解决方案上的“管理”，并查看列出的数据连接器。
- 如果未随解决方案一起安装 Syslog via AMA 或 Common Event Format (CEF) via AMA，请确定是否需要安装 Syslog 或通用事件格式解决方案：
  
  然后从内容中心安装 Syslog 或通用事件格式解决方案，以获取相关的 AMA 数据连接器。

创建 Azure 帐户，并使其具有以下 Azure 基于角色的访问控制 (Azure RBAC) 角色：

内置角色	范围	原因
- 虚拟机参与者 - Azure Connected Machine 资源管理员	虚拟机 (VM) 虚拟机规模集已启用 Azure Arc 的服务器	部署代理
包含以下操作的任何角色： Microsoft.Resources/deployments/*	订阅资源组现有数据收集规则	部署 Azure 资源管理器模板
监视参与者	订阅资源组现有数据收集规则	创建或编辑数据收集规则

日志转发器先决条件

如果要从日志转发器收集消息，则以下先决条件适用：

必须具有指定的 Linux VM 作为日志转发器才能收集日志。
- 在 Azure 门户中创建 Linux VM。
- Azure Monitor 代理支持的 Linux 操作系统。
如果日志转发器不是 Azure 虚拟机，则必须在其上安装 Azure Arc Connected Machine 代理。
必须在 Linux 日志转发器 VM 上安装 Python 2.7 或 3。使用 python --version 或 python3 --version 命令进行检查。如果使用 Python 3，请确保将其设置为计算机上的默认命令，或者使用“python3”命令而不是“python”命令运行脚本。
日志转发器必须启用 syslog-ng 或 rsyslog 守护程序。
日志源、安全设备和装置必须配置为将其日志消息发送到日志转发程序的 syslog 守护程序，而不是发送到其本地 syslog 守护程序。

计算机安全性先决条件

根据组织的安全策略配置计算机的安全性。例如，根据企业网络安全策略配置网络，并根据自己的要求更改守护程序中的端口和协议。为了改进计算机安全配置，请在 Azure 中保护 VM，或查看这些网络安全最佳做法。

如果设备通过 TLS 发送 syslog 和 CEF 日志（例如由于日志转发器位于云中），则需要配置 syslog 守护程序（rsyslog 或 syslog-ng）以在 TLS 中进行通信。有关详细信息，请参阅：

配置数据连接器

通过 AMA 的 Syslog 或通过 AMA 的通用事件格式 (CEF) 数据连接器的设置过程包括以下步骤：

使用以下任一方法安装 Azure Monitor 代理并创建数据收集规则 (DCR)：
- Azure 门户
- Azure Monitor 日志引入 API
如果要使用日志转发器从其他计算机收集日志，请在日志转发器上运行“安装”脚本，将 syslog 守护程序配置为侦听来自其他计算机的消息，并打开必要的本地端口。

选择相应的选项卡以获取说明。

Azure 门户
日志引入 API

创建数据收集规则 (DCR)

若要开始创建，请在 Microsoft Sentinel 中打开 Syslog via AMA 或 Common Event Format (CEF) via AMA，并创建数据连接规则 (DCR)。

在 Azure 门户中的“配置”下，选择“数据连接器”。
对于 syslog，请在“搜索”框中键入“Syslog”。在结果中，选择“通过 AMA 的 Syslog”连接器。
对于 CEF，请在“搜索”框中键入“CEF”。在结果中，选择“通过 AMA 的通用事件格式 (CEF)”连接器。
在详细信息窗格中选择“打开连接器页面”。
在“配置”区域中，选择“+ 创建数据收集规则”。
在“基本信息”选项卡上：
- 键入 DCR 名称。
- 选择订阅。
- 选择要定位 DCR 的资源组。
选择“下一步: 资源”。

定义 VM 资源

在“资源”选项卡中，选择要安装 AMA 的计算机，在本例中为日志转发器计算机。如果列表中未显示日志转发器，则可能未安装 Azure Connected Machine 代理。

使用可用的筛选器或搜索框查找日志转发器 VM。展开列表中的订阅以查看其资源组，展开资源组以查看其 VM。
选择要在其中安装 AMA 的日志转发器 VM。将鼠标悬停在 VM 名称上方时，旁边会显示复选框。
查看更改并选择“下一步: 收集>”

选择设施和严重性

请注意，对 syslog 和 CEF 消息使用相同的设施可能会导致数据引入重复。有关详细信息，请参阅避免数据引入重复。

在“收集”选项卡中，为每个设施选择最低日志级别。选择日志级别后，Microsoft Sentinel 会收集所选级别和其他更高严重性级别的日志。例如，如果选择 LOG_ERR，Microsoft Sentinel 会收集 LOG_ERR、LOG_CRIT、LOG_ALERT 和 LOG_EMERG 级别的日志。
查看所做的选择，然后选择“下一步: 查看 + 创建”。

查看并创建规则

完成所有选项卡后，查看输入的内容并创建数据收集规则。

在“查看 + 创建”选项卡中选择“创建”。

连接器会在创建 DCR 时选择的计算机上安装 Azure Monitor 代理。
查看 Azure 门户中的通知，了解 DCR 的创建时间和代理的安装时间。
选择连接器页上的“刷新”以查看列表中显示的 DCR。

安装 Azure Monitor 代理

按照 Azure Monitor 文档中的相应说明在日志转发器上安装 Azure Monitor 代理。请记住使用适用于 Linux 的说明，而不是适用于 Windows 的说明。

可以使用 Azure Monitor 日志引入 API 创建数据收集规则 (DCR)。有关详细信息，请参阅 Azure Monitor 中的数据收集规则。

创建数据收集规则

为数据收集规则创建 JSON 文件，创建 API 请求并发送请求。

准备 JSON 格式的 DCR 文件。此文件的内容是 API 请求中的请求正文。

有关示例，请参阅 Syslog/CEF DCR 创建请求正文。若要在同一数据收集规则中收集 syslog 和 CEF 消息，请参阅同一 DCR 中的 Syslog 和 CEF 流示例。
- 验证 streams 字段是否针对 syslog 消息设置为 Microsoft-Syslog，或针对 CEF 消息设置为 Microsoft-CommonSecurityLog。
- 在 facilityNames 和 logLevels 参数中添加筛选器和工具日志级别。请参阅设施和日志级别部分示例。
在选择的 REST API 客户端中创建 API 请求。
1. 对于请求 URL 和标头，请复制以下请求 URL 和标头。
```
PUT https://management.chinacloudapi.cn/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
```
  - 用合适的值替代 {subscriptionId} 和 {resourceGroupName} 占位符。
  - 输入为 DCR 选择的名称来替代 {dataCollectionRuleName} 占位符。
2. 对于“请求主体”，将（在上面步骤 1 中）创建的 DCR JSON 文件的内容复制并粘贴到请求主体中。
发送请求。

如需应收到的响应的示例，请参阅 Syslog/CEF DCR 创建响应。

将 DCR 与日志转发器相关联

现在，需要创建一个 DCR 关联 (DCRA)，将 DCR 与托管日志转发器的 VM 资源绑定起来。

在选择的 REST API 客户端中创建 API 请求。

对于请求 URL 和标头，请复制以下请求 URL 和标头。

PUT 
https://management.chinacloudapi.cn/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01

用合适的值替代 {subscriptionId}、{resourceGroupName} 和 {virtualMachineName} 占位符。
输入为 DCR 选择的名称来替代 {dataCollectionRuleAssociationName} 占位符。

对于请求正文，请复制以下请求正文。

{
  "properties": {
    "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
  }
}

用合适的值替代 {subscriptionId} 和 {resourceGroupName} 占位符。
输入为 DCR 选择的名称来替代 {dataCollectionRuleName} 占位符。

发送请求。

工具和日志级别部分的示例

查看这些工具和日志级别设置示例。字段 name 包含筛选器名称。

对于 CEF 消息引入，"streams" 的值应该为 "Microsoft-CommonSecurityLog"，而不是 "Microsoft-Syslog"。

此示例从 cron、daemon、local0、local3 和 uucp 工具收集 Warning、Error、Critical、Alert 和 Emergency 日志级别的事件：

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

同一 DCR 中的 Syslog 和 CEF 流

此示例演示如何在同一 DCR 中收集 syslog 和 CEF 消息。

DCR 收集以下对象的 CEF 事件消息：

authpriv 和 mark 工具，日志级别为 Info、Notice、Warning、Error、Critical、Alert 和 Emergency
daemon 工具，日志级别为 Warning、Error、Critical、Alert 和 Emergency

它收集以下项的 syslog 事件消息：

kern、local0、local5 和 news 工具，日志级别为 Critical、Alert 和 Emergency
mail 和 uucp 工具，日志级别为 Emergency

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

运行“installation”脚本

如果使用日志转发器，请将 syslog 守护程序配置为侦听来自其他计算机的消息，并开启必要的本地端口。

在连接器页中，复制“运行以下命令安装并应用 CEF 收集器:”下显示的命令行。

连接器页上命令行的屏幕截图。

或者从此处复制它：

sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py

登录到刚刚安装 AMA 的日志转发器计算机。
粘贴在上一步中复制的命令以启动 installation 脚本。
该脚本将 rsyslog 或 syslog-ng 守护程序配置为使用所需的协议，并重启守护程序。该脚本打开端口 514 以侦听 UDP 和 TCP 协议中的传入消息。若要更改此设置，请根据计算机上运行的守护程序类型参考 syslog 守护程序配置文件：
- Rsyslog：/etc/rsyslog.conf
- Syslog-ng：/etc/syslog-ng/syslog-ng.conf
如果使用 Python 3，且未将其设置为计算机上的默认命令，请用 python3 替换粘贴的命令中的 python。请参阅日志转发器先决条件。

注意

为了避免代理在完整磁盘方案中无法正常运行，建议将 syslog-ng 或 rsyslog 配置设置为不存储无用的日志。完整磁盘方案会干扰已安装的 AMA 正常运行。有关详细信息，请参阅 RSyslog 或 Syslog-ng。

测试连接器

验证来自 Linux 计算机或安全设备和装置的日志消息是否已引入到 Microsoft Sentinel 中。

若要验证 Syslog 守护程序是否正在 UDP 端口上运行并且 AMA 是否正在侦听，请运行以下命令：
```
netstat -lnptv
```
应会看到 rsyslog 或 syslog-ng 守护程序正在侦听端口 514。
若要捕获从记录器或连接的设备发送的消息，请在后台运行以下命令：
```
tcpdump -i any port 514 -A -vv &
```
完成验证后，建议停止 tcpdump：键入 fg，然后按 Ctrl+C。
若要发送演示消息，请完成以下步骤：
- 使用 netcat 实用工具。在此示例中，该实用工具读取通过 echo 命令发布的数据，数据换行开关已关闭。然后，该实用工具将数据写入本地主机上的 UDP 端口 514，且不会超时。若要执行 netcat 实用工具，则可能需要安装另一个包。
```
echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
```
- 使用记录器。此示例以 CEF RFC 格式通过端口 514 将严重性级别为 Warning 的消息写入本地主机上的 local 4 工具。使用 -t 和 --rfc3164 标志是为了遵守所需的 RFC 格式。
```
logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
```

若要验证是否已正确安装连接器，请使用以下命令之一运行故障排除脚本：

对于 CEF 日志，请运行：

 sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef

对于 Cisco 自适应安全设备 (ASA) 日志，请运行：

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa

对于 Cisco Firepower 威胁防御 (FTD) 日志，请运行：

sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd

通过