适用于: ✔️应用程序网关
可以使用日志监视 Web 应用程序防火墙资源。 可从资源保存或使用性能、访问及其他数据,以便进行监视。
注意
建议使用 Azure Az PowerShell 模块与 Azure 交互。 若要开始,请参阅安装 Azure PowerShell。 若要了解如何迁移到 Az PowerShell 模块,请参阅 将 Azure PowerShell 从 AzureRM 迁移到 Az。
诊断日志
可在 Azure 中使用不同类型的日志来对应用程序网关进行管理和故障排除。 可通过门户访问其中部分日志。 可从 Azure Blob 存储提取所有日志并在 Azure Monitor 日志、Excel 和 Power BI 等各种工具中查看。 可从以下列表了解有关不同类型日志的详细信息:
- 活动日志:可以使用Azure活动日志查看提交到Azure订阅及其状态的所有操作。 默认情况下会收集活动日志条目,可在 Azure 门户中查看这些条目。
- 访问日志:可以使用此日志查看应用程序网关的访问模式并分析重要信息。 这包括调用方的 IP、请求的 URL、响应延迟、返回代码以及字节输入和输出。此日志包含每个请求的单独记录,并将该请求关联到处理请求的唯一应用程序网关。 唯一应用程序网关实例可由属性 instanceId 标识。
- 性能资源日志:可以使用此日志查看应用程序网关实例的运行情况。 此日志会捕获每个实例的性能信息,包括服务的总请求数、吞吐量(以字节为单位)、失败请求计数、正常和不正常的后端实例计数。 每隔 60 秒会收集一次性能日志。 性能日志仅适用于 v1 SKU。 对于 v2 SKU,请对性能数据使用指标。
- 防火墙资源日志:可以使用此日志查看在配置了 Web 应用程序防火墙的应用程序网关上通过检测或防护模式记录的请求。
注意
日志仅适用于在 Azure 资源管理器部署模型中部署的 Azure 资源。 不能对经典部署模型中的资源使用日志。 若要更好地了解两种模型,请参阅了解 资源管理器 部署和经典部署一文。
可通过三种方式存储日志:
- 存储帐户:当日志存储较长时间并在需要时查看时,存储帐户最适合用于日志。
- 事件中心:事件中心是与其他安全信息和事件管理(SIEM)工具集成以获取有关资源的警报的绝佳选项。
- Azure Monitor日志:Azure Monitor日志最适合用于对应用程序进行常规实时监视或查看趋势。
通过 PowerShell 启用日志记录
每个 资源管理器 资源都会自动启用活动日志记录。 必须启用访问和性能日志记录才能开始收集通过这些日志提供的数据。 若要启用日志记录,请执行以下步骤:
记下存储日志数据的存储帐户的资源 ID。 此值的形式为:/subscriptions/<subscriptionId>/resourceGroups/<资源组名称>/providers/Microsoft.Storage/storageAccounts/<存储帐户名称>。 可以使用订阅中的任何存储帐户。 可使用 Azure 门户查找此信息。
记下已启用日志记录的应用程序网关的资源 ID。 此值的形式为:/subscriptions/<subscriptionId>/resourceGroups/<资源组名称>/providers/Microsoft.Network/applicationGateways/<应用程序网关名称>。 可以使用门户查找以下信息。
使用以下 PowerShell cmdlet 启用资源日志记录:
Set-AzDiagnosticSetting -ResourceId /subscriptions/<subscriptionId>/resourceGroups/<resource group name>/providers/Microsoft.Network/applicationGateways/<application gateway name> -StorageAccountId /subscriptions/<subscriptionId>/resourceGroups/<resource group name>/providers/Microsoft.Storage/storageAccounts/<storage account name> -Enabled $true
提示
活动日志不需要单独的存储帐户。 使用存储来记录访问和性能需支付服务费用。
通过 Azure 门户启用日志记录
在 Azure 门户中找到资源,然后选择“诊断设置”。
对于应用程序网关,提供 3 种日志:
- 访问日志
- 性能日志
- 防火墙日志
选择“添加诊断设置”。
“诊断设置”页提供用于资源日志的设置。 本示例使用 Log Analytics 存储日志。 还可以使用事件中心、存储帐户或合作伙伴解决方案来保存资源日志。
键入设置的名称,确认设置,然后选择“保存”。
活动日志
默认情况下,Azure 生成活动日志。 日志可在 Azure 事件日志存储中保留 90 天。 了解有关这些日志的详细信息,请参阅查看事件和活动日志一文。
访问日志
只有按照上述步骤在每个应用程序网关实例上启用了访问日志,才会生成该日志。 数据存储在启用日志记录时指定的存储帐户中。 应用程序网关的每次访问均以 JSON 格式记录下来,如下面 v1 示例所示:
| 值 | 说明 |
|---|---|
| instanceId | 处理请求的应用程序网关实例。 |
| clientIP | 请求的起始 IP。 |
| clientPort | 请求的起始端口。 |
| httpMethod | 请求所用的 HTTP 方法。 |
| requestUri | 所收到请求的 URI。 |
| RequestQuery | 请求 URI 的查询字符串部分。 |
| transactionId | 唯一ID用于关联访问日志和防火墙日志中的请求。 |
| UserAgent | HTTP 请求标头中的用户代理。 |
| httpStatus | 从应用程序网关返回到客户端的 HTTP 状态代码。 |
| httpVersion | 请求的 HTTP 版本。 |
| 已接收字节数 | 接收的数据包的大小(以字节为单位)。 |
| sentBytes | 发送的数据包的大小(以字节为单位)。 |
| timeTaken | 处理请求并发送响应所需的时长(以毫秒为单位)。 该时长的计算方式为:从应用程序网关接收到 HTTP 请求的第一个字节时起,到响应发送操作完成时止,这段时间间隔。 必须注意,“所用时间”字段通常包括请求和响应数据包在网络上传输的时间。 |
| 启用 SSL | 与后端池的通信是否使用了 TLS/SSL。 有效的值为“on”和“off”。 |
| 主持人 | 向后端服务器发送请求时所用的主机名。 如果后端主机名被覆盖,此名称将反映这一点。 |
| originalHost | 应用程序网关从客户端接收请求时所用的主机名。 |
{
"resourceId": "/SUBSCRIPTIONS/{subscriptionId}/RESOURCEGROUPS/PEERINGTEST/PROVIDERS/MICROSOFT.NETWORK/APPLICATIONGATEWAYS/{applicationGatewayName}",
"operationName": "ApplicationGatewayAccess",
"timestamp": "2017-04-26T19:27:38Z",
"category": "ApplicationGatewayAccessLog",
"properties": {
"instanceId": "ApplicationGatewayRole_IN_0",
"clientIP": "203.0.113.97",
"clientPort": 46886,
"httpMethod": "GET",
"requestUri": "/phpmyadmin/scripts/setup.php",
"requestQuery": "id=123",
"transactionId": "aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e",
"userAgent": "-",
"httpStatus": 404,
"httpVersion": "HTTP/1.0",
"receivedBytes": 65,
"sentBytes": 553,
"timeTaken": 205,
"sslEnabled": "off",
"host": "www.contoso.com",
"originalHost": "www.contoso.com"
}
}
注意
使用transactionId作为主要请求关联字段。 你可能仍然会看到旧日志中遗留的请求查询参数 X-AzureApplicationGateway-LOG-ID 。 关于当前的权威架构,请参见 AGWAccessLogs 表参考 和 应用程序网关监视数据参考。
对于应用程序网关和 WAF v2,日志显示了一些详细信息:
| 值 | 说明 |
|---|---|
| instanceId | 处理请求的应用程序网关实例。 |
| clientIP | 请求的起始 IP。 |
| clientPort | 请求的起始端口。 |
| httpMethod | 请求所用的 HTTP 方法。 |
| requestUri | 所收到请求的 URI。 |
| UserAgent | HTTP 请求标头中的用户代理。 |
| httpStatus | 从应用程序网关返回到客户端的 HTTP 状态代码。 |
| httpVersion | 请求的 HTTP 版本。 |
| 已接收字节数 | 接收的数据包的大小(以字节为单位)。 |
| sentBytes | 发送的数据包的大小(以字节为单位)。 |
| timeTaken | 处理请求并发送响应所需的时长(以毫秒为单位)。 该时长的计算方式为:从应用程序网关接收到 HTTP 请求的第一个字节时起,到响应发送操作完成时止,这段时间间隔。 必须注意,“所用时间”字段通常包括请求和响应数据包在网络上传输的时间。 |
| 启用 SSL | 与后端池的通信是否使用了 TLS。 有效的值为“on”和“off”。 |
| sslCipher | 用于 TLS 通信的密码套件(如果已启用 TLS)。 |
| sslProtocol | 使用的 TLS 协议(如果已启用 TLS)。 |
| 服务器路由 | 应用程序网关将请求路由到的后端服务器。 |
| 服务器状态 | 后端服务器的 HTTP 状态代码。 |
| 服务器响应延迟 | 后端服务器的响应延迟。 |
| 主持人 | 请求的主机标头中列出的地址。 |
| transactionId | 唯一ID用于关联访问日志和防火墙日志中的请求。 |
{
"resourceId": "/SUBSCRIPTIONS/{subscriptionId}/RESOURCEGROUPS/PEERINGTEST/PROVIDERS/MICROSOFT.NETWORK/APPLICATIONGATEWAYS/{applicationGatewayName}",
"operationName": "ApplicationGatewayAccess",
"time": "2017-04-26T19:27:38Z",
"category": "ApplicationGatewayAccessLog",
"properties": {
"instanceId": "appgw_1",
"clientIP": "203.0.113.97",
"clientPort": 46886,
"httpMethod": "GET",
"requestUri": "/phpmyadmin/scripts/setup.php",
"userAgent": "-",
"httpStatus": 404,
"httpVersion": "HTTP/1.0",
"receivedBytes": 65,
"sentBytes": 553,
"timeTaken": 205,
"sslEnabled": "off",
"sslCipher": "",
"sslProtocol": "",
"serverRouted": "104.41.114.59:80",
"serverStatus": "200",
"serverResponseLatency": "0.023",
"host": "www.contoso.com",
"transactionId": "aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e"
}
}
性能日志
只有在每个应用程序网关实例上启用了性能日志,才会生成此日志,如上述步骤所示。 数据存储在启用日志记录时指定的存储帐户中。 每隔 1 分钟生成性能日志数据。 仅适用于 v1 SKU。 对于 v2 SKU,请对性能数据使用指标。 将记录以下数据:
| 值 | 说明 |
|---|---|
| instanceId | 正在生成性能数据的应用程序网关实例。 对于多实例应用程序网关,每个实例对应一行。 |
| healthyHostCount | 后端池中运行正常的主机数。 |
| 不健康主机数 | 后端池中运行不正常的主机数。 |
| requestCount | 已处理的请求数。 |
| 延迟 | 从实例到请求服务后端的请求的平均延迟(以毫秒为单位)。 |
| 失败请求数 | 失败的请求数。 |
| 吞吐量 | 自最后一个日志后的平均吞吐量,以每秒字节数为单位。 |
{
"resourceId": "/SUBSCRIPTIONS/{subscriptionId}/RESOURCEGROUPS/{resourceGroupName}/PROVIDERS/MICROSOFT.NETWORK/APPLICATIONGATEWAYS/{applicationGatewayName}",
"operationName": "ApplicationGatewayPerformance",
"time": "2016-04-09T00:00:00Z",
"category": "ApplicationGatewayPerformanceLog",
"properties":
{
"instanceId":"ApplicationGatewayRole_IN_1",
"healthyHostCount":"4",
"unHealthyHostCount":"0",
"requestCount":"185",
"latency":"0",
"failedRequestCount":"0",
"throughput":"119427"
}
}
注意
延迟时间的计算是从接收到 HTTP 请求的第一个字节开始,到发出 HTTP 响应的最后一个字节为止。 它是应用程序网关处理时间加上后端的网络耗时,再加上后端处理请求所花费的时间之和。
防火墙日志
只有按照上述步骤为每个应用程序网关启用了防火墙日志,才会生成该日志。 此日志还要求在应用程序网关上配置 Web 应用程序防火墙。 数据存储在你启用日志记录时指定的目标中。 将记录以下数据:
应用程序网关
日志格式
| 值 | 说明 |
|---|---|
| instanceId | 正在为其生成防火墙数据的应用程序网关实例。 对于多实例应用程序网关,每个实例对应一行。 |
| 客户端 IP | 请求的起始 IP。 |
| requestUri | 所收到请求的 URI。 |
| ruleSetType | 规则集类型。 可用值为 OWASP。 |
| ruleSetVersion | 所使用的规则集版本。 可用值为 2.2.9 和 3.0。 |
| ruleId | 触发事件的规则 ID。 |
| 消息 | 触发事件的用户友好消息。 详细信息部分提供了更多详细信息。 |
| 操作 |
策略模式: 检测 - - 这是在检测模式下 WAF 的唯一操作。 已匹配给定规则的所有条件并记录请求,然后将该请求传递到后端。 策略模式:防护 - 允许 - 已匹配的给定规则的所有条件,并且请求已传递到后端。 - 已阻止 - 所有条件都与给定规则匹配,并且请求被阻止。 - 匹配 - 给定规则匹配了一/多个条件,但阻止或传递请求的决定将需要进一步评估,并将基于最终异常评分规则进行评估。 策略模式: JS 挑战 - JSChallengeIssued:由于缺少/无效的挑战验证通过凭证、缺少答案而发出。 当客户端首次请求访问 Web 应用程序且以前未受到质询时,会创建此日志。 此客户端收到 JS 挑战页面,然后开始计算该 JS 挑战。 成功计算后,客户端会被授予有效性 Cookie。 - JSChallengePass:由于有效的挑战答案而通过。 当客户端解决 JS 质询并重新提交具有正确答案的请求时,会创建此日志。 在这种情况下,Azure WAF 会验证 Cookie 并继续处理剩余的规则,无需生成另一个 JS 质询。 - JSChallengeValid:由于有效挑战而记录/直通 当客户端之前已成功通过挑战时,将创建此日志。 在这种情况下,Azure WAF 会记录请求,并继续处理剩余的规则。 - JSChallengeBlock:已阻止 当 JS 质询计算失败时,会创建此日志。 |
| 站点 | 为其生成日志的站点。 目前仅列出 Global,因为规则是全局性的。 |
| 详细信息 | 触发事件的详细信息。 |
| details.message | 规则的说明。 |
| details.data | 在请求中找到的与规则匹配的特定数据。 |
| details.file | 包含规则的配置文件。 |
| details.line | 配置文件中触发了事件的行号。 |
| 主机名 | 应用程序网关的主机名或 IP 地址。 |
| transactionId | 给定事务的唯一 ID,它有助于对同一请求中发生的多个违反规则的情况进行分组。 |
| policyId | 与应用程序网关、侦听器或路径关联的防火墙策略的唯一 ID。 |
| policyScope | 策略的适用范围——其值可以为“Global”、“Listener”或“Location”。 |
| policyScopeName | 应用策略的对象的名称。 |
示例:
{
"resourceId": "/SUBSCRIPTIONS/{subscriptionId}/RESOURCEGROUPS/{resourceGroupName}/PROVIDERS/MICROSOFT.NETWORK/APPLICATIONGATEWAYS/{applicationGatewayName}",
"operationName": "ApplicationGatewayFirewall",
"time": "2017-03-20T15:52:09.1494499Z",
"category": "ApplicationGatewayFirewallLog",
"properties": {
"instanceId": "ApplicationGatewayRole_IN_0",
"clientIp": "203.0.113.147",
"requestUri": "/",
"ruleSetType": "OWASP",
"ruleSetVersion": "3.0",
"ruleId": "920350",
"ruleGroup": "920-PROTOCOL-ENFORCEMENT",
"message": "Host header is a numeric IP address",
"action": "Matched",
"site": "Global",
"details": {
"message": "Warning. Pattern match \"^[\\\\d.:]+$\" at REQUEST_HEADERS:Host ....",
"data": "127.0.0.1",
"file": "rules/REQUEST-920-PROTOCOL-ENFORCEMENT.conf",
"line": "791"
},
"hostname": "127.0.0.1",
"transactionId": "16861477007022634343",
"policyId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/drewRG/providers/Microsoft.Network/ApplicationGatewayWebApplicationFirewallPolicies/perListener",
"policyScope": "Listener",
"policyScopeName": "httpListener1"
}
}
}
查看和分析活动日志
可使用以下任意方法查看和分析活动日志数据:
- Azure工具:通过Azure PowerShell、Azure CLI、Azure REST API 或Azure门户从活动日志中检索信息。 使用 资源管理器 的活动操作一文中详细介绍了每种方法的分步说明。
- Power BI:如果还没有Power BI帐户,可以免费试用。 使用 Power BI 模板应用,可以分析数据。
查看并分析访问、性能和防火墙日志
Azure Monitor日志可以从 Blob 存储帐户收集计数器和事件日志文件。 它含有可视化和强大的搜索功能,可用于分析日志。
还可以连接到存储帐户并检索访问和性能日志的 JSON 日志条目。 下载 JSON 文件后,可以将其转换为 CSV 并在 Excel、Power BI 或任何其他数据可视化工具中查看。
提示
如果熟悉 Visual Studio 和更改 C# 中的常量和变量值的基本概念,则可以使用 GitHub 提供的日志转换器工具。
通过 GoAccess 分析访问日志
我们发布了一个资源管理器模板,用于安装和运行应用程序网关访问日志的常用 GoAccess 日志分析器。 GoAccess 提供了宝贵的 HTTP 流量统计信息,例如唯一访问者、请求的文件、主机、操作系统、浏览器和 HTTP 状态代码等。 有关更多详细信息,请参阅 GitHub 的资源管理器模板文件夹中的自述文件。
后续步骤
- 使用 Azure Monitor 日志可视化计数器和事件日志。
- “使用 Power BI 可视化 Azure 活动日志”博客文章。
- 在 Power BI 中查看和分析 Azure 活动日志及更多内容博客文章。