虚拟网络流日志

虚拟网络流日志是Azure 网络观察程序的一项功能。 可以使用这些日志来记录流经虚拟网络的 IP 流量的相关信息。

虚拟网络流日志中的流数据将发送到Azure 存储。 从那里,你可以访问数据并将其导出到任何可视化工具、安全信息和事件管理 (SIEM) 解决方案或入侵检测系统 (IDS)。 虚拟网络流日志克服了 网络安全组流日志 的一些限制,并且更具成本效益。

为何使用流日志?

监视、管理和了解你自己的网络至关重要,这样你就可以保护和优化网络。 你可能需要知道网络的当前状态、正在连接的人员以及用户从何处进行连接。 你可能还需要知道哪些端口对 Internet 开放、哪些网络行为是预期的网络行为、哪些网络行为是异常的网络行为,以及流量何时突然上升。

流日志是云环境中所有网络活动的事实来源。 无论是尝试优化资源的初创公司,还是尝试检测入侵的大型企业,流日志都可以提供帮助。 可以使用它们来优化网络流、监视吞吐量、验证合规性、检测入侵等等。

常见用例

网络监控

  • 识别未知或不需要的交通流量。
  • 监视流量水平和带宽消耗。
  • 按 IP 和端口筛选流日志,以了解应用程序的行为。
  • 将流日志导出到所选的分析和可视化工具,以设置监视仪表板。

使用情况监视和优化

  • 识别网络中的主要发言者。
  • 结合 GeoIP 数据来识别跨区域流量。
  • 了解流量增长情况以进行容量预测。
  • 使用数据删除过度严格的流量规则。

合规

  • 使用流数据来验证网络隔离和企业访问规则的合规性。

网络取证和安全分析

  • 分析来自已遭入侵的 IP 和网络接口的网络流。
  • 将流日志导出到所选的任何 SIEM 或 IDS 工具。

虚拟网络流日志与网络安全组流日志的比较

虚拟网络流日志和网络安全组流日志都记录 IP 流量,但它们的行为和功能有所不同。

虚拟网络流日志简化了流量监视的范围,因为可以在 虚拟网络上启用日志记录。 虚拟网络中所有受支持工作负载的流量都会被记录下来。

虚拟网络流日志还避免了启用多级流日志记录的需要,例如在网络安全组流日志中。 在网络安全组流日志中,网络安全组是在子网和网络接口 (NIC) 上配置的。

除了现有支持来识别网络安全组规则允许或拒绝的流量外,虚拟网络流日志还支持识别Azure Virtual Network Manager安全管理员规则允许或拒绝的流量。 虚拟网络流日志还支持在使用虚拟网络加密的情况下评估网络流量的加密状态。

重要

建议先禁用网络安全组流日志,然后再在同一基础工作负载上启用虚拟网络流日志,以避免重复的流量记录和额外的成本。

如果在子网的网络安全组上启用了网络安全组流日志,那么在同一子网或父虚拟网络上启用虚拟网络流日志,你可能会获得重复日志记录或仅获得虚拟网络流日志。

日志记录的工作原理

虚拟网络流日志的关键属性包括:

  • 流日志在开放式系统互连 (OSI) 模型的第 4 层运行,将记录流经虚拟网络的所有 IP 流。
  • 日志通过 Azure 平台按一分钟间隔收集。 它们不会影响Azure资源或网络流量。
  • 日志以 JavaScript 对象表示法 (JSON) 格式编写。
  • 每条日志记录都包含流应用到的网络接口、5 元组信息、流量方向、流状态、加密状态和吞吐量信息。
  • 网络中的所有流量流都通过适用的 网络安全组规则或 Azure 虚拟网络管理员安全规则 进行评估。
  • 虚拟网络流日志在虚拟网络级别上运行,因此默认情况下捕获诸如网关之类资源的流量。 因此,包括通过这些网关传递的流量,这可能会导致日志数据量增加。

日志格式

虚拟网络流日志具有以下属性:

  • time:记录事件的 UTC 时间。
  • flowLogVersion:流日志的版本。
  • flowLogGUID:FlowLog 资源的资源 GUID。
  • macAddress:捕获事件的网络接口的 MAC 地址。
  • category:事件的类别。 类别始终是 FlowLogFlowEvent。
  • flowLogResourceID:FlowLog 资源的资源 ID。
  • targetResourceID:与 FlowLog 资源关联的目标资源的资源 ID。
  • operationName:始终 FlowLogFlowEvent。
  • flowRecords:流记录的集合。
    • flows:流记录集合。 该属性包含多个访问控制列表(ACL)条目:

      • aclID:评估流量的资源的标识符,即网络安全组或虚拟网络管理器。 对于由于加密而被拒绝的流量,此值为 unspecified。
      • flowGroups:规则级别的流记录集合:
      • rule:允许或拒绝流量的规则的名称。 对于由于加密而被拒绝的流量,此值为 unspecified。
      • flowTuples:包含以逗号分隔格式的流元组的多个属性的字符串:
      领域 DESCRIPTION 版本 2 版本 5
      时间戳 流发生的时间戳,以UNIX纪元格式呈现。 ✅ ✅
      来源 IP地址 源 IP 地址。 ✅ ✅
      目标 IP 地址 目标 IP 地址。 ✅ ✅
      源端口 源端口。 ✅ ✅
      目标端口 目标端口。 ✅ ✅
      Protocol 流程的第4层协议,以IANA分配的值表示。 ✅ ✅
      流向 交通流向。 有效值为 I(表示入站)和 O(表示出站)。 ✅ ✅
      流状态 流程状态。 可能的状态有 B (开始)、 C (继续)、 E (结束)和 D (拒绝)。 ✅ ✅
      流加密 流程的加密状态。 此列表后面的表描述了可能的值。 ✅ ✅
      发送的数据包 自上次更新以来,从源端发送到目的端的总数据包数。 ✅ ✅
      发送的字节数 自上次更新以来,从源端发送到目的端的总数据包字节数。 数据包字节包括数据包标头和有效负载。 ✅ ✅
      收到的数据包 自上次更新以来,从目的地到源发送的总数据包数。 ✅ ✅
      接收的字节数 自上次更新以来,从目标到源发送的总数据包字节数。 数据包字节包括数据包标头和有效负载。 ✅ ✅
      PLS链接标识符 识别与流量流相关的私有端点到专用链接 Service连接。 ✅
      源 NAT IP 地址 由PLS SNAT分配的流量源IP地址。 ✅
      源NAT端口 由PLS SNAT分配的流量源端口。 ✅

注释

Flow log 5 版本必须在你启用该功能的地区和订阅中得到支持。 目前,中国北部(WCUS)、中国东部和 Canary 区域支持版本 5。 如果该能力在你的环境中处于预览阶段,在生产自动化中使用前,先验证最终的公共模式和区域可用性。

Flow encryption 具有以下可能的加密状态:

加密状态 DESCRIPTION
X 连接已加密。 已配置加密,且平台已对连接进行加密。
NX 连接未加密。 记录此事件的情况有两种:
- 未配置加密时。
- 当加密的虚拟机与缺少加密的终结点(例如 internet 终结点)通信时。
NX_HW_NOT_SUPPORTED 硬件不受支持。 已配置加密,但虚拟机在不支持加密的主机上运行。 出现此问题的原因通常是现场可编程门阵列 (FPGA) 未连接到主机或出现故障。 将此问题报告给Azure进行调查。
NX_SW_NOT_READY 软件尚未准备就绪。 已配置加密,但主机网络堆栈中的软件组件 (GFT) 尚未准备好处理加密的连接。 当虚拟机首次启动、重新启动或重新部署时,可能会出现此问题。 当运行虚拟机的主机上的网络组件有更新时,也可能会出现此问题。 在这些情况下,都会丢弃数据包。 该问题应该是暂时的。 加密应该会在虚拟机完全启动并运行或主机上的软件更新完成后开始工作。 如果问题持续时间较长,请将其报告给Azure进行调查。
NX_NOT_ACCEPTED 由于没有加密而丢弃。 在源终结点和目标终结点上都配置了加密,且启用了“如果未加密,则丢弃”策略。 如果流量加密失败,则会丢弃数据包。
NX_NOT_SUPPORTED 不支持发现功能。 已配置加密,但未建立加密会话,因为主机网络堆栈不支持发现。 在这种情况下,将会丢弃数据包。 如果遇到此问题,请将其报告给Azure进行调查。
NX_LOCAL_DST 目标位于同一主机上。 加密已配置,但源虚拟机和目标虚拟机在同一Azure主机上运行。 在这种情况下,按照设计不对连接进行加密。
NX_FALLBACK 回退到无加密。 在源终结点和目标终结点上都配置了加密,且启用了“允许未加密”策略。 系统尝试加密,但出现问题。 在这种情况下,允许建立连接,但不会对其进行加密。 例如,虚拟机最初位于支持加密的节点上,但后来此支持已删除。

默认情况下,虚拟网络中的流量是未加密的 (NX)。 有关加密流量,请参阅虚拟网络加密。

示例日志记录

在下面的虚拟网络流日志示例中,有多条记录遵循前面所述的属性列表。

注释

构建解析器时使用发布的版本5的字段顺序规范。 不要从这个简化的例子中推断元组位置。 将元组视为版本化数据,并在 flowLogVersion 上分支解析逻辑。


{
    "records": [
        {
            "time": "2022-09-14T09:00:52.5625085Z",
            "flowLogVersion": 4,
            "flowLogGUID": "66aa66aa-bb77-cc88-dd99-00ee00ee00ee",
            "macAddress": "112233445566",
            "category": "FlowLogFlowEvent",
            "flowLogResourceID": "/SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/NETWORKWATCHERRG/PROVIDERS/MICROSOFT.NETWORK/NETWORKWATCHERS/NETWORKWATCHER_ChinaEast2ChinaNorth2/FLOWLOGS/VNETFLOWLOG",
            "targetResourceID": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/myResourceGroup/providers/Microsoft.Network/virtualNetworks/myVNet",
            "operationName": "FlowLogFlowEvent",
            "flowRecords": {
                "flows": [
                    {
                        "aclID": "00aa00aa-bb11-cc22-dd33-44ee44ee44ee",
                        "flowGroups": [
                            {
                                "rule": "DefaultRule_AllowInternetOutBound",
                                "flowTuples": [
                                    "1663146003599,10.0.0.6,192.0.2.180,23956,443,6,O,B,NX,0,0,0,0",
                                    "1663146003606,10.0.0.6,192.0.2.180,23956,443,6,O,E,NX,3,767,2,1580",
                                    "1663146003637,10.0.0.6,203.0.113.17,22730,443,6,O,B,NX,0,0,0,0",
                                    "1663146003640,10.0.0.6,203.0.113.17,22730,443,6,O,E,NX,3,705,4,4569",
                                    "1663146004251,10.0.0.6,203.0.113.17,22732,443,6,O,B,NX,0,0,0,0",
                                    "1663146004251,10.0.0.6,203.0.113.17,22732,443,6,O,E,NX,3,705,4,4569",
                                    "1663146004622,10.0.0.6,203.0.113.17,22734,443,6,O,B,NX,0,0,0,0",
                                    "1663146004622,10.0.0.6,203.0.113.17,22734,443,6,O,E,NX,2,134,1,108",
                                    "1663146017343,10.0.0.6,198.51.100.84,36776,443,6,O,B,NX,0,0,0,0",
                                    "1663146022793,10.0.0.6,198.51.100.84,36776,443,6,O,E,NX,22,2217,33,32466"
                                ]
                            }
                        ]
                    },
                    {
                        "aclID": "00aa00aa-bb11-cc22-dd33-44ee44ee44ee",
                        "flowGroups": [
                            {
                                "rule": "BlockHighRiskTCPPortsFromInternet",
                                "flowTuples": [
                                    "1663145998065,101.33.218.153,10.0.0.6,55188,22,6,I,D,NX,0,0,0,0",
                                    "1663146005503,192.241.200.164,10.0.0.6,35276,119,6,I,D,NX,0,0,0,0"
                                ]
                            },
                            {
                                "rule": "Internet",
                                "flowTuples": [
                                    "1663145989563,192.0.2.10,10.0.0.6,50557,44357,6,I,D,NX,0,0,0,0",
                                    "1663145989679,203.0.113.81,10.0.0.6,62797,35945,6,I,D,NX,0,0,0,0",
                                    "1663145989709,203.0.113.5,10.0.0.6,51961,65515,6,I,D,NX,0,0,0,0",
                                    "1663145990049,198.51.100.51,10.0.0.6,40497,40129,6,I,D,NX,0,0,0,0",
                                    "1663145990145,203.0.113.81,10.0.0.6,62797,30472,6,I,D,NX,0,0,0,0",
                                    "1663145990175,203.0.113.5,10.0.0.6,51961,28184,6,I,D,NX,0,0,0,0",
                                    "1663146015545,192.0.2.10,10.0.0.6,50557,31244,6,I,D,NX,0,0,0,0"
                                ]
                            }
                        ]
                    }
                ]
            }
        }
    ]
}

记录元组和带宽计算

显示虚拟网络流日志格式的表。

下面是 203.0.113.105:35370 和 10.0.0.5:23 之间的 TCP 对话流元组的示例带宽计算:

1708978215,203.0.113.105,10.0.0.5,35370,23,6,I,B,NX,,,, 1708978215,203.0.113.105,10.0.0.5,35370,23,6,I,C,NX,1021,588096,8005,4610880 1708978215,203.0.113.105,10.0.0.5,35370,23,6,I,E,NX,52,29952,47,27072

对于延续 (C) 和结束 E (E) 流状态,字节和数据包计数是从上一次流元祖记录时集合的计数。 在该示例对话中,传输的数据包总数是 1021 + 52 + 8005 + 47 = 9125。 传输的字节总数是 588096 + 29952 + 4610880 + 27072 = 5256000。

平台规则

什么是流日志中的平台规则

在流日志中,平台规则表示由Azure平台本身而不是用户配置的规则(例如网络安全组(NSG)或Azure Virtual Network Manager规则处理的网络流量。 此流量由平台自动处理,不是部署中定义的显式允许或拒绝规则的结果。 平台规则条目提供对系统管理或基础架构级别流量的可见性。 如果分析仅侧重于由显式配置的规则评估的流量,则可以在日志分析期间筛选掉这些条目。

在某些情况下,与您的应用程序或工作负载相关联的流量可能会显示在平台规则之下。 这种情况可能发生在有限数量的已知情况下,例如,当负载均衡连接作为正常平台操作的一部分重新创建时,或者当返回的数据流量不需要对响应路径进行规则评估时。 在这些情况下,流量会按预期处理,但流日志可能会将其与平台规则(而不是用户定义的规则)相关联。

存在平台规则是否会影响流量?

否。 平台规则不会更改流量行为、连接性、安全状况或性能。 它们仅影响流日志中某些网络流表示的方式。 平台规则条目出于信息性目的提供。 从分析中排除它们不会影响流量的处理方式。 如果流量出现在特定平台规则下,并且与上述情况不一致,则可以进一步对该行为进行调查。 在这种情况下,建议通过Azure支持渠道联系,以便详细审核流日志。

如今,后端可见的源地址通常是 专用链接 Service(PLS)源网络地址转换(SNAT)地址。 虽然该转换地址是数据平面传输所必需的,但这可能使识别发起流程的原始客户端和私有端点连接变得困难。 Flow log 版本 5 在虚拟网络流日志中增加了网络地址转换(NAT)和 专用链接 上下文,使服务提供商能够追踪从原始客户端经由私有端点和 PLS 转换层到后端工作负载的连接。 通过使用这一补充,记录保留了后端流的详细信息,并增加了上下文,以识别原始源、翻译后的PLS地址信息以及用于关联的专用链接连接标识符。

当您运营或支持通过 专用链接 Service 暴露的服务并需要端到端源可视性时,使用 PLS flow log 丰富化。 丰富字段有助于区分原始客户端身份与翻译后的PLS身份,这在地址空间重叠、多个私有端点或共享后端基础设施的环境中尤为有用。

  • 通过从客户端到私有端点、PLS和后端的路径排查连接问题。
  • 将后端流量与发送该流量的专用终结点连接关联起来。
  • 保留原始和翻译的终结点上下文,用于调查和支持工单。
  • 通过解析包含PLS特定上下文的版本化流程记录,改进下游分析。

注释

Az PowerShell 16.4.0 版本开始支持使用 Azure PowerShell 预配流日志版本 5。

虚拟网络流日志的注意事项

存储帐户

  • 位置:存储帐户必须与虚拟网络位于同一区域。
  • 订阅:存储帐户必须位于虚拟网络的同一订阅或与虚拟网络订阅的同一Microsoft Entra租户关联的订阅中。
  • 性能层:存储帐户必须是标准层。 不支持高级存储帐户。
  • 自我管理的密钥轮换:如果更改或轮换存储帐户的客户管理加密密钥,虚拟网络流日志将停止工作。 若要解决此问题,必须禁用并重新启用虚拟网络流日志。
  • 保留策略规则: 目前,存储帐户支持 100 条规则,每个规则可以容纳 10 个 Blob 前缀。 有关详细信息,请参阅一个存储帐户可具有多少条保留策略规则?
  • Blob 操作: 虚拟网络流日志按一分钟间隔通过追加块写入块 Blob 中。 在数据导入过程中,请不要执行会修改 Blob 块结构的操作,例如编辑、覆盖或删除 Blob 内容。 这些操作可能导致该特定小时 Blob 的所有后续流日志写入操作失败。

ExpressRoute 网关流量

如果在 ExpressRoute 网关子网上启用了流日志记录,则不会记录从虚拟机 (VM) 到 ExpressRoute 线路的出站流。 必须在 VM 的子网或 NIC 中记录此类流。

不兼容的服务

目前,这些Azure服务不支持虚拟网络流日志:

注释

根据Azure 应用服务计划部署的应用服务不支持虚拟网络流日志。 若要了解详细信息,请参阅虚拟网络集成的工作原理。

定价

  • 虚拟网络流日志按每 GB 收集的网络流日志收费,并为每个订阅附送 5 GB/月的免费层。

  • 如果使用虚拟网络流日志启用流量分析,则流量分析定价按千兆字节处理速率应用。 免费层定价不提供流量分析功能。 有关详细信息,请参阅 网络观察程序 定价。

  • 日志存储单独收费。 有关详细信息,请参阅 Azure Blob 存储 定价。

  • 虚拟网络流日志将日志记录覆盖范围扩展到网络安全边界之外,以包括平台和应用程序级流量方案。 此更广泛的范围支持其他用例和流量模式,与范围更窄的流日志记录配置相比,这可能会导致日志量较高。

支持的方案

下表概述了流日志的支持范围。

Scope 网络安全组流日志 虚拟网络流日志
无状态流中的字节和数据包 不支持 已支持
虚拟网络加密的识别 不支持 已支持
Azure API 管理 不支持 已支持
Azure 应用程序网关 不支持 已支持
Azure Virtual Network Manager 不支持 已支持
ExpressRoute 网关 不支持 已支持
虚拟机规模集 已支持 已支持
VPN 网关 不支持 已支持

注释

Azure API 管理 支持 VNet 注入和 VNet 集成部署模型。 Traffic Analytics 目前仅支持 Azure API 管理 实例,这些实例通过 VNet 注入部署。 VNet 集成部署不被支持。

可用性

下表列出了可在其中启用虚拟网络流日志的受支持区域。

区域 虚拟网络流日志 流量分析 Log Analytics 工作区
中国东部 ✓
中国东部 2 ✓ ✓ ✓
中国东部 3 ✓ ✓
中国北部 ✓ ✓ ✓
中国北部 2 ✓ ✓ ✓
中国北部 3 ✓ ✓