Compartilhar via

流量分析架构和数据聚合

流量分析是一种基于云的解决方案,可用于洞察云网络中的用户和应用程序活动。 流量分析分析Azure Network Watcher流日志,以便深入了解Azure云中的流量流。 使用流量分析可以:

  • 可视化Azure订阅中的网络活动并确定热点。
  • 参考有关开放的端口、尝试访问 Internet 的应用程序以及连接到恶意网络的虚拟机 (VM) 的信息,识别网络安全威胁和保护网络。
  • 了解跨Azure区域和 Internet 的流量流模式,以优化网络部署的性能和容量。
  • 查明导致网络连接失败的不当网络配置。
  • 了解网络用量(字节、数据包或流)。

数据聚合

  • FlowIntervalStartTimeFlowIntervalEndTime 之间的所有流日志按一分钟间隔捕获为存储帐户中的 Blob。
  • 流量分析的默认处理间隔为 60 分钟,这意味着流量分析每小时都会从存储帐户中选取 Blob 进行聚合。 但是,如果选择了 10 分钟的处理间隔,则流量分析将改为每隔 10 分钟从存储帐户中选取 Blob。
  • 具有相同 Source IPDestination IPDestination portNSG nameNSG ruleFlow DirectionTransport layer protocol (TCP or UDP) 的流将由流量分析聚集成单个流(注意:聚集将排除源端口)。
  • 此单个记录经过装饰(详见下节中的详细信息)并由流量分析引入 Azure Monitor 日志中。 此过程最多可能需要 1 小时。
  • FlowStartTime 字段指示 FlowIntervalStartTimeFlowIntervalEndTime 之间流日志处理间隔中第一次出现此类聚合流(同一个四元组)。
  • 对于流量分析中的任何资源,Azure 门户中显示的流量是观测到的总流量,但在 Azure Monitor 日志中,用户只会看到单条简化的记录。 若要查看所有流,请使用可从存储引用的 blob_id 字段。 该记录的总流数与 Blob 中出现的各个流相匹配。

流量分析架构

流量分析是基于 Azure Monitor 日志构建的,因此您可以对流量分析标记的数据运行自定义查询,并设置警报。

下表列出了架构中的字段及其对虚拟网络流日志的含义。 有关详细信息,请参阅 NTANetAnalytics

Field Format Comments
TableName NTANetAnalytics 流量分析数据表。
SubType FlowLog 流日志的子类型。 仅使用 FlowLog,SubType 的其他值供内部使用
FASchemaVersion 3 架构版本。 未反映虚拟网络流日志版本。
处理时间 日期和时间 (UTC) 流量分析处理存储帐户中的原始流日志的时间。
FlowIntervalStartTime 日期和时间 (UTC) 流日志处理间隔的开始时间(计量流间隔的开始时间)。
FlowIntervalEndTime 日期和时间 (UTC) 流日志处理间隔的结束时间。
FlowStartTime 日期和时间 (UTC) FlowIntervalStartTimeFlowIntervalEndTime 之间的流日志处理间隔中该流的第一次出现(该流会被聚合)。 此流将会基于聚合逻辑进行聚合。
FlowEndTime 日期和时间 (UTC) FlowIntervalStartTimeFlowIntervalEndTime 之间流日志处理间隔中该流的最后一次出现(该流会被聚合)。
FlowType - IntraVNet
- InterVNet
- S2S
- P2S
- AzurePublic
- ExternalPublic
- MaliciousFlow
- Unknown Private
- 未知
请参阅注释了解定义。
SrcIp 源 IP 地址 AzurePublic 和 ExternalPublic 流中的空白。
DestIp 目标 IP 地址 AzurePublic 和 ExternalPublic 流中的空白。
TargetResourceId ResourceGroupName/ResourceName 启用流日志记录和流量分析的资源的 ID。
目标资源类型 VirtualNetwork/Subnet/NetworkInterface 启用流日志记录和流量分析的资源类型(虚拟网络、子网、NIC 或网络安全组)。
FlowLogResourceId ResourceGroupName/NetworkWatcherName/FlowLogName 流日志的资源 ID。
DestPort 目标端口 传入流量的端口。
L4协议 - T
-U
传输协议。 T = TCP
U = UDP
L7协议 协议名称 派生自目标端口。
FlowDirection - I = 入站
- O = 出站
每个流日志的流向:流入或流出目标资源。
流状态 - A = 允许
- D = 拒绝
每个流日志记录的流状态:由目标资源允许或拒绝。
AclGroup <SubscriptionID>/<resourcegroup_Name>/<NSG_Name> 与流关联的网络安全组。
AclRule NSG_Rule_Name 允许或拒绝此流的网络安全组规则。
MAC地址 MAC 地址 捕获流的 NIC 的 MAC 地址。
SrcSubscription 订阅编号 流中的源 IP 所属的虚拟网络/网络接口/虚拟机的订阅 ID。
DestSubscription 订阅编号 流中的目标 IP 所属的虚拟网络/网络接口/虚拟机的订阅 ID。
SrcRegion Azure区域 Azure区域中流中源IP所属的虚拟网络、网络接口、虚拟机。
DestRegion Azure区域 Azure流中目标 IP 所属的虚拟网络区域。
SrcNic < >resourcegroup_Name/<NetworkInterfaceName> 与流中的源 IP 关联的 NIC。
DestNic < >resourcegroup_Name/<NetworkInterfaceName> 与流中的目标 IP 关联的 NIC。
SrcVm <资源组_名称>/<虚拟机名称> 与流中的源 IP 关联的虚拟机。
DestVm <资源组_名称>/<虚拟机名称> 与流中的目标 IP 关联的虚拟机。
SrcSubnet <ResourceGroup_Name>/<VirtualNetwork_Name>/<子网名称> 与流中的源 IP 关联的子网。
DestSubnet <ResourceGroup_Name>/<VirtualNetwork_Name>/<子网名称> 与流中的目标 IP 关联的子网。
SrcApplicationGateway <SubscriptionID>/<ResourceGroupName>/<ApplicationGatewayName> 与流中的源 IP 关联的应用程序网关。
DestApplicationGateway <SubscriptionID>/<ResourceGroupName>/<ApplicationGatewayName> 与流中的目标 IP 关联的应用程序网关。
SrcExpressRouteCircuit <SubscriptionID>/<ResourceGroupName>/<ExpressRouteCircuitName> ExpressRoute 电路ID - 通过 ExpressRoute 从站点发送流量时。
DestExpressRouteCircuit <SubscriptionID>/<ResourceGroupName>/<ExpressRouteCircuitName> ExpressRoute 线路 ID - 当通过 ExpressRoute 从云接收到流量时。
ExpressRouteCircuitPeeringType - AzurePrivatePeering
- AzurePublicPeering
- MicrosoftPeering
流中涉及的 ExpressRoute 对等互连类型。
SrcLoadBalancer <SubscriptionID>/<ResourceGroupName>/<LoadBalancerName> 与流中的源 IP 关联的负载均衡器。
DestLoadBalancer <SubscriptionID>/<ResourceGroupName>/<LoadBalancerName> 与流中的目标 IP 关联的负载均衡器。
SrcLocalNetworkGateway <SubscriptionID>/<ResourceGroupName>/<LocalNetworkGatewayName> 与流中的源 IP 关联的本地网络网关。
DestLocalNetworkGateway <SubscriptionID>/<ResourceGroupName>/<LocalNetworkGatewayName> 与流中的目标 IP 关联的本地网络网关。
连接类型 - VNetPeering
- VpnGateway
- ExpressRoute
连接类型。
连接名称 <SubscriptionID>/<ResourceGroupName>/<ConnectionName> 连接名称。 对于流类型 P2S,其格式设置为 <GatewayName>_<VPNClientIP>
ConnectingVNets 这是一个虚拟网络名称的空格分隔列表。 在中心辐射型拓扑中,中心虚拟网络在此被配置。
国家/地区 双字母国家/地区代码 (ISO 3166-1 alpha-2) 为流类型 ExternalPublic 填充此字段。 PublicIPs 字段中的所有 IP 地址会共享同一个国家/地区代码。
AzureRegion Azure区域位置 将此字段填充为流类型 AzurePublic。 PublicIP 字段中的所有 IP 地址共享Azure区域。
AllowedInFlows - 允许的入站流的数量,表示共享同一个四元组入站到捕获流所在网络接口的流数量。
DeniedInFlows - 拒绝的入站流的数量。 (进入捕获流量的网络接口)。
AllowedOutFlows - 允许的出站流数(出站到捕获流的网络接口)。
DeniedOutFlows - 拒绝的出站流数(指从捕获流量的网络接口出站的流量)。
PacketsDestToSrc - 表示从流的目标向源发送的数据包。
PacketsSrcToDest - 表示在数据流中从源到目标发送的数据包。
BytesDestToSrc - 表示已从目标向流源发送的字节。
BytesSrcToDest - 表示已从源向流目标发送的字节。
CompletedFlows - 已完成的流总数(当流触发已完成事件时,标记为非零值)。
SrcPublicIps <源_PUBLIC_IP>|<流开始计数>|<流结束计数>|<出站包>|<入站包>|<出站字节>|<入站字节> 用竖线分隔的条目。
DestPublicIps < >DESTINATION_PUBLIC_IP|<>FLOW_STARTED_COUNT|<>FLOW_ENDED_COUNT|<OUTBOUND_PACKETS>|<INBOUND_PACKETS>|<>OUTBOUND_BYTES|<INBOUND_BYTES> 用竖线分隔的条目。
流加密 - 已加密
- 未加密
- 不支持的硬件
- 软件未就绪
- 由于没有加密而删除
- 不支持发现
- 同一主机上的目标
- 回退到无加密。
流的加密级别。
PrivateEndpointResourceId <资源组/私有终端资源> 专用终结点的资源 ID。 当流量流入或流出专用终结点资源时被填入。
PrivateLinkResourceId <ResourceGroup/ResourceType/privateLinkResource> 专用链接服务的资源 ID。 当流量流入或流出专用终结点资源时被填入。
PrivateLinkResourceName 纯文本 专用链接服务的资源名称。 当流量流入或流出专用终结点资源时被填入。
IsFlowCapturedAtUDRHop -正确
- 错误
如果在 UDR 跃点处捕获流,则值为 True。

Note

虚拟网络流日志中的 NTANetAnalytics 取代了网络安全组流日志中使用的 AzureNetworkAnalytics_CL

公共 IP 详细信息架构

流量分析为环境中的所有公共 IP 提供 WHOIS 数据和地理位置。 对于恶意 IP,流量分析提供由Azure安全智能解决方案标识的 DNS 域、威胁类型和线程说明。 IP 详细信息将发布到Log Analytics工作区,以便创建自定义查询并向其发出警报。 你还可以通过流量分析仪表板访问已预填充的查询。

下表详细介绍了公共 IP 架构。 有关详细信息,请参阅 NTAIpDetails

Field Format Comments
TableName NTAIpDetails 包含流量分析 IP 详细信息数据的表格。
SubType FlowLog 流日志的子类型。 仅使用 FlowLog。 SubType 的其他值用于产品内部运作。
FaSchemaVersion 3 架构版本。 未反映虚拟网络流日志版本。
FlowIntervalStartTime 日期和时间 (UTC) 流日志处理间隔的开始时间(计量流间隔的开始时间)。
FlowIntervalEndTime 日期和时间 (UTC) 流日志处理间隔的结束时间。
FlowType - AzurePublic
- ExternalPublic
- MaliciousFlow
请参阅注释了解定义。
知识产权 公共 IP 记录中提供信息的公共IP地址。
PublicIPDetails IP 信息 对于 AzurePublic IP:Azure服务拥有该 IP,或该 IP 是 Microsoft 虚拟公网 IP 168.63.129.16。
ExternalPublic/恶意 IP:IP 的 WhoIS 信息。
威胁类型 恶意 IP 带来的威胁 仅限恶意 IP。 当前允许值列表中的一项威胁。 有关详细信息,请参阅注释
DNS域 DNS 域 仅限恶意 IP。 与此 IP 相关的域名。
ThreatDescription 威胁说明 仅限恶意 IP。 恶意 IP 所造成威胁的说明。
位置 IP 位置 针对 Azure 公共 IP:IP 所属的 Azure 区域的虚拟网络/网络接口/虚拟机或针对 IP 168.63.129.16 的全局范围。
- 针对外部公共 IP 和恶意 IP:IP 位置的双字母国家/地区代码 (ISO 3166-1 alpha-2)
网址 对应于恶意 IP 的 URL 仅限恶意 IP。
端口 对应于恶意 IP 的端口 仅限恶意 IP。

Note

  • 虚拟网络流日志中的 NTAIPDetails 取代了网络安全组流日志中使用的 AzureNetworkAnalyticsIPDetails_CL

  • 流量分析可以记录与用于恶意流量的 IP 关联的任何恶意 FQDN。 若要过滤掉,请根据需要使用端口、URL 和域字段。

威胁类型

下表列出了流量分析 IP 详细信息架构中字段当前允许的值 ThreatType

Value Description
Botnet 指标详细描述了僵尸网络节点/成员。
C2 指示器,详细介绍了僵尸网络的命令与控制节点。
CryptoMining 涉及此网络地址/URL 的流量表示加密挖矿/资源滥用。
DarkNet Darknet 节点/网络的指示器。
DDoS 与有效或即将到来的 DDoS 攻击相关的指示器。
MaliciousUrl 服务于恶意软件的 URL。
Malware 描述一个或多个恶意文件的指示器。
Phishing 与网络钓鱼活动相关的指示器。
Proxy 代理服务的指示器。
PUA 可能不需要的应用程序。
WatchList 通用存储桶,当不能准确确定威胁的具体内容或需要手动解释时,将在其中放置指示器。 合作伙伴在将数据提交到系统时通常不应使用 WatchList

Notes

  • 对于 AzurePublicExternalPublic 流,客户拥有的Azure虚拟机 IP 在 VMIP_s 字段中填充,而公共 IP 地址则填充在 PublicIPs_s 字段中。 对于这两种流类型,应使用 VMIP_sPublicIPs_s,而不是 SrcIP_sDestIP_s 字段。 对于 AzurePublic 和 ExternalPublic IP 地址,我们进一步聚合,以最小化引入到 Log Analytics 工作区的记录数。 (此字段将弃用。请使用 SrcIP_s 和 DestIP_s,具体取决于虚拟机是流中的源还是目标)。

  • 某些字段名称追加了 _s_d,它们并不表示源和目标,而是分别指示数据类型“字符串”和“十进制”

  • 根据流中涉及的 IP 地址,我们将流分类为以下流类型:

    • IntraVNet:流中的两个 IP 地址都位于同一个Azure虚拟网络中。
    • InterVNet:流中的 IP 地址位于两个不同的Azure虚拟网络中。
    • S2S (Site-To-Site):其中一个 IP 地址属于Azure虚拟网络,而另一个 IP 地址属于通过 VPN 网关或 ExpressRoute 连接到虚拟网络的客户网络(站点)。
    • P2S(点对站点):其中一个 IP 地址属于 Azure 虚拟网络,另一个 IP 地址属于通过 VPN 网关连接到 Azure 虚拟网络的客户网络(站点)。
    • AzurePublic:其中一个 IP 地址属于Azure虚拟网络,而另 Azure一个 IP 地址是Microsoft拥有的公共 IP 地址。 客户拥有的公共 IP 地址不属于此流类型。 例如,将流量发送到Azure服务(存储终结点)的任何客户拥有的 VM 都将按此流类型进行分类。
    • ExternalPublic:其中一个 IP 地址属于 Azure 虚拟网络,而另一个 IP 地址是一个公共 IP,该 IP 地址不属于 Azure 或客户拥有的订阅部分,对流量分析工具可见,且在 ASC 提供的源中没有被报告为恶意。流量分析在FlowIntervalStartTime_tFlowIntervalEndTime_t之间的处理间隔期间对数据进行分析。
    • MaliciousFlow:其中一个 IP 地址属于 Azure 虚拟网络,而另一个是一个公共 IP,该公共 IP 地址既不归 Azure 所有,也不属于任何客户拥有的订阅。流量分析在 FlowIntervalStartTime_tFlowIntervalEndTime_t 之间的处理间隔中使用的 ASC 数据源报告该 IP 地址为恶意。
    • UnknownPrivate:其中一个 IP 地址属于Azure虚拟网络,而另一个 IP 地址属于 RFC 1918 中定义的专用 IP 范围,并且无法通过流量分析映射到客户拥有的站点或Azure虚拟网络。
    • Unknown:无法将流中的任一 IP 地址与Azure和本地(站点)中的客户拓扑映射。

    Note

    如果订阅包含配置为该工作区的流日志,则对Log Analytics工作区中的流量分析可见。