监视 Azure 事件中心
本文介绍:
- 可以为此服务收集的监视数据的类型。
- 如何分析这些数据。
如果具有依赖于 Azure 资源的关键应用程序和业务流程,则需要监视并获取系统的警报。 Azure Monitor 服务会从系统的每个组件收集并聚合指标和日志。 Azure Monitor 提供可用性、性能和复原能力视图,并在出现问题时向你发送通知。 可以使用 Azure 门户、PowerShell、Azure CLI、REST API 或客户端库来设置和查看监视数据。
- 有关 Azure Monitor 的详细信息,请参阅 Azure Monitor 概述。
- 有关监视 Azure 资源的常规方法的详细信息,请参阅使用 Azure Monitor 监视 Azure 资源。
Azure Monitor 文档介绍了以下概念:
- 说明是 Azure Monitor?
- 与监视相关的成本
- 监视 Azure 中收集的数据
- 配置数据收集
- Azure 中用于分析监视数据并就其发出警报的标准工具
以下部分介绍为 Azure 事件中心收集的特定数据。 这些部分还提供了使用 Azure 工具配置数据收集和分析此数据的示例。
提示
若想了解与 Azure Monitor 相关的成本,请参阅 Azure Monitor 成本和使用情况。 若要了解数据在 Azure Monitor 中显示需要花多长时间,请参阅 日志数据引入时间。
资源类型
Azure 使用资源类型和 ID 的概念来标识订阅中的所有内容。 同样的,Azure Monitor 根据资源类型(也称为“命名空间”)将核心监视数据组织为指标和日志。 不同的指标和日志可用于不同的资源类型。 服务可能与多种资源类型关联。
资源类型也是 Azure 中运行的每个资源的资源 ID 的一部分。 例如,虚拟机的一种资源类型是 Microsoft.Compute/virtualMachines
。 有关服务及其关联资源类型的列表,请参阅资源提供程序。
有关事件中心的资源类型的详细信息,请参阅 Azure 事件中心监视数据参考。
数据存储
对于 Azure Monitor:
- 指标数据存储在 Azure Monitor 指标数据库中。
- 日志数据存储在 Azure Monitor 日志存储中。 Log Analytics 是 Azure 门户中可以查询此存储的工具。
- Azure 活动日志是一个单独的存储区,在 Azure 门户中有自己的接口。
- 可选择将指标和活动日志数据路由到 Azure Monitor 日志数据库存储,以便可使用 Log Analytics 查询数据并将其与其他日志数据关联。
有关 Azure Monitor 如何存储数据的详细信息,请参阅 Azure Monitor 数据平台。
Azure 存储
如果你使用 Azure 存储来存储诊断日志记录信息,则信息将存储在名为“insights-insight-logs-operationlogs”和“insights-pt1m”的容器中。 操作日志的示例 URL:
https://<Azure Storage account>.blob.core.chinacloudapi.cn/insights-logs-operationallogs/resourceId=/SUBSCRIPTIONS/<Azure subscription ID>/RESOURCEGROUPS/<Resource group name>/PROVIDERS/MICROSOFT.EVENTHUB/NAMESPACES/<Namespace name>/y=<YEAR>/m=<MONTH-NUMBER>/d=<DAY-NUMBER>/h=<HOUR>/m=<MINUTE>/PT1H.json
。 指标日志的 URL 与之类似。Azure 事件中心
如果你使用 Azure 事件中心来存储诊断日志记录信息,则信息将存储在名为“insights-insight-logs-operationlogs”和“insights-metrics-pt1m”的事件中心实例中。 还可以选择现有事件中心,但要为其配置诊断设置的事件中心除外。
Log Analytics
如果使用 Log Analytics 存储诊断日志记录信息,这些信息将会存储在名为“AzureDiagnostics/AzureMetrics”的表中,或特定于资源的表中。
重要
启用这些设置需要额外的 Azure 服务(存储帐户、事件中心或 Log Analytics)。 这些服务可能会增加成本。 若要估算成本,请访问 Azure 定价计算器。
注意
启用诊断设置中的指标时,当前发送到存储帐户、事件中心或 log analytics 的信息中并不包含维度信息。
Azure Monitor 平台指标
Azure Monitor 为大多数服务提供平台指标。 这些指标是:
- 针对每个命名空间单独定义。
- 存储在 Azure Monitor 时序指标数据库中。
- 是轻型数据,并且能够支持准实时警报。
- 用于跟踪资源随时间推移的性能变化。
集合:Azure Monitor 会自动收集平台指标。 不需要任何配置。
路由:通常还可将平台指标路由到 Azure Monitor 日志/Log Analytics,从而可以使用其他日志数据对其进行查询。 有关详细信息,请参阅指标诊断设置。 有关如何为服务配置诊断设置,请参阅在 Azure Monitor 中创建诊断设置。
有关可以为 Azure Monitor 中的所有资源收集的所有指标的列表,请参阅 Azure Monitor 中支持的指标。
在创建诊断设置并将其路由到一个或多个位置之前,不会收集和存储资源日志。 创建诊断设置时,请指定要收集的日志类别。 Azure 事件中心的类别在 Azure 事件中心监视数据参考中列出。
注意
Azure Monitor 不会将维度包括在在发送到目标(如 Azure 存储、Azure 事件中心、Log Analytics 等)的导出指标数据中。
有关事件中心可用指标的列表,请参阅 Azure 事件中心监视数据参考。
分析指标
可以在你事件中心命名空间主页上的“Azure Monitor”部分中选择“指标”,以此来分析 Azure 事件中心的指标以及其他 Azure 服务的指标。 有关使用此工具的详细信息,请参阅使用 Azure Monitor 指标资源管理器分析指标。 有关收集的平台指标的列表,请参阅监视 Azure 事件中心数据引用指标。
若要参考,可以查看 Azure Monitor 中所有受支持的资源指标列表。
提示
Azure Monitor 指标数据有效期为 90 天。 但在创建图表时,只直观显示 30 天的数据。 例如,如果想要直观显示 90 天的数据,必须将它拆分成 90 天内包含 30 天的数据的三个图表。
筛选和拆分
对于支持维度的指标,应用筛选器时可以使用维度值。 例如,将设置为 EntityName
的筛选器添加到事件中心的名称。 还可以按维度来拆分指标,将指标的不同部分进行直观比较。 有关筛选和拆分的详细信息,请参阅 Azure Monitor 的高级功能。
Azure Monitor 资源日志
借助资源日志,可以深入了解 Azure 资源已执行的操作。 日志是自动生成的,但必须将日志路由到 Azure Monitor 日志以保存或查询它们。 日志按类别组织。 给定的命名空间可能具有多个资源日志类别。
收集:在创建诊断设置并将日志路由到一个或多个位置之前,不会收集和存储资源日志。 创建诊断设置时,请指定要收集的日志类别。 可以通过多种方式创建和维护诊断设置,包括 Azure 门户、编程方式以及通过 Azure Policy。
路由:建议的默认设置是将资源日志路由到 Azure Monitor 日志,以便可以使用其他日志数据查询它们。 其他位置(例如 Azure 存储、Azure 事件中心和某些 Azure 监视合作伙伴)也可用。 有关详细信息,请参阅 Azure 资源日志和资源日志目标。
有关收集、存储和路由资源日志的详细信息,请参阅 Azure Monitor 中的诊断设置。
有关 Azure Monitor 中所有可用资源日志类别的列表,请参阅 Azure Monitor 中支持的资源日志。
Azure Monitor 中的所有资源日志都具有相同的标头字段,后跟特定于服务的字段。 Azure Monitor 资源日志架构概述了常见架构。
有关可用的资源日志类别、其关联的 Log Analytics 表以及服事件中心的日志架构,请参阅 Azure 事件中心监视数据参考。
分析日志
使用 Azure Monitor Log Analytics 需要创建诊断配置,并启用将信息发送到 Log Analytics。 有关详细信息,请参阅“指标”部分。 Azure Monitor 日志中的数据以表形式存储,每个表包含自己独有的属性集。 Azure 事件中心能够将日志调度到两个目标表之一: Azure 诊断表或 Log Analytics 中特定于资源的表。 请参阅 Azure 事件中心监视数据参考,详细了解相关日志和指标。
重要
在 Azure 事件中心菜单中选择“日志”时,Log Analytics 随即打开,其查询范围设置为当前工作区。 这意味着日志查询只包含来自该资源的数据。 如果希望运行的查询包含其他数据库或其他 Azure 服务的数据,请从“Azure Monitor”菜单中选择“日志”。 有关详细信息,请参阅 Azure Monitor Log Analytics 中的日志查询范围和时间范围。
使用运行时日志
利用 Azure 事件中心,可使用运行时审核日志和应用程序指标日志监视和审核客户端应用程序的数据平面交互。
使用运行时审核日志可以捕获所有数据平面访问操作(如发布或使用事件)的聚合诊断信息。 应用程序指标日志可捕获某些运行时指标(例如使用者滞后时间和活动连接)的聚合数据,这些指标与连接到事件中心的客户端应用程序相关。
注意
运行时审核日志仅在“高级”和“专用”层中可用。
启用运行时日志
在 Azure 门户中,从“事件中心命名空间”页上的“监视”部分选择“诊断设置”,可启用运行时审核或应用程序指标日志记录。 选择“添加诊断设置”,如下图所示。
然后,可以根据需要启用日志类别:RuntimeAuditLogs 或 ApplicationMetricsLogs。
启用运行时日志后,事件中心将根据诊断设置配置开始收集并存储它们。
发布和使用示例数据
若要在事件中心命名空间中收集示例运行时审核日志,可以使用基于事件中心 SDK 的客户端应用程序发布和使用示例数据。 SDK 使用 Advanced Message Queuing Protocol (AMQP)。 也可以使用任何 Apache Kafka 客户端应用程序。
应用程序指标包括以下运行时指标。
因此,可以使用应用程序指标来监视运行时指标,例如来自指定客户端应用程序的使用者滞后时间或活动连接。 应用程序指标日志参考中定义了与运行时审核日志关联的字段。
Azure 活动日志
活动日志包含订阅级事件,这些事件跟踪从资源外部看到的每个 Azure 资源的操作;例如,创建新资源或启动虚拟机。
收集:活动日志事件会自动生成并收集在单独的存储中,以便在 Azure 门户中查看。
路由:可将活动日志数据发送到 Azure Monitor 日志,以便可以将它们与其他日志数据一起进行分析。 其他位置(例如 Azure 存储、Azure 事件中心和某些 Azure 监视合作伙伴)也可用。 有关如何路由活动日志的详细信息,请参阅 Azure 活动日志概述。
分析监视数据
有许多工具可用于分析监视数据。
Azure Monitor 工具
Azure Monitor 支持以下基本工具:
指标资源管理器,它是 Azure 门户中的工具,可用于查看和分析 Azure 资源的指标。 有关详细信息,请参阅使用 Azure Monitor 指标资源管理器分析指标。
Log Analytics,它是 Azure 门户中的一种工具,支持使用 Kusto 查询语言 (KQL) 来查询和分析日志数据。 有关详细信息,请参阅 Azure Monitor 日志查询入门。
活动日志,它在 Azure 门户中具有用于执行查看和基本搜索的用户界面。 要进行更深入的分析,必须将数据路由到 Azure Monitor 日志,并在 Log Analytics 中运行更复杂的查询。
支持更复杂可视化效果的工具包括:
- 仪表板,它支持将不同类型的数据合并到 Azure 门户的单个窗格中。
- 工作簿,它们是可在 Azure 门户中创建的可自定义报表。 工作簿可以包括文本、指标和日志查询。
- Power BI,它是一项业务分析服务,可提供跨各种数据源的交互式可视化效果。 可将 Power BI 配置为自动从 Azure Monitor 导入日志数据,以利用这些可视化效果。
Azure Monitor 导出工具
可以使用以下方法将数据从 Azure Monitor 中提取到其他工具中:
指标:使用适用于指标的 REST API 从 Azure Monitor 指标数据库提取指标数据。 API 支持使用筛选表达式优化检索到的数据。 有关详细信息,请参阅 Azure Monitor REST API 参考。
日志:使用 REST API 或关联的客户端库。
要开始使用适用于 Azure Monitor 的 REST API,请参阅 Azure 监视 REST API 演练。
Kusto 查询
可使用 Kusto 查询语言 (KQL) 来分析 Azure Monitor 日志/Log Analytics 存储中的监视数据。
重要
在门户的服务菜单中选择“日志”时,会打开 Log Analytics,并且其查询范围设置为当前服务。 此范围意味着日志查询将仅包含来自该资源类型的数据。 如果希望运行的查询包含来自其他 Azure 服务的数据,请从“Azure Monitor”菜单中选择“日志”。 有关详细信息,请参阅 Azure Monitor Log Analytics 中的日志查询范围和时间范围。
有关任何服务的常见查询的列表,请参阅 Log Analytics 查询界面。
示例 Kusto 查询
以下是可用于帮助监视 Azure 事件中心资源的示例查询:
- AzureDiagnostics
- 特定于资源的表
获取过去七天的错误。
AzureDiagnostics | where TimeGenerated > ago(7d) | where ResourceProvider =="MICROSOFT.EVENTHUB" | where Category == "OperationalLogs" | summarize count() by "EventName"
获取过去一小时内生成的运行时审计日志。
AzureDiagnostics | where TimeGenerated > ago(1h) | where ResourceProvider =="MICROSOFT.EVENTHUB" | where Category == "RuntimeAuditLogs"
获取导致“找不到密钥”错误的密钥保管库的尝试访问。
AzureDiagnostics | where ResourceProvider == "MICROSOFT.EVENTHUB" | where Category == "Error" and OperationName == "wrapkey" | project Message
获取使用密钥保管库执行的操作来禁用或还原密钥。
AzureDiagnostics | where ResourceProvider == "MICROSOFT.EVENTHUB" | where Category == "info" and OperationName == "disable" or OperationName == "restore" | project Message
获取捕获失败及其持续时间(以秒为单位)。
AzureDiagnostics | where ResourceProvider == "MICROSOFT.EVENTHUB" | where Category == "ArchiveLogs" | summarize count() by "failures", "durationInSeconds"
分析运行时审核日志
可以使用以下示例查询分析收集的运行时审核日志。
- AzureDiagnostics
- 特定于资源的表
AzureDiagnostics
| where TimeGenerated > ago(1h)
| where ResourceProvider == "MICROSOFT.EVENTHUB"
| where Category == "RuntimeAuditLogs"
在执行查询时,应该能够按以下格式获取相应的审核日志。
通过分析这些日志,应该能够审核每个客户端应用程序与事件中心的交互方式。 运行时审核日志参考中定义了与运行时审核日志关联的每个字段。
分析应用程序指标
可以使用以下示例查询分析收集的应用程序指标日志。
- AzureDiagnostics
- 特定于资源的表
AzureDiagnostics
| where TimeGenerated > ago(1h)
| where Category == "ApplicationMetricsLogs"
警报
在监视数据中发现特定情况时,Azure Monitor 警报会主动向你发出通知。 有了警报,你就可以在客户注意到你的系统中的问题之前找出和解决问题。 有关详细信息,请参阅 Azure Monitor 警报。
Azure 资源的常见警报具有许多来源。 有关 Azure 资源常见警报的示例,请参阅示例日志警报查询。 Azure Monitor 基线警报 (AMBA) 站点提供了 Azure 登陆区域 (ALZ) 方案的关键警报指标、仪表板和指南。
通用警报模式对 Azure Monitor 警报通知的使用体验进行了标准化。 有关详细信息,请参阅常见警报架构。
警报类型
可以针对 Azure Monitor 数据平台中的任何指标或日志数据源发出警报。 警报具有许多不同类型,具体取决于要监视的服务以及要收集的监视数据。 不同类型的警报各有优缺点。 有关详细信息,请参阅选择正确的监视警报类型。
以下列表介绍了可以创建的 Azure Monitor 警报类型:
- 指标警报会定期评估资源指标。 指标可以是平台指标、自定义指标、Azure Monitor 中的日志转换为的指标或 Application Insights 指标。 指标警报还可以应用多个条件和动态阈值。
- 日志警报支持用户使用 Log Analytics 查询按照预定义的频率评估资源日志。
- 当发生匹配所定义条件的新活动日志事件时,会触发活动日志警报。 资源运行状况警报和服务运行状况警报是报告服务和资源运行状况的活动日志警报。
还可以为某些 Azure 服务创建以下类型的警报:
- Application Insights 资源上的智能检测警报会就 Web 应用程序中的潜在性能问题和故障异常自动向你发出警报。 可以在 Application Insights 资源上迁移智能检测,以便为不同的智能检测模块创建警报规则。
- Prometheus 警报:针对 Prometheus 指标的警报,这些指标存储在适用于 Prometheus 的 Azure Monitor 托管服务中。 该警报规则基于 PromQL,它是一种开源查询语言。 你的服务可能不支持此类型警报。 目前,Prometheus 用于具有来宾操作系统的有限服务集,例如 Azure 虚拟机和 Azure 容器实例。
- 对于某些 Azure 资源(包括虚拟机、Azure Kubernetes 服务 [AKS] 资源和 Log Analytics 工作区),提供了现成可用的建议警报规则。
监视多个资源
通过将相同的指标警报规则应用于同一 Azure 区域中的多个相同类型资源,可以进行大规模的监视。 将为每个受监视的资源发送单独通知。 有关受支持的 Azure 服务和云,请参阅使用一项警报规则监视多个资源。
你可以在事件中心命名空间主页上的“Azure Monitor”部分中选择“警报”,以此访问 Azure 事件中心的警报。 请参阅使用 Azure Monitor 创建、查看和管理指标警报,详细了解如何创建警报。
事件中心警报规则
下表列出了事件中心的一些建议警报规则。 这些警报只是示例。 可以为 Azure 事件中心监视数据参考中列出的任何指标、日志条目或活动日志条目设置警报。
警报类型 | 条件 | 说明 |
---|---|---|
指标 | CPU | 当 CPU 使用率超过某设置值时。 |
指标 | 可用内存 | 当可用内存低于设置值时。 |
指标 | 捕获积压工作 (backlog) | 捕获积压工作高于特定值时。 |
顾问建议
如果在资源操作期间出现严重情况或即将发生变化,则门户中的“概述”页面上会显示一个警报。
可以在“监视”下的“顾问建议”中找到警报的详细信息和建议补丁。 在正常操作期间,不会显示任何顾问建议。
有关 Azure 顾问的详细信息,请参阅 Azure 顾问概述。
相关内容
- 有关为 Azure 事件中心创建的指标、日志和其他重要值的参考,请参阅 Azure 事件中心监视数据参考。
- 有关监视 Azure 资源的一般详细信息,请参阅使用 Azure Monitor 监视 Azure 资源。