Azure Monitor 日志概览
Azure Monitor 日志是一个集中式软件即服务 (SaaS) 平台,用于收集、分析和处理 Azure 与非 Azure 资源及应用程序生成的遥测数据。
可以在一个 Log Analytics 工作区(主要 Azure Monitor 日志资源)中收集日志、管理日志数据和成本,并使用不同类型的数据。 这意味着你永远不必移动数据或管理其他存储,并且可以根据需要保留不同类型的数据,保留时间可长可短。
本文概述了 Azure Monitor 日志的工作原理,并说明了它如何满足组织中不同角色的需求和技能。
注意
Azure Monitor 日志是支持 Azure Monitor 的数据平台的一半。 另一半则是将数值数据存储在时序数据库中的 Azure Monitor 指标。
Azure Monitor 日志工作原理
Azure Monitor 日志提供具有以下功能的工具:
- 使用 Azure Monitor 数据收集方法收集任何数据。 根据需要转换数据以优化成本、删除个人数据等,并将数据路由到 Log Analytics 工作区中的表。
- 通过配置 Log Analytics 工作区和日志表(包括表架构、表计划、数据保留、数据聚合、谁有权访问哪些数据以及与日志相关的成本),管理和优化日志数据和成本。
- 使用 Kusto 查询语言 (KQL) 或不需要 KQL 知识的基于 KQL 的工具和功能(例如 Log Analytics 用户界面中的“简单”模式、预构建的精选监视体验(称为“见解”)和预定义查询),以近实时方式检索数据。
- 将数据灵活地用于各种用例,包括数据分析、故障排除、警报、仪表板和报表、自定义应用程序以及其他 Azure 或非 Azure 服务。
数据收集、路由和转换
使用 Azure Monitor 的数据收集功能,你可以从在 Azure 中运行的、在其他云中运行的和在本地运行的所有应用程序和资源中收集数据。 强大的引入管道支持筛选数据、转换数据以及将数据路由到 Log Analytics 工作区中的目标表,以便优化成本、分析功能和查询性能。
有关数据收集和转换的详细信息,请参阅 Azure Monitor 数据源和数据收集方法和 Azure Monitor 中的数据收集转换。
Log Analytics 工作区
Log Analytics 工作区 是一种数据存储,用于保存在其中收集数据的表。
若要满足使用 Log Analytics 工作区的各种角色的数据存储和消耗需求,可以:
- 根据数据消耗和成本管理需求定义表计划。
- 管理每个表的低成本长期保留和交互式保留。
- 管理工作区和特定表的访问。
- 创建针对特定角色定制的可随时运行的保存的查询、可视化效果,和警报。
还可以配置网络隔离、跨区域复制工作区,并根据业务需求设计工作区体系结构。
表计划
可以使用一个 Log Analytics 工作区存储任何用途所需的任何类型的日志。 例如:
- 需要使用成本低廉的长期存储来满足审核和合规性要求的大量详细数据
- 供开发人员用于进行故障排除的应用和资源数据
- 用于缩放和警报用途以确保持续的卓越运营和安全性的关键事件和性能数据
- 用于进行高级分析和机器学习的聚合长期数据趋势
使用表计划,可以根据表中的数据使用频率以及需要该数据的分析类型来管理数据成本。
下图和表比较了分析、基本和辅助表计划。 有关交互式和长期保留的信息,请参阅管理 Log Analytics 工作区中的数据保留。 有关如何选择或修改表计划的信息,请参阅“选择表计划”。
功能 | 分析 | 基本 | 辅助(预览版) |
---|---|---|---|
最适用于 | 用于持续监视、实时检测和性能分析的高价值数据。 | 故障排除和事件响应所需的中等接触数据。 | 低接触数据,例如详细日志,以及审核和合规性所需的数据。 |
支持的表类型 | 所有表类型 | 支持基本日志的 Azure 表和基于 DCR 的自定义表 | 基于 DCR 的自定义表 |
引入成本 | Standard | 已降低 | 最小 |
包含查询价格 | ✅ | ❌ | ❌ |
优化查询性能 | ✅ | ✅ | ❌ 查询速度较慢。 适用于审核。 未针对实时分析进行优化。 |
查询功能 | 完整的查询功能。 | 单个表上的完整 Kusto 查询语言 (KQL),可以使用查找从 Analytics 表扩展数据。 | 单个表上的完整 KQL,可以使用查找从 Analytics 表扩展数据。 |
警报 | ✅ | ❌ | ❌ |
Insights | ✅ | ❌ | ❌ |
仪表板 | ✅ | ✅ 不包括仪表板刷新的每个查询的成本。 | 有可能,但刷新速度缓慢,不包括仪表板刷新的每个查询的成本。 |
搜索作业 | ✅ | ✅ | ✅ |
还原 | ✅ | ✅ | ❌ |
交互式保留期 | 30 天(Microsoft Sentinel 和 Application Insights 为 90 天)。 可延长至两年,每月按比例收取长期保留费用。 |
30 天 | 30 天 |
总保留期 | 最长 12 年 | 最长 12 年 | 最长 12 年* *公共预览版限制:辅助计划总保留期目前固定为 365 天。 |
注意
辅助表计划目前在由世纪互联运营的 Microsoft Azure 中不可用。
Kusto 查询语言 (KQL) 和 Log Analytics
可以使用 Kusto 查询语言 (KQL) 查询从 Log Analytics 工作区检索数据,其为处理数据和返回结果的只读请求。 KQL 是一种功能强大的工具,可以快速分析数百万条记录。 使用 KQL 浏览日志、转换和聚合数据、发现模式、识别异常和离群值等。
Log Analytics 是 Azure 门户中用于运行日志查询和分析其结果的工具。 通过一组控件,可以使用最常用的 Azure Monitor 日志功能,在直观的类似电子表格的体验中浏览和分析检索到的数据。
如果熟悉 KQL,则可使用 Log Analytics KQL 模式编辑和创建查询,然后在 Azure Monitor 功能(如警报和工作簿)中使用这些查询,或者将其与其他用户共享。
有关 Log Analytics 的详细信息,请参阅 Azure Monitor 中的Log Analytics 概述。
内置见解和自定义仪表板、工作簿和报表
许多 Azure Monitor 的现成特选见解体验会将数据存储在 Azure Monitor 日志中,并直观地呈现此数据,以便可以监视云和混合应用程序及其支持组件的性能和可用性。
还可以使用工作簿、仪表板和 Power BI 创建自己的可视化效果和报表。
用例
下表介绍了一些可使用在 Azure Monitor 日志中收集的数据来派生运营和业务价值的方法。
功能 | 说明 |
---|---|
分析 | 使用 Azure 门户中的 Log Analytics 可以编写日志查询,并通过强大的分析引擎以交互方式分析日志数据。 |
Alert | 配置日志搜索预警规则或日志指标警报,以便在发生特定情况时发送通知或采取自动化操作。 |
可视化 | 将以表格或图表形式呈现的查询结果固定到 Azure 仪表板。 创建一个工作簿以与交互式报表中的多组数据合并。 将查询结果导出到 Power BI,以使用不同的可视化效果并与 Azure 外部的人员共享。 将查询结果导出到 Grafana 以使用其仪表板并与其他数据源合并。 |
获取见解 | 见解针对特定的资源和服务提供自定义的监视体验。 |
检索 | 通过以下方式访问日志查询结果:
|
导入 | 通过 REST API 或用于 .NET、Go、Java、JavaScript 或 Python 的客户端库从自定义应用上传日志。 |
保留用于审核和合规性的数据 | 将数据直接发送到表,并将任何表中的数据保留期延长至 12 年,以便进行审计和合规。 |
使用 Microsoft Defender for Cloud
Microsoft Defender for Cloud 在 Azure 中执行安全监视。
这些服务将其数据存储在 Azure Monitor 日志中,以便能够与 Azure Monitor 收集的其他日志数据一起分析。
了解详细信息
服务 | 详细信息 |
---|---|
Microsoft Defender for Cloud |
后续步骤
- 了解日志查询,以从 Log Analytics 工作区检索和分析数据。
- 了解 Azure Monitor 中的指标。
- 了解适用于 Azure 中各种资源的监视数据。