Splunk 到 Kusto 备份单

2024-09-29

适用于：✅Azure 数据资源管理器✅Azure Monitor✅Microsoft Sentinel

本文旨在帮助熟悉 Splunk 的用户学习 Kusto 查询语言，以便使用 Kusto 编写日志查询。本文对二者进行了直接比较，以便强调它们的主要差异和相似之处，从而方便你在现有知识的基础上进行积累。

结构和概念

下表比较了 Splunk 和 Kusto 日志的概念与数据结构：

概念	Splunk	Kusto	评论
部署单元	cluster	cluster	Kusto 允许跨群集进行任意查询， Splunk 不允许。
数据缓存	存储桶	缓存和保留策略	控制数据的保留期和缓存级别。此设置直接影响查询性能和部署成本。
数据的逻辑分区	索引	database	允许数据的逻辑隔离。这两个实现都允许跨这些分区的联合与联接。
结构化事件元数据	空值	表	Splunk 没有将事件元数据的概念公开给搜索语言。 Kusto 日志有表的概念，表包含列。每个事件实例映射到行。
record	event	行	仅限术语变化。
record 属性	field	列	在 Kusto 中，此设置预定义为表结构的一部分。在 Splunk 中，每个事件有自身的字段集。
types	数据类型	数据类型	Kusto 数据类型更明确，因为它们是在列中设置的。两者都能动态处理数据类型，并且两者的数据类型集（包括 JSON 支持）大致相同。
查询和搜索	搜索	query	概念在 Kusto 和 Splunk 之间在本质上相同。
事件引入时间	系统时间	`ingestion_time()`	在 Splunk 中，每个事件都会获取编制事件索引时的系统时间戳。在 Kusto 中，可以定义名为 ingestion_time 的策略，用于公开可通过 ingestion_time() 函数引用的系统列。

函数

下表指定了 Kusto 中等效于 Splunk 函数的函数。

Splunk	Kusto	评论
`strcat`	`strcat()`	(1)
`split`	`split()`	(1)
`if`	`iff()`	(1)
`tonumber`	`todouble()` `tolong()` `toint()`	(1)
`upper` `lower`	`toupper()` `tolower()`	(1)
`replace`	`replace_string()`、`replace_strings()` 或 `replace_regex()`	(1) 尽管这两个产品中的 `replace` 函数采用三个参数，但这些参数是不同的。
`substr`	`substring()`	(1) 另请注意，Splunk 使用从 1 开始的索引。 Kusto 记录从 0 开始的索引。
`tolower`	`tolower()`	(1)
`toupper`	`toupper()`	(1)
`match`	`matches regex`	(2)
`regex`	`matches regex`	在 Splunk 中，`regex` 是运算符。在 Kusto 中，它是关系运算符。
`searchmatch`	==	在 Splunk 中，`searchmatch` 允许搜索确切的字符串。
`random`	rand() rand(n)	Splunk 的函数会返回 0 到 2³¹-1 之间的数字。 Kusto 的函数会返回 0.0 到 1.0 之间的数字；如果提供了参数，则会返回 0 到 n-1 之间的数字。
`now`	`now()`	(1)
`relative_time`	`totimespan()`	(1) 在 Kusto 中，Splunk 的 `relative_time(datetimeVal, offsetVal)` 等效项为 `datetimeVal + totimespan(offsetVal)`。例如，`search` \| `eval n=relative_time(now(), "-1d@d")` 变成了 `...` \| `extend myTime = now() - totimespan("1d")`。

(1) 在 Splunk 中，使用 eval 运算符调用该函数。在 Kusto 中，它用作 extend 或 project 的一部分。
(2) 在 Splunk 中，使用 eval 运算符调用该函数。在 Kusto 中，该函数可以与 where 运算符配合使用。

运算符

以下部分通过示例演示如何在 Splunk 和 Kusto 中使用不同的运算符。

注意

在以下示例中，Splunk 字段 rule 映射到 Kusto 中的某个表，Splunk 的默认时间戳映射到 Logs Analytics 的 ingestion_time() 列。

搜索

在 Splunk 中，可以省略 search 关键字，并指定不带引号的字符串。在 Kusto 中，每个查询必须以 find 开头，不带引号的字符串是列名，查找值必须是带引号的字符串。

产品	运算符	示例
Splunk	`search`	`search Session.Id="c8894ffd-e684-43c9-9125-42adc25cd3fc" earliest=-24h`
Kusto	`find`	`find Session.Id=="c8894ffd-e684-43c9-9125-42adc25cd3fc" and ingestion_time()> ago(24h)`

筛选器

Kusto 日志查询从应用了 filter 的表格结果集开始。在 Splunk 中，筛选是针对当前索引执行的默认操作。你还可以在 Splunk 中使用 where 运算符，但我们不建议那样做。

产品	运算符	示例
Splunk	`search`	`Event.Rule="330009.2" Session.Id="c8894ffd-e684-43c9-9125-42adc25cd3fc" _indextime>-24h`
Kusto	`where`	`Office_Hub_OHubBGTaskError` \| `where Session_Id == "c8894ffd-e684-43c9-9125-42adc25cd3fc" and ingestion_time() > ago(24h)`

获取要检查的 n 个事件或行

Kusto 日志查询还支持将 take 用作 limit 的别名。在 Splunk 中，如果结果已排序，则 head 会返回前 n 个结果。在 Kusto 中，limit 不会排序，而是返回找到的前 n 行。

产品	运算符	示例
Splunk	`head`	`Event.Rule=330009.2` \| `head 100`
Kusto	`limit`	`Office_Hub_OHubBGTaskError` \| `limit 100`

获取按字段或列排序的前 n 个事件或行

对于底部结果，在 Splunk 中可以使用 tail。在 Kusto 中，可以使用 asc 指定排序方向。

产品	运算符	示例
Splunk	`head`	`Event.Rule="330009.2"` \| `sort Event.Sequence` \| `head 20`
Kusto	`top`	`Office_Hub_OHubBGTaskError` \| `top 20 by Event_Sequence`

使用新字段或列扩展结果集

Splunk 有一个 eval 函数，但该函数不可与 Kusto 中的 eval 运算符相比。 Splunk 中的 eval 运算符与 Kusto 中的 extend 运算符均仅支持标量函数和算术运算符。

产品	运算符	示例
Splunk	`eval`	`Event.Rule=330009.2` \| `eval state= if(Data.Exception = "0", "success", "error")`
Kusto	`extend`	`Office_Hub_OHubBGTaskError` \| `extend state = iff(Data_Exception == 0,"success" ,"error")`

重命名

Kusto 使用 project-rename 运算符来重命名字段。在 project-rename 运算符中，查询可以利用为字段预先生成的任何索引。 Splunk 提供的 rename 运算符也有相同的作用。

产品	运算符	示例
Splunk	`rename`	`Event.Rule=330009.2` \| `rename Date.Exception as execption`
Kusto	`project-rename`	`Office_Hub_OHubBGTaskError` \| `project-rename exception = Date_Exception`

设置结果和投影的格式

Splunk 使用 table 命令选择要包含在结果中的列。 Kusto 提供的 project 运算符也有相同的作用，甚至更多。

产品	运算符	示例
Splunk	`table`	`Event.Rule=330009.2` \| `table rule, state`
Kusto	`project`	`Office_Hub_OHubBGTaskError` \| `project exception, state`

Splunk 使用 fields - 命令选择要从结果中排除的列。 Kusto 提供的 project-away 运算符也有相同的作用。

产品	运算符	示例
Splunk	`fields -`	`Event.Rule=330009.2` \| `fields - quota, hightest_seller`
Kusto	`project-away`	`Office_Hub_OHubBGTaskError` \| `project-away exception, state`

聚合

请参阅可用的 summarize 聚合函数的列表。

Splunk 运算符	Splunk 示例	Kusto 运算符	Kusto 示例
`stats`	`search (Rule=120502.*)` \| `stats count by OSEnv, Audience`	`summarize`	`Office_Hub_OHubBGTaskError` \| `summarize count() by App_Platform, Release_Audience`
`evenstats`	`...` \| `stats count_i by time, category` \| `eventstats sum(count_i) AS count_total by _time_`	`join`	`T2` \| `join kind=inner (T1) on _time` \| `project _time, category, count_i, count_total`

联接

Splunk 中的 join 具有实质性的限制。子查询限制为 10,000 条结果（在部署配置文件中设置），联接风格数目也有限制。

产品	运算符	示例
Splunk	`join`	`Event.Rule=120103* \| stats by Client.Id, Data.Alias` \| `join Client.Id max=0 [search earliest=-24h Event.Rule="150310.0" Data.Hresult=-2147221040]`
Kusto	`join`	`cluster("OAriaPPT").database("Office PowerPoint").Office_PowerPoint_PPT_Exceptions` \| `where Data_Hresult== -2147221040` \| `join kind = inner (Office_System_SystemHealthMetadata` \| `summarize by Client_Id, Data_Alias)on Client_Id`

Sort

默认排序顺序为升序。若要指定降序，请在字段名称前添加减号 (-)。 Kusto 还支持定义 null 值的放置位置：开头或末尾。

产品	运算符	示例
Splunk	`sort`	`Event.Rule=120103` \| `sort -Data.Hresult`
Kusto	`order by`	`Office_Hub_OHubBGTaskError` \| `order by Data_Hresult, desc`

多值扩展

多值扩展运算符在 Splunk 和 Kusto 中类似。

产品	运算符	示例
Splunk	`mvexpand`	`mvexpand solutions`
Kusto	`mv-expand`	`mv-expand solutions`

在 Azure 门户的 Log Analytics 中，仅公开第一列。可通过 API 查看所有列。

产品	运算符	示例
Splunk	`fields`	`Event.Rule=330009.2` \| `fields App.Version, App.Platform`
Kusto	`facets`	`Office_Excel_BI_PivotTableCreate` \| `facet by App_Branch, App_Version`

删除重复数据

在 Kusto 中，可以使用 summarize arg_min() 来反转记录的选择顺序。

产品	运算符	示例
Splunk	`dedup`	`Event.Rule=330009.2` \| `dedup device_id sortby -batterylife`
Kusto	`summarize arg_max()`	`Office_Excel_BI_PivotTableCreate` \| `summarize arg_max(batterylife, *) by device_id`

演练 Kusto 查询语言教程。

通过