分析机器人的遥测数据

适用于： SDK v4

分析机器人行为

以下查询集合可用于分析机器人行为。 可以使用该集合在 Azure Monitor Log Analytics 中创作自定义查询，并创建监视和 Power BI 可视化仪表板。

先决条件

对以下内容有基本的了解很有帮助：

• Kusto 查询
• 如何使用 Azure 门户中的 Log Analytics 编写 Azure Monitor 日志查询
• Azure Monitor 中的日志查询的基本概念

仪表板

Azure 仪表板提供了一种很好的方法来查看和共享查询生成的信息。 可将查询与添加到仪表板的磁贴关联起来，从而构建自定义仪表板，以帮助监视机器人活动。 有关仪表板以及如何将查询与仪表板进行关联的详细信息，请参阅创建和共享 Log Analytics 数据的仪表板。 本文的其余部分显示了一些查询示例，这些查询可能对监视机器人行为很有用。

Kusto 查询示例

每个时间段的用户数量

此示例将生成一个折线图，该图显示过去 14 天内每日与机器人通信的不同用户的数量。 通过为 queryStartDate、queryEndDate 和 interval 变量分配不同的值，可以轻松地更改时间段。

// number of users per period
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

每周期用户数查询结果示例

每个时间段的活动

此示例说明了如何测量每个所需维度的活动量，例如过去 14 天内每天的对话、对话或消息数的计数。 通过为 querystartdate、queryEndDate 和 interval 变量分配不同的值，可以轻松地更改时间段。 所需的维度由以下示例中的 extend 子句定义，metric 可设置为 InstanceId、DialogId 或 ActivityId。

将指标分配给要显示的维度：

• InstanceId 用于度量会话的数量
• DialogId 用于度量对话的数量
• ActivityId 用于度量 消息的数量

// Measures the number of activity's (conversations, dialogs, messages) per period.
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend InstanceId = tostring(customDimensions['InstanceId'])
| extend DialogId = tostring(customDimensions['DialogId'])
| extend ActivityId = tostring(customDimensions['activityId'])
| where DialogId != '' and  InstanceId != '' and user_Id != ''
| extend metric = InstanceId // DialogId or ActivityId
| summarize Count=dcount(metric) by  bin(timestamp, groupByInterval)
| order by Count desc nulls last
| render timechart

每周期活动数查询结果示例

每个用户每个时间段的活动

此示例演示如何对每个用户每个时间段的活动数进行计数。 此查询深入到每个时间段的活动查询，以重点关注每个时间段每个用户的活动。 活动包括对话、聊天或消息。 此查询衡量用户与机器人的交互，这可以帮助发现潜在问题，例如：

• 单个用户进行大量活动的天数可能意味着攻击或测试
• 很少互动的日期可能指示服务运行状况问题

// number of users per period per dialogs
let queryStartDate = ago(14d);
let queryEndDate = now();
let interval = 6h;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend InstanceId = tostring(customDimensions['InstanceId'])
| extend DialogId = tostring(customDimensions['DialogId'])
| extend ActivityId = tostring(customDimensions['activityId'])
| where DialogId != '' and InstanceId != '' and user_Id != ''
| extend metric = ActivityId // InstanceId // DialogId // or InstanceId for conversation count
| summarize Count=dcount(metric) by user_Id, bin(timestamp, groupByInterval)
| order by Count desc nulls last

每周期每用户活动数查询结果示例

对话完成

为对话设置遥测客户端后，对话（及其子对话）将发出一些默认遥测数据，例如“已启动”和“已完成”。 该示例可用于度量相对于已启动对话的已完成对话。 如果启动的对话数大于完成的对话数，则表示某些用户未完成对话流。 可以使用此查询来帮助识别和排查任何潜在的对话逻辑问题。 还可以用于识别哪些对话使用频率最高和最低。

完成瀑布对话

// % Completed Waterfall Dialog: shows completes relative to starts
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| where name=="WaterfallStart"
| extend DialogId = customDimensions['DialogId']
| extend InstanceId = tostring(customDimensions['InstanceId'])
| join kind=leftouter (
    customEvents
    | where name=="WaterfallComplete"
    | extend InstanceId = tostring(customDimensions['InstanceId'])
  ) on InstanceId
| summarize started=countif(name=='WaterfallStart'), completed=countif(name1=='WaterfallComplete') by tostring(DialogId)
| where started > 100  // filter for sample
// Show starts vs. completes
| project tostring(DialogId), started, completed
| order by started desc, completed asc  nulls last
| render barchart  with (kind=unstacked, xcolumn=DialogId, ycolumns=completed, started, ysplit=axes)

自适应对话已启动并完成

// % Completed adaptive dialog: shows completes relative to starts. This type is the default dialog type when using Copilot Studio or Composer. 
customEvents
| where name=="AdaptiveDialogStart" or name == "AdaptiveDialogComplete"
| extend DialogId = tostring(customDimensions['DialogId'])
| summarize started=countif(name=='AdaptiveDialogStart'), completed=countif(name=='AdaptiveDialogComplete') by DialogId
| project DialogId, started, completed
| order by started desc, completed asc nulls last
| render barchart with (kind=unstacked, xcolumn=DialogId, ycolumns=completed, started, ysplit=axes)

完成对话查询结果示例

对话未完成

此示例可用于计算在指定的时间段内由于取消或终止而启动但从未完成的对话流的数量。 可以使用它来查看未完成的对话，并检查它们是由于用户混淆而被主动取消，还是由于用户分心或失去兴趣而被放弃。

瀑布对话未完成

// Show incomplete dialogs when using waterfall dialogs.
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents 
| where timestamp > queryStartDate 
| where timestamp < queryEndDate
| where name == "WaterfallStart" 
| extend DialogId = customDimensions['DialogId']
| extend instanceId = tostring(customDimensions['InstanceId'])
| join kind=leftanti (
  customEvents
  | where name == "WaterfallComplete" 
  | extend instanceId = tostring(customDimensions['InstanceId'])
  ) on instanceId
| summarize cnt=count() by  tostring(DialogId)
| order by cnt
| render barchart

自适应对话未完成

// Show incomplete dialogs for adaptive dialogs; this type is the default dialog type when using Copilot Studio or Composer.
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where name == "AdaptiveDialogStart"
| extend DialogId = tostring(customDimensions['DialogId'])
| join kind=rightanti (
customEvents
| where name == "AdaptiveDialogComplete"
| extend DialogId = tostring(customDimensions['DialogId'])
) on name, DialogId
| summarize cnt=count() by DialogId
| order by cnt
| render barchart

未完成对话查询结果示例

对话序列深度探索

聊天中瀑布式对话的开始/步骤/完成

此示例显示了按对话 (instanceId) 分组的对话步骤序列，这对于确定哪些步骤会导致对话中断非常有用。

若要运行此查询，请输入所需 DialogId 的值，代替 <SampleDialogId>

// Drill down: Show waterfall start/step/complete for specific dialog
let queryStartDate = ago(14d);
let queryEndDate = now();
let DialogActivity=(dlgid:string) {
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = customDimensions['DialogId']
| extend StepName = customDimensions['StepName']
| extend InstanceId = customDimensions['InstanceId']
| where DialogId == dlgid
| project timestamp, name, StepName, InstanceId
| order by tostring(InstanceId), timestamp asc
};
// For example see SampleDialogId behavior
DialogActivity("<SampleDialogId>")

let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = customDimensions['DialogId']
| extend StepName = customDimensions['StepName']
| extend InstanceId = customDimensions['InstanceId']
| where DialogId == "<SampleDialogId>"
| project timestamp, name, StepName, InstanceId
| order by tostring(InstanceId), timestamp asc

示例查询结果

₁ 已完成

₂ 已终止

解释：用户似乎在 GetPointOfInterestLocations 步骤终止了聊天。

瀑布式对话的开始/步骤/完成/取消步骤的汇总数据

此示例显示了以下内容的汇总数据：开始对话序列的总次数、瀑布式步骤的组合总数、已成功完成的次数、已取消的次数，以及 WaterfallStart 和 WaterfallComplete 加上 WaterfallCancel 的组合总数之间的差值，通过这些信息可了解终止的总次数。

// Drill down: Aggregate view of waterfall start/step/complete/cancel steps totals for specific dialog
let queryStartDate = ago(14d);
let queryEndDate = now();
let DialogSteps=(dlgid:string) {
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = customDimensions['DialogId']
| where DialogId == dlgid
| project name
| summarize count() by name
};
// For example see SampleDialogId behavior
DialogSteps("<SampleDialogId>")

瀑布聚合查询结果示例

解释：在对话序列的 21 次调用中，只有 11 次完成，9 次被放弃，1 次被用户取消。

对话的平均持续时间

此示例测量用户在给定对话中花费的平均时间。 机器人可能会从简化用户需要很长时间才能完成的对话中受益。

// Average dialog duration
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| where name=="WaterfallStart"
| extend DialogId = customDimensions['DialogId']
| extend instanceId = tostring(customDimensions['InstanceId'])
| join kind=leftouter (customEvents | where name=="WaterfallCancel" | extend instanceId = tostring(customDimensions['InstanceId'])) on instanceId
| join kind=leftouter (customEvents | where name=="WaterfallComplete" | extend instanceId = tostring(customDimensions['InstanceId'])) on instanceId
| extend duration = case(not(isnull(timestamp1)), timestamp1 - timestamp,
not(isnull(timestamp2)), timestamp2 - timestamp, 0s) // Abandoned aren't counted. Alternate: now()-timestamp
| extend seconds = round(duration / 1s)
| summarize AvgSeconds=avg(seconds) by tostring(DialogId)
| order by AvgSeconds desc nulls last
| render barchart with (title="Duration in Dialog")

平均持续时间查询结果示例

对话的平均步骤

此示例显示了每个被调用的对话的“长度”，由平均值、最小值、最大值和标准偏差计算得出。 此内容有助于分析对话质量。 例如：

• 应评估步骤过多的对话是否有简化的机会。
• 如果对话的最小值/最大值/平均值之间存在很大差异，则可能意味着用户在试图完成任务时陷入了停顿。 你可能需要评估用较短路径完成任务的可能性，或者减少对话复杂性的方法。
• 具有大型标准偏差的对话表示路径复杂或经验不足（终止/取消）。
• 很少步骤的对话可能是这样的，因为它们从未完成。 分析完成/终止率可能有助于进行确定。

// min/max/std/avg steps per dialog
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend DialogId = tostring(customDimensions['DialogId'])
| extend StepName = tostring(customDimensions['StepName'])
| extend InstanceId = tostring(customDimensions['InstanceId'])
| where name == "WaterfallStart" or  name == "WaterfallStep" or  name == "WaterfallComplete"
| order by InstanceId, timestamp asc
| project timestamp, DialogId, name, InstanceId, StepName
| summarize cnt=count() by InstanceId, DialogId
| summarize avg=avg(cnt), minsteps=min(cnt),maxsteps=max(cnt), std=stdev(cnt) by DialogId
| extend avgsteps = round(avg, 1)
| extend avgshortbysteps=maxsteps-avgsteps
| extend avgshortbypercent=round((1.0 - avgsteps/maxsteps)*100.0, 1)
| project DialogId, avgsteps, minsteps, maxsteps, std, avgshortbysteps, avgshortbypercent
| order by std desc nulls last

平均步骤数查询结果示例

__解释：例如，FindArticlesDialog 在最小/最大值之间有很大的差异，应进行调查，并可能需要重新设计和优化。

按活动指标划分的通道活动

此示例测量了在给定时间段内机器人接收每个通道的活动量。 它通过对以下任一指标进行计数来实现此操作：传入消息、用户、聊天或对话。 这对于服务运行状况分析或衡量通道受欢迎程度非常有用。

// number of metric: messages, users, conversations, dialogs by channel
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| extend InstanceId = tostring(customDimensions['InstanceId'])
| extend DialogId = tostring(customDimensions['DialogId'])
| extend ActivityId = tostring(customDimensions['activityId'])
| extend ChannelId = tostring(customDimensions['channelId'])
| where DialogId != '' and  InstanceId != '' and user_Id != ''
| extend metric = user_Id // InstanceId or ActivityId or user_Id
| summarize Count=count(metric) by  ChannelId, bin(timestamp, groupByInterval)
| order by Count desc nulls last
| render barchart with (title="Users", kind=stacked) // or Incoming Messages or Conversations or Users

通过通道逐个活动进行查询的结果示例

解释：仿真器测试曾经是最受欢迎的通道，但我们将 DirectLineSpeech 投入使用后，后者就成为了最受欢迎的通道。

按受欢迎程度分类的总意向数

此示例适用于启用 LUIS 的机器人。 它按流行程度对所有意向进行了总结，并给出了相应的意向检测确定性分数。

• 在实践中，应为每个指标分隔视图。
• 常见意向路径应针对用户体验进行优化。
• 较低的平均分数表示识别能力差，可能缺少实际用户意向。

// show total intents
let queryStartDate = ago(14d);
let queryEndDate = now();
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| where name startswith "LuisResult"
| extend intentName = tostring(customDimensions['intent'])
| extend intentScore = todouble(customDimensions['intentScore'])
| summarize ic=count(), ac=avg(intentScore)*100 by intentName
| project intentName, ic, ac
| order by ic desc nulls last
| render barchart with (kind=unstacked, xcolumn=intentName, ycolumns=ic,ac, title="Intents Popularity")

按受欢迎程度进行分类的意向数的查询结果示例

解释：例如，在最常见的意向中，检测到确认平均只有 23% 的置信度。

机器人分析检测的架构

下表显示了机器人将向其记录遥测数据的最常见字段。

常规包络线

Application Insights 检测中的常见日志分析字段。

自定义维度

大多数机器人特定活动数据都存储在“customDimensions”字段中。

自定义维度：LUIS

LUIS 检测用于将其数据存储在以下自定义维度字段中。

自定义维度：QnAMaker

QnAMaker 检测用于将其数据存储在以下自定义维度字段中。

另请参阅

• 有关编写日志查询的教程，请参阅 Azure Monitor 中的日志查询入门
• 直观显示 Azure Monitor 中的数据
• 了解如何将遥测功能添加到机器人
• 了解 Azure Monitor 日志查询的详细信息
• Bot Framework Application Insights 事件的完整列表
• 创建和共享 Log Analytics 数据的仪表板