预测评分指示意向和实体的预测准确性

重要

LUIS 将于 2025 年 10 月 1 日停用,从 2023 年 4 月 1 日开始,你将无法创建新的 LUIS 资源。 建议将 LUIS 应用程序迁移对话语言理解,以便从持续的产品支持和多语言功能中受益。

预测分数表示 LUIS 对用户话语预测结果的置信度。

预测分数在零 (0) 到一 (1) 之间。 例如,一个置信度很高的 LUIS 分数可以是 0.99。 置信度低的分数可以是 0.01。

分数值 置信度
1 明确匹配
0.99 高置信度
0.01 低置信度
0 明确匹配失败

得分最高的意向

每个话语预测都会返回一个评分最高的意向。 此预测是对预测分数的数值比较。

分数彼此接近

最高 2 个分数的差距可能很小。 LUIS 不会指明这种分差,只会返回最高分数。

返回所有意向的预测分数

测试或终结点结果可以包括所有意向。 此配置是使用正确的 querystring 名称/值对在终结点上设置的。

预测 API Querystring 名称
V3 show-all-intents=true
V2 verbose=true

查看分数相近的意向

审查所有意向的分数可很好地验证不仅识别到了话语的正确意向,而且该意向的分数始终明显高于识别到话语的下一个意向。

如果多个意向的预测分数相近,LUIS 可基于话语的上下文在这些意向之间进行切换。 若要解决这种情况,可以继续为每个意向添加具有更广泛上下文差异的话语,或者让客户端应用程序(例如聊天机器人)通过编程选择如何处理前两个意向。

分数太接近的两个意向可能会由于非确定性训练而反转。 最高分可能会变为第二高分,第二高分可能会变为最高分。 为了防止此情况,请向该话语的前两个意向添加示例话语,并在示例话语中包含单词选择和用于区分两个意向的上下文。 这两个意图应该具有相同数量的示例话语。 防止由于训练而造成反转的一个间隔经验法则是,让分数有 15% 的差值。

可以通过使用所有数据进行训练来关闭非确定性训练

不同训练会话之间的预测差异

如果在不同的应用中训练相同的模型,但分数不同,这种差异是因为存在非确定性训练(一种随机性因素)。 其次,如果话语的多个意向重叠,则意味着相同话语中评分最高的意向可能会因训练而发生变化。

如果聊天机器人需要一个特定的 LUIS 分数来指示意向的置信度,则应使用前两个意向之间的分差。 这种情况可更灵活地应对训练过程中的变化。

可以通过使用所有数据进行训练来关闭非确定性训练

E(指数)表示法

预测分数可采用指数表示法,显示超过 0 到 1 这个范围的值,例如 9.910309E-07。 此分数指示的是非常小的数 。

E 表示法分数 实际分数
9.910309E-07 .0000009910309

应用程序设置

使用应用程序设置来控制音调符号和标点符号影响预测分数的方式。

后续步骤

请参阅添加实体,详细了解如何将实体添加到 LUIS 应用。