查看业务流程工作流模型详细信息

完成模型训练后,可以查看模型详细信息,了解模型对于测试集表现出的性能。 观察模型的性能称为评估。 测试集由测试过程中未引入的数据组成。

注意

使用“自动从训练数据拆分测试集”选项,每次训练新模型时可能会产生不同的模型评估结果,因为测试集是从语句中随机选择的。 若要确保每次训练模型时都针对同一测试集计算评估,请确保在启动训练作业时使用“手动拆分训练和测试数据”选项,并在添加语句时定义测试集。

先决条件

在查看模型评估之前,你需要:

有关详细信息,请参阅项目开发生命周期

模型详细信息

在查“看模型详细信息”页面中,你将能够看到所有模型及其当前训练状态和上次训练的日期。

  1. 转到 Language Studio 中的项目页面。

  2. 从屏幕左侧的菜单中选择“模型性能”。

  3. 在此页中,只能查看训练成功的模型、每个模型的 F1 分数和模型到期日期。 可以选择模型名称来了解有关其性能的更多详细信息。

  4. 可以在“概述”下找到模型级别的评估指标,以及意图级别的评估指标。 请参阅评估指标获取详细信息。

    A screenshot of the model performance metrics in Language Studio

  5. 模型的混淆矩阵位于“测试集混淆矩阵”下。 可以看到意图的混淆矩阵。

    注意

    如果这里没有显示模型中的任何意图,那是因为它们不在用于测试集的任何语句中。

加载或导出模型数据

若要加载模型数据,请执行以下操作:

  1. 在“模型评估”页中选择任何模型。

  2. 选择“加载模型数据”按钮。

  3. 确认在出现的窗口中没有需要捕获的任何未保存的更改,然后选择“加载数据”。

  4. 等待模型数据完成加载回项目的过程。 完成后,将重定向回“架构设计”页。

若要导出模型数据,请执行以下操作:

  1. 在“模型评估”页中选择任何模型。

  2. 选择“导出模型数据”按钮。 等待本地下载模型的 JSON 快照。

删除模型

Language Studio 中删除模型:

  1. 在左侧菜单中,选择“模型性能”。

  2. 选择要删除的模型名称,然后选择顶部菜单中的“删除”。

  3. 在出现的窗口中,单击“确定”以删除模型。

后续步骤

  • 在查看模型的性能时,了解所使用的评估指标
  • 如果对模型性能感到满意,便可以部署模型