评估与改进

小窍门

可选地安装 mlflow/skills ,以便与MLflow更深入地集成。

评估衡量的是你的经纪人是否真正优秀——回答是否正确、扎实、安全且完整? MLflow 使用评分器为你的追踪记录评分:包括 LLM 评审器和基于代码的检查,它们会为每条追踪记录附加质量评估结果。 先从 UI 界面中为少量追踪记录评分开始,然后随着应用逐渐成熟,将这些评分器纳入可重复执行的 mlflow.genai.evaluate() 循环中。

快速概览:来自 UI 的评分跟踪

评估你已有的追踪数据,无需编写代码:

  1. 在 Traces 标签页中,使用行复选框选择几个追踪。

  2. 点击 “操作 ”并选择 “评估”。

    选择追踪,然后选择“操作”和“评估”。

  3. 在 运行评分器 对话框中,选择一个或多个评分器:可以从 预构建的“LLM 充当裁判”评分器中选择(例如 Correctness、Completeness 和 Fluency),复用一个你已注册的评分器,或点击 创建评分器。

    运行评分器对话框,列出预置的基于 LLM 裁判的评分器。

  4. 点击运行评分器。 MLflow 对所选追踪运行评分器,将每个结果作为反馈附加到相应的追踪上,并在 “评估运行”选项卡 下记录该次运行。

这与支持程序化评估的是同一套评分机制——你在这里选择的评委是 内置的 LLM 评委,结果会在你的实验中记录为 trace,并附带评分器反馈。

后续步骤