小窍门
可选地安装 mlflow/skills ,以便与MLflow更深入地集成。
评估衡量的是你的经纪人是否真正优秀——回答是否正确、扎实、安全且完整? MLflow 使用评分器为你的追踪记录评分:包括 LLM 评审器和基于代码的检查,它们会为每条追踪记录附加质量评估结果。 先从 UI 界面中为少量追踪记录评分开始,然后随着应用逐渐成熟,将这些评分器纳入可重复执行的 mlflow.genai.evaluate() 循环中。
快速概览:来自 UI 的评分跟踪
评估你已有的追踪数据,无需编写代码:
在 Traces 标签页中,使用行复选框选择几个追踪。
点击 “操作 ”并选择 “评估”。
在 运行评分器 对话框中,选择一个或多个评分器:可以从 预构建的“LLM 充当裁判”评分器中选择(例如 Correctness、Completeness 和 Fluency),复用一个你已注册的评分器,或点击 创建评分器。
点击运行评分器。 MLflow 对所选追踪运行评分器,将每个结果作为反馈附加到相应的追踪上,并在 “评估运行”选项卡 下记录该次运行。
这与支持程序化评估的是同一套评分机制——你在这里选择的评委是 内置的 LLM 评委,结果会在你的实验中记录为 trace,并附带评分器反馈。
后续步骤
教程:评估并改进代理 ——在评估数据集上运行
mlflow.genai.evaluate(),一次性对整个应用版本进行评分并比较不同版本。评分员和LLM评委 ——内置的评判,各自衡量什么,以及何时使用。
设置生产监控 ——自动对生产流量样本运行这些评分器。