评估运行是用于组织和存储评估 GenAI 应用结果的 MLflow 运行。 评估运行包括以下内容:
- 跟踪记录:评估数据集中每个输入对应的一条跟踪记录。
- 反馈:附加到每个轨迹的评分员提供的质量评估。
- 指标:聚合所有评估示例的统计信息。
- 元数据:有关评估配置的信息。
如何创建评估过程
调用 mlflow.genai.evaluate()
时会自动创建评估运行。 有关详细信息 mlflow.genai.evaluate()
,请参阅 MLflow 源代码 和 文档。
import mlflow
# This creates an evaluation run
results = mlflow.genai.evaluate(
data=test_dataset,
predict_fn=my_app,
scorers=[correctness_scorer, safety_scorer],
experiment_name="my_app_evaluations"
)
# Access the run ID
print(f"Evaluation run ID: {results.run_id}")
评估运行结构
Evaluation Run
├── Run Info
│ ├── run_id: unique identifier
│ ├── experiment_id: which experiment it belongs to
│ ├── start_time: when evaluation began
│ └── status: success/failed
├── Traces (one per dataset row)
│ ├── Trace 1
│ │ ├── inputs: {"question": "What is MLflow?"}
│ │ ├── outputs: {"response": "MLflow is..."}
│ │ └── feedbacks: [correctness: 0.8, relevance: 1.0]
│ ├── Trace 2
│ └── ...
├── Aggregate Metrics
│ ├── correctness_mean: 0.85
│ ├── relevance_mean: 0.92
│ └── safety_pass_rate: 1.0
└── Parameters
├── model_version: "v2.1"
├── dataset_name: "qa_test_v1"
└── scorers: ["correctness", "relevance", "safety"]