重要
此功能在 Beta 版中。
本页介绍用于实现生产监视的方法。 有关 Azure Databricks 上生产监视的指南，请参阅 GenAI 的生产监视。
记分器实例方法
Scorer.register()
API 参考：Scorer.register
向服务器注册自定义记分器函数。 用于使用 @scorer 修饰器创建的记分器。
@scorer
def custom_scorer(outputs):
return len(str(outputs.get("response", "")))
# Register the custom scorer
my_scorer = custom_scorer.register(name="response_length")
参数：
-
name（str）：试验中记分器的唯一名称。 默认为评分器的现有名称。
返回： 已注册服务器的新Scorer 实例
Scorer.start()
API 参考：Scorer.start
使用指定的采样配置开始联机评估。
from mlflow.genai.scorers import ScorerSamplingConfig
# Start monitoring with sampling
active_scorer = registered_scorer.start(
sampling_config=ScorerSamplingConfig(
sample_rate=0.5,
filter_string="trace.status = 'OK'"
),
)
参数：
-
name（str）：记分器的名称。 如果未提供，则默认为评分器的当前名称。 -
sampling_config（ScorerSamplingConfig）：跟踪采样配置-
sample_rate（float）：要评估的跟踪比例（0.0-1.0）。 默认值：1.0 -
filter_string（str，可选）：用于跟踪选择的 MLflow 兼容筛选器
-
返回： 处于活动状态的新 Scorer 实例
Scorer.update()
API 参考：Scorer.update
修改活动评分器的采样配置。 这是一个不可变的操作。
# Update sampling rate (returns new scorer instance)
updated_scorer = active_scorer.update(
sampling_config=ScorerSamplingConfig(
sample_rate=0.8,
),
)
# Original scorer remains unchanged
print(f"Original: {active_scorer.sample_rate}") # 0.5
print(f"Updated: {updated_scorer.sample_rate}") # 0.8
参数：
-
name（str）：记分器的名称。 如果未提供，则默认为评分器的当前名称。 -
sampling_config（ScorerSamplingConfig）：跟踪采样配置-
sample_rate（float）：要评估的跟踪比例（0.0-1.0）。 默认值：1.0 -
filter_string（str，可选）：用于跟踪选择的 MLflow 兼容筛选器
-
返回： 具有更新配置的新 Scorer 实例
Scorer.stop()
API 参考：Scorer.stop
通过将采样率设置为 0 来停止联机评估。 使记分器保持注册状态。
# Stop monitoring but keep scorer registered
stopped_scorer = active_scorer.stop()
print(f"Sample rate: {stopped_scorer.sample_rate}") # 0
参数：
-
name（str）：记分器的名称。 如果未提供，则默认为评分器的当前名称。
返回： 具有 sample_rate=0 的新 Scorer 实例
记分器注册表函数
mlflow.genai.scorers.get_scorer()
API 参考：get_scorer
按名称检索已注册的记分器。
from mlflow.genai.scorers import get_scorer
# Get existing scorer by name
existing_scorer = get_scorer(name="safety_monitor")
print(f"Current sample rate: {existing_scorer.sample_rate}")
参数：
-
name（str）：已注册的记分器的名称
返回：Scorer 实例
mlflow.genai.scorers.list_scorers()
列出当前试验的所有已注册评分器。
from mlflow.genai.scorers import list_scorers
# List all registered scorers
all_scorers = list_scorers()
for scorer in all_scorers:
print(f"Name: {scorer._server_name}")
print(f"Sample rate: {scorer.sample_rate}")
print(f"Filter: {scorer.filter_string}")
返回：Scorer实例列表
mlflow.genai.scorers.delete_scorer（）
API 参考：delete_scorer
按名称删除已注册的记分器。
from mlflow.genai.scorers import delete_scorer
# Delete existing scorer by name
delete_scorer(name="safety_monitor")
参数：
-
name（str）：已注册的记分器的名称
返回： 没有
记分器属性
Scorer.sample_rate
当前采样率（0.0-1.0）。 返回已停止的记分器的 0。
print(f"Sampling {scorer.sample_rate * 100}% of traces")
Scorer.filter_string
MLflow 跟踪选择的当前跟踪筛选器字符串。
print(f"Filter: {scorer.filter_string}")
配置类
ScorerSamplingConfig
API 参考：ScorerSamplingConfig
保存评分器的采样配置的数据类。
from mlflow.genai import ScorerSamplingConfig
config = ScorerSamplingConfig(
sample_rate=0.5,
filter_string="trace.status = 'OK'"
)
属性：
-
sample_rate（浮点数，可选）：采样率介于 0.0 和 1.0 之间 -
filter_string（str，可选）：MLflow 跟踪筛选器
指标回填
backfill_scorers()
from databricks.agents.scorers import backfill_scorers, BackfillScorerConfig
job_id = backfill_scorers(
experiment_id="your-experiment-id",
scorers=[
BackfillScorerConfig(scorer=safety_scorer, sample_rate=0.8),
BackfillScorerConfig(scorer=response_length, sample_rate=0.9)
],
start_time=datetime(2024, 1, 1),
end_time=datetime(2024, 1, 31)
)
参数：
所有参数都是关键字参数。
-
experiment_id（str， optional）：要回填的试验的 ID。 如果未提供，请使用当前的试验上下文 -
scorers（Union[List[BackfillScorerConfig]， List[str]]， required）：具有自定义采样率的对象列表BackfillScorerConfig（如果 BackfillScorerConfig 中未提供sample_rate，则默认为已注册的记分器的采样率）、或记分器名称列表（字符串）以使用试验计划评分器中的当前采样率。 不能为空。 -
start_time（日期时间，可选）：回填评估的开始时间。 如果未提供，则不应用开始时间约束 -
end_time（日期时间，可选）：回填评估的结束时间。 如果未提供，则不应用结束时间约束
返回： 为状态跟踪创建的回填作业的作业 ID （str）