用聊天界面测试代理

MLflow Review 应用内置聊天界面，允许领域专家交互式测试您的代理并提供即时反馈。 使用聊天 UI 作为评估应用氛围的一种方式。

查看应用聊天 UI

何时使用聊天 UI 测试

聊天界面测试适用于当您想要以下情况时：

  • 测试与领域专家之间的对话流程和多轮互动

  • 收集有关应用程序响应和行为的专家反馈

  • 在生产部署之前验证安全环境中的更新

先决条件

  • 必须安装 MLflow 和所需的包。 本指南中所述的功能需要 MLflow 3.1.0 或更高版本。 运行以下命令来安装或升级 MLflow SDK，包括 Databricks 集成所需的附加内容：

    pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"

  • 你的开发环境必须连接到 MLflow 实验，记录你的代理痕迹。

  • 领域专家必须具备以下所有条件才能使用审核应用的聊天界面：

    • 账户配置：审核员必须在你的Databricks账户中配置。 账户管理员可以使用账户级的 SCIM 配置来同步身份提供者的用户，或手动注册用户和组。 有关详细信息，请参阅用户和组管理。

    • 工作区访问权限：审核员必须拥有承载实验工作空间的该工作区 访问权限 。 Review 应用通过需要该权限的 Workspace UI 路由加载，因此仅靠账户配置是不够的。 参见“ 将用户分配到工作区 以分配权限”。

    • 端点访问：模型服务端点上的 CAN_QUERY 权限。

使用聊天 UI 设置和收集反馈

MLflow Review 应用的聊天界面连接已部署的代理版本，允许领域专家与应用聊天并即时反馈。 按照以下步骤设置聊天 UI 并收集反馈：

  1. 使用自定义代理打包应用，并使用“在应用上部署”作为模型服务终结点进行部署。

  2. 将终结点添加到试验的评审应用：

    注释

    以下示例将 Databricks 托管 LLM 添加到评审应用。 将终结点替换为步骤 1 中的应用终结点。

    from mlflow.genai.labeling import get_review_app

# Get review app for current MLflow experiment
review_app = get_review_app()

# Connect your deployed agent endpoint
review_app.add_agent(
    agent_name="claude-sonnet",
    model_serving_endpoint="databricks-claude-sonnet-4-5",
)

print(f"Share this URL: {review_app.url}/chat")

  3. 配置后，请与域专家共享评审应用 URL。 他们将能够：

  • 通过 Web 浏览器访问聊天界面

  • 通过键入问题与应用程序交互

  • 使用内置反馈控件在每个响应后提供反馈

  • 继续对话以测试多个交互

审查应用内容呈现

聊天 UI 使用域专家查询作为输入、实时代理终结点响应作为输出，并将结果存储在 MLflow 跟踪中。 无需提供自定义标记架构，因为此方法使用固定的反馈问题。

“审阅应用”会自动呈现 MLflow 跟踪中的不同内容类型：

  • 检索的文档：RETRIEVER 跨度内的文档被渲染以供显示

  • OpenAI 格式消息：呈现遵循 OpenAI 聊天对话格式的 MLflow 跟踪的输入和输出：

    • outputs 包含 OpenAI 格式 ChatCompletions 对象的

    • 或字典包含一个具有 键的数组，该数组包含 OpenAI 格式的聊天消息

      • messages如果数组包含 OpenAI 格式工具调用，则也会被呈现

  • 字典：作为 MLflow Trace 的输入和输出如果是字典，会呈现为美化打印的 JSON

否则，每个跟踪的input和output根范围的内容将被用作主要内容进行审核。

查看聊天反馈

所有通过聊天 UI 收集的交互和反馈都会自动捕获为 MLflow 中的记录。

若要查看聊天交互中的轨迹，请执行以下步骤：

  1. 导航到 MLflow UI

  2. 查找与您的审阅应用会话相关的实验

  3. 浏览日志以查看完整的对话历史记录

  4. 查看每个响应所附的反馈意见

后续步骤

下一步：评估数据集参考

  • 上次更新时间为