人工智能代理分担责任模型

人工智能代理将生成式人工智能扩展到人工智能共享 责任模型 所描述的请求/响应模式之外。 与大型语言模型不同，智能体并不只是返回供人类据此采取行动的内容。 相反，是代理：

  • 自主行动。 它可以调用工具、调用API、编写数据并触发工作流程，而无需人工批准。
  • 计划与循环。 它会分解目标，基于中间结果进行推理，并在返回结果前多次重新提示自己。
  • 保存状态和内存信息。 短期上下文加上持续记忆会影响未来的行为，并可能跨越会话或用户的边界。
  • 具有身份。 它通过托管身份、代表令牌或 独立代理身份向下游系统认证，并且拥有自身的权限。
  • 可与其他代理组合使用。 在多智能体编排中，一个智能体的输出会变成另一个智能体的指令，从而引入新的信任边界。

这些行为都引入了请求/响应AI模型中不存在的责任。

Note

本文将“责任”一词用于治理层面：谁应负责配置、操作和监控每项控制。 这只是说明性指导，不旨在传达法律结论，也无意修改或矛盾您与Microsoft之间任何协议的条款。

人工智能代理与云和人工智能工作负载的区别

下表总结了AI代理模型与标准云模型和生成式人工智能（LLM）模型的区别。

关注 标准云模型 人工智能（LLM）模型 人工智能代理模型
主要相互作用 API 或 GUI 回复提示 实现自主多步骤操作的目标
现实世界的副作用 应用程序代码，显式的 人类根据输出采取行动 代理直接通过工具行动
State 应用与数据层 无状态提示词 持久代理内存与上下文
Identity 用户或应用身份 用户或应用身份 独立代理身份加上委托令牌
信任边界 用户到应用 用户到模型 用户 → 代理 → 工具 → 其他代理
最高风险 配置错误，数据暴露 提示注入（内容） 即时注入驱动动作;过度自主;困惑的副警长

责任划分

与 云 和 人工智能 的共同责任模型一样，责任分工会随着你选择的部署模型而变化。 对于经纪人来说，相关的选项包括：

  • SaaS代理。 现成代理，如 智能 Microsoft 365 Copilot 副驾驶® 代理、智能 Microsoft Security Copilot 副驾驶® 或已发布的 Microsoft Copilot Studio 代理。 Microsoft负责编排器、模型、安全系统以及大多数工具连接器。 你拥有配置、数据访问范围、身份和使用权。
  • PaaS代理。 你可以在托管代理平台上构建代理，比如 Microsoft Foundry Agent Service、Azure SRE 代理、自定义的 Microsoft Copilot Studio 代理，或在 Azure 管理的运行时上使用 Microsoft Agent Framework。 Microsoft 提供运行时、模型托管和平台安全控制。 你拥有代理的指令、工具和插件选择、工具权限、编排逻辑、内存设计，以及代理的身份和授权。
  • IaaS代理。 你可以自己构建和托管整个代理栈：虚拟机或容器上的自定义编排器、自托管框架，甚至可能还有自托管模型。 除物理基础设施外，你几乎拥有一切（如果你是通过托管 API 使用它，则基础模型除外）。

责任向 左转移，意味着你承担更多责任，从SaaS转向PaaS再到IaaS代理。

下图展示了你与Microsoft之间根据代理部署类型所承担的责任领域。

IaaS、PaaS 和 SaaS 代理部署中 AI 代理责任层的示意图，新增了三层（代理内存与状态、工具与操作以及代理编排）于 AI 共享责任模型之上。

AI 代理层概述

代理系统在现有的人工智能平台、应用和使用层之上及周围增加了三层新内容。 执行任务的人会承担安全责任，但提供商可能会在配置时向你展示控制。

AI平台层（继承）

AI平台层托管并保护模型、训练数据、权重和推理API，并提供内置的输入和输出安全系统。 这一层的责任继承自 AI共同责任模型。

代理编排层

编排层是“脑循环”：规划、推理、工具选择、代理的系统提示和指令，以及多代理协调。 这一层是过度 主动 性和 迅速注入行动 风险的所在。

安全考量：

  • 限制代理的指令和范围（最小功能）。
  • 验证并净化任何进入循环的不受信任内容，包括检索的文档、工具输出及其他代理的消息。 把所有这些都当作不可信的输入，而不是可信的指令。
  • 实施规划约束：设置步骤数和迭代次数限制、循环检测、预算和成本上限，以及可进行链式调用的工具白名单。
  • 对于多智能体系统，将每个代理间消息视为信任边界，并重新应用输入安全。

工具和操作层

工具和动作层包含连接器、插件、函数、模型上下文协议（MCP）服务器和 API，代理可以调用这些内容以在现实世界中读取和 更改 状态。 这一层是它与大语言模型相比最大的区别。

安全考量：

  • 每个工具的权限最低。 每个工具或连接器应只包含所需的权限。 不要赋予代理人一个广泛的身份。
  • 每个操作都要授权，而不仅仅是在会话开始时。 请重新检查该资源上的操作是否被允许。 这种检查可降低混淆代理和过于宽泛的委托授权风险。
  • 人工参与关卡。 要求它们用于高影响力、不可逆或敏感操作，如写入、删除、支付、生产变更和外部发送。
  • 操作审计。 记录每个工具调用，包括输入、输出、所用身份和决策理由。
  • 沙盒机制和出站控制。 将它们应用到代码执行和浏览工具中。

代理内存层和状态层

代理记忆层涵盖短期对话上下文，以及会影响未来行为的持久记忆、向量存储和暂存区。

安全考量：

  • 按每个用户和租户划分并隔离内存。 防止跨用户或跨会话内存泄漏。
  • 防止记忆中毒。 注入的内容可能会持续存在，并在之后再次触发。
  • 分类、保留并删除存储的内存。 应用数据分类、保留和删除权。
  • 加密内存存储并执行访问控制。 把内存当作敏感数据。

AI应用层（继承）

AI应用层是指用户所使用的应用程序或界面，以及知识接入、插件和应用安全系统。

AI使用层（继承，扩展）

AI使用层描述了用户和应用如何使用代理。 在使用智能体时，对自主行为的问责变得至关重要：包括可接受使用政策、针对用户开展有关智能体特有风险的教育，以及明确智能体代表用户采取行动时的责任归属。

责任矩阵

以下矩阵总结了各部署模型的责任。 C = Customer，M = Microsoft，S = Shared. 矩阵是一个通用指南;特定服务的具体职责可能根据服务的条款和配置而有所不同。

继承的云和人工智能职责

责任区域 IaaS 代理 PaaS代理 SaaS代理
客户数据（包括接地和内存内容） C C C
身份和用户 C C C
访问管理（RBAC、多重身份验证、条件访问） C C C
客户端设备和终端 C C S
基础模型托管与权重 C/M1 M M
模型输入/输出内容安全 C/M1 S M
物理基础设施（主机、网络、数据中心） M M M

代理人专属职责

责任区域 IaaS 代理 PaaS代理 SaaS代理
代理指令、系统提示和范围 C C S
工具、插件和连接器选择 C C S
每个工具权限（最小权限） C C S
代理身份与委托令牌管理 C S S
针对每项操作的授权检查 C S S
高影响力行动的人工参与审批 C C C
编排护栏（环路、阶进和成本限制） C S M
多智能体信任边界控制 C S S
记忆设计、隔离与中毒防御 C S M
工具与动作沙箱及退出控制 C S M
操作审计、日志记录与监控 C S S
代理运行时与编排器平台 C M M
可接受使用政策及行为问责 C C C

1 如果你在 IaaS 上自托管模型，则为客户；如果你通过 IaaS 托管的代理使用托管模型 API，则为 Microsoft。

你始终承担的责任

无论部署模式如何，你始终需负责：

  • 数据，包括所有写入代理内存并传递给工具的内容。
  • 身份与最小权限：代理自身身份及其可使用的凭证或令牌的范围。
  • 动作授权：代理被允许做什么，尤其是不可逆或敏感操作。
  • 人工监督：哪些行为需要批准，谁对代理人的行为负责。
  • 可接受的使用与治理：自主行为的政策、用户教育与合规性。

设计中应防范的主要特有风险

这些风险映射到 OWASP 大型语言模型应用十大风险、OWASP 代理式 AI 十大风险、MITRE ATLAS 以及 Microsoft 安全响应中心 (MSRC) 针对 AI 系统的漏洞严重性分类。 他们强调特工独有的 行动 维度。

风险 缓解措施
提示注入到操作。 不受信任的内容（如网页、文档、电子邮件或其他代理）会劫持代理，诱使其恶意调用工具。 将所有工具、检索和代理输出视为不可信。 将指令与数据分离。 对高影响操作进行限制。
过度自主。 代理拥有比任务所需的更多的工具、权限或自主权。 针对每个工具，应用最小功能原则和最小权限原则，并限定指令范围。
混乱的副手或过于宽泛的授权。 代理利用其特权身份执行请求用户无法做到的事情。 使用代表用户的令牌，并针对每个操作进行授权。 避免使用固定的通用身份。
记忆中毒。 注入的内容会持续存在，并在后续会话中或跨会话重新触发。 隔离并验证内存，追溯来源，并实施保留策略。
无限循环、成本和资源枯竭。 逃跑的计划。 强制执行步进、迭代和预算限制，并检测循环。
多智能体信任失效。 受损或产生幻觉的因子会污染合作者。 在每个代理间边界重新应用输入安全。 验证，不要轻信。
恶意或伪冒的代理。 未经授权的代理在环境中行动，或者代理的身份被伪造。 实施强代理身份验证、证明以及检测和监控。

在自定义前先配置好

微软为 AI 推荐的同样原则也适用于智能体，而且对智能体要求更严格，因为自主性会将出错的代价成倍放大。

  1. 从SaaS代理开始（智能 Microsoft 365 Copilot 副驾驶®、智能 Microsoft Security Copilot 副驾驶®，或已发布的Microsoft Copilot Studio代理）。 Microsoft负责编排、安全保障以及大部分工具安全相关工作。 您可以配置数据范围和标识。
  2. 只有当现成的代理不合适时，才可以切换到PaaS代理（Microsoft Foundry Agent Service、Azure SRE Agent、自定义的Microsoft Copilot Studio代理，或托管运行时的Microsoft代理框架）。 你承担代理逻辑、工具、权限、内存和身份。
  3. 只有在人工智能安全、身份和自主系统风险方面具备深厚专业知识时，才构建IaaS 智能体。 你几乎掌控了整个技术栈。

经验法则：你赋予代理的自主权越大，工具和权限越广泛，责任矩阵就越多地转移到你身上，无论部署模式如何。 自主权从不减少问责。

后续步骤

  • Last updated on