ARTICLE / ai

AI Agent 可靠性工程:从错误恢复到优雅降级的生产级实践

构建一个 AI Agent 的 Demo 只需要 20 行代码——一个 while 循环加上 LLM 调用和工具接口。但将其部署到生产环境并可靠运行,复杂度会发生量级跃迁。这不是模型能力的问题,而是 Agent 系统在生产环境中遭遇的失败模式与传统软件截然不同:它们更隐蔽、更难以复现、且往往在输出层面看起来"完全正常"。

多 Agent 系统在生产环境中的故障率高达 41%-86.7%(MAST 研究,NeurIPS 2025),而 88% 的 AI Agent 项目甚至从未到达生产环境。这些数字揭示了一个残酷现实:可靠性工程不是 Agent 开发的附加项,而是决定成败的核心能力。本文将系统梳理 Agent 在生产环境中面临的失败模式,并给出从重试策略、熔断器、优雅降级到可观测性的完整可靠性工程方案。


1. 生产环境的残酷现实

1.1 复合错误概率:单步准确率 ≠ 端到端成功率

理解 Agent 可靠性,首先要建立一个反直觉的数学模型:Agent 工作流的成功率是每一步准确率的乘积,而非单步值本身。

单步准确率5 步工作流10 步工作流20 步工作流
90%59%35%12%
95%77%60%36%
99%95%90%82%

一个看起来"95% 准确"的 Agent,在执行 10 步工作流时只有 60% 的端到端成功率。这意味着每 10 次任务执行就有 4 次会以某种形式失败。

这个数学事实意味着:即使模型本身非常优秀,Agent 系统也需要额外的可靠性机制来补偿复合错误概率。

1.2 Agent 失败与传统软件失败的根本区别

传统软件的失败是确定性的——同一个输入产生同一个错误,日志里有明确的错误码,可以通过复现来修复。Agent 的失败则具有三个根本性差异:

┌──────────────────────────────────────────────────────────────┐
│              传统软件 vs AI Agent 失败模式对比                  │
├──────────────────┬──────────────────┬────────────────────────┤
│     维度          │   传统软件        │     AI Agent            │
├──────────────────┼──────────────────┼────────────────────────┤
│ 失败可见性        │ 显式错误/崩溃     │ 静默输出错误结果         │
│ 可复现性         │ 同输入同输出       │ 非确定性,难以复现        │
│ 失败时机          │ 通常是即时的       │ 可能在 N 步后延迟出现    │
│ 错误传播          │ 异常中断执行       │ 错误悄无声息地向下游传播  │
│ 诊断方式          │ 查看错误码和堆栈   │ 需要重建完整推理链        │
│ 成本信号          │ 固定成本/请求      │ 失控 Agent 可能烧掉 20x 成本│
└──────────────────┴──────────────────┴────────────────────────┘

1.3 生产环境七大失败模式

基于 2025-2026 年的生产实践数据,Agent 系统的主要失败模式可以归为七类:

失败模式严重程度发生频率典型表现
Tool 误用严重~31%调用错误工具、传入错误参数
上下文漂移高~22%多步推理中偏离原始目标
幻觉级联高~18%一步幻觉成为下一步的"事实"
无限循环中~12%Agent 反复调用同一工具无进展
静默质量退化中~10%输出格式正确但内容错误
成本爆炸中~5%Token 消耗异常飙升
超时与限流低~2%API 调用超时或被限流

其中最危险的是 静默质量退化:Agent 生成了一个格式完美、语气自信但内容完全错误的回答,而系统没有任何异常信号。


2. 错误分类体系

在设计可靠性机制之前,需要先建立错误分类体系。不同类型的错误需要不同的处理策略:

from enum import Enum
from dataclasses import dataclass
from typing import Optional

class ErrorCategory(Enum):
    INFRASTRUCTURE = "infrastructure"   # 网络超时、服务不可用、限流
    MODEL_OUTPUT = "model_output"       # 输出格式异常、空响应、幻觉
    LOGICAL = "logical"                 # 推理错误、目标漂移、上下文丢失
    SECURITY = "security"               # Prompt 注入、权限越界

@dataclass
class AgentError:
    category: ErrorCategory
    error_type: str
    message: str
    retryable: bool
    severity: str
    context: Optional[dict] = None

2.1 基础设施错误

基础设施错误来自 Agent 依赖的外部服务,特征是可重试且错误原因明确:

  • 连接超时:LLM API 响应超过设定阈值
  • 限流(Rate Limit):API 返回 429 状态码
  • 服务不可用:API 返回 502/503/504
  • 网络不可达:DNS 解析失败或网络中断

基础设施错误是三类错误中最容易处理的——它们通常是暂时性的,通过重试和降级即可有效应对。

2.2 模型输出错误

模型输出错误是 Agent 独有的挑战,特征是模型"认为"自己回答正确但实际输出不符合要求:

  • 格式异常:期望 JSON 但返回纯文本
  • 空响应:模型返回空内容或仅包含停止标记
  • 参数错误:Tool 调用的参数类型或值不符合 Schema
  • 幻觉调用:调用不存在的工具或编造 API 参数
def classify_model_error(response: dict, expected_schema: dict) -> AgentError:
    if not response.get("content"):
        return AgentError(
            category=ErrorCategory.MODEL_OUTPUT,
            error_type="empty_response",
            message="Model returned empty content",
            retryable=True,
            severity="medium"
        )
    if not validate_schema(response["content"], expected_schema):
        return AgentError(
            category=ErrorCategory.MODEL_OUTPUT,
            error_type="schema_violation",
            message="Output does not match expected schema",
            retryable=True,
            severity="medium"
        )
    return AgentError(
        category=ErrorCategory.MODEL_OUTPUT,
        error_type="unparseable_json",
        message="Output looks like JSON but fails to parse",
        retryable=True,
        severity="low",
        context={"raw_preview": response["content"][:300]}
    )

模型输出错误的处理要点是分类要细到能决定动作:empty_response 应当换 Prompt 重试,schema_violation 应当把校验错误信息回灌给模型自修复,unparseable_json 则优先尝试本地修复(去掉 markdown 代码块包裹、截取首个 { 到末个 })后再决定是否重调。把这三者合并成一个"格式错误"分支,会浪费掉最便宜的那批修复机会——本地修复的延迟成本是微秒级,重新调用是秒级加 Token 费用。

2.3 逻辑与状态错误

逻辑错误最难检测,因为它没有异常信号:

  • 目标漂移:多步执行后 Agent 在解决一个衍生问题,原始意图已被遗忘
  • 上下文丢失:压缩或截断把关键约束挤出窗口
  • 无进展循环:反复调用同一工具、参数微调但结果不变
  • 提前终止:任务未完成就输出总结

可操作的检测手段只有三种,都要提前埋:一是目标锚定,把原始任务与验收标准写进 Agent 状态里的只读字段,并在每 N 步用一次廉价模型做"是否仍在解原问题"的判断;二是进展度量,对工具调用做签名去重,同签名重复超过阈值(如 3 次)即触发干预;三是预算闸门,步数、Token、时间、外部副作用次数四项都设硬上限。逻辑错误通常不可重试——重试只会用同一种坏推理再来一遍,正确动作是换策略(拆小任务、换模型、回到上一状态重新规划)或升级到人。

2.4 安全类错误

Prompt 注入、越权工具调用、敏感数据外泄属于不可重试也不可降级的一类:一旦识别,立即终止执行、冻结上下文、保留证据并告警。可靠性工程与安全工程在这里交汇——熔断器要能接受安全模块作为触发源。


3. 重试工程:把"重试一次"做成一套机制

重试是最朴素也最容易做错的可靠性手段。

3.1 退避策略

import random, time

def backoff_delay(attempt: int, base: float = 1.0, cap: float = 30.0) -> float:
    exp = min(base * (2 ** attempt), cap)
    return random.uniform(0, exp)   # full jitter

必须带 jitter。纯指数退避在并发场景会让所有失败请求在同一时刻集体重试,形成二次洪峰(retry storm),把上游彻底打死。full jitter 是 AWS 给出的推荐做法,实现简单且效果最好。

3.2 重试预算与幂等

重试预算(retry budget):限制重试流量占总流量的比例(实践值 10%-20%)。超过预算直接失败,防止系统在临界状态被自己的重试放大拖垮。

幂等性是 Agent 重试的前置条件,且比传统服务更难保证。LLM 调用本身无副作用可以随便重试,但一旦链路里包含"发邮件"“下单"“写数据库”,重试就会重复执行。标准做法:给每个工具调用生成 idempotency key(task_id + step_index + args_hash),由工具层做去重;对无法保证幂等的第三方接口,标记为 retryable=False,失败后走人工确认或补偿流程,而不是自动重试。

3.3 自修复重试(Reflection Retry)

针对模型输出错误的第二类重试值得单独设计:把校验失败的错误信息原样反馈给模型,要求"只修格式,不改内容”。实测这类自修复对 schema 类错误的有效率明显高于原样重试,成本是一次额外调用。但要限制次数(1-2 次),否则会退化成"模型和校验器互相拉扯"的循环。


4. 熔断器:挡住级联故障

4.1 为什么 Agent 系统更需要熔断

多 Agent 系统的故障传播路径比微服务更隐蔽:一个检索 Agent 变慢 → 协调 Agent 堆积等待 → 上游生成 Agent 拿到空上下文继续生成 → 最终答案是流畅的错误内容。整个过程没有任何一层抛异常。熔断器的价值不只是保护下游,更是及时暴露"哪一层已经不行了"。

4.2 状态机与关键参数

CLOSED ──(失败率 > 阈值)──> OPEN ──(冷却期结束)──> HALF_OPEN
   ▲                                                   │
   └──────────(探测成功 N 次)──────────────────────────┘
参数实践取值说明
滑动窗口50-100 次调用窗口太小会因抖动误熔断
失败率阈值25%-50%LLM 场景要高于传统服务,429 不应计入
半开探测3-5 次用最小代价判断是否恢复
冷却时间15-60s按上游恢复特性设定

两个 Agent 特有的坑:

  • 错误分类必须区分"服务故障"与"模型不满意"。前者要计入熔断统计,后者是业务正常态。把所有 MODEL_OUTPUT 错误计入失败率,会让一个健康但偶尔格式出错的模型被永久熔断。
  • 熔断粒度要落到 (provider, model, task_type)。全局熔断会让一次 embedding 服务故障把整条对话链路打死;太粗则起不到隔离作用。

5. 优雅降级:给 Agent 设计"能力阶梯"

生产级 Agent 必须有明确的降级预案,而不是在失败时"返回错误信息"。一条典型的五级阶梯:

级别触发条件降级动作用户体验
L0 正常—完整多步规划 + 强模型 + 全工具最佳
L1 省钱高峰/预算紧张关多步反思、减工具、缩短上下文略降
L2 换模主模型熔断切备用模型(同族次级或竞品)质量波动
L3 缩量工具大面积失败只做单步问答,跳过检索/执行答案变浅
L4 兜底全链路不可靠模板回复 + 转人工 + 记录待处理可控但无智能

实现上的三条纪律:

  1. 降级要显式可观测——把当前降级级别作为标签打进每条响应,事后能算出"降级期间的质量损失",否则你永远不知道自己把多少用户交给了 L4。
  2. 降级不可跳级失败——每一级都要独立可用,L3 不能依赖 L1 的产物。常见事故是"降级路径平时不走,真到用时才发现它已经坏了"。降级路径必须定期演练(生产上主动打 chaos 开关,或用影子流量跑通)。
  3. 模型降级不等于 Prompt 复用——换到小模型时,原本依赖强指令跟随能力的复杂 Prompt 会失效。正确做法是为每档模型准备对应的 Prompt 模板(更少约束、更多示例、更短任务),而不是原样扔过去。

6. 可观测性与评估闭环

可靠性机制要生效,前提是能看清失败。Agent 场景的最小观测集:

  • 完整轨迹(trace):每一步的输入、Thought、工具名与参数、返回、耗时、Token。失败排查全靠它,缺这一步就只能猜。
  • 状态快照:关键决策点的 Agent State,用于复现"第 7 步为什么走错"。
  • 业务级指标:端到端成功率、平均步数、人工接管率、降级触发率、单任务成本、用户点踩率。不要只看模型层指标——一个"成功返回但任务没做完"的 Agent 在所有传统指标上都是绿色的。
  • 离线评测集:从线上失败样本持续补充回归集,每次改 Prompt、换模型、调工具都跑一遍。没有回归集的多 Agent 系统,任何改动都是一次赌博。

7. 生产落地检查清单

上线前逐项对照,缺一项都会在生产里付出代价:

  • 错误分类体系建立,每类都有明确动作(重试/自修复/降级/终止/转人工)
  • 重试带 jitter、带预算、带次数上限;非幂等工具显式标记
  • 熔断器按 provider+model+task 粒度配置,429 与业务错误不混淆
  • 五级降级阶梯全部实现,并做过演练
  • 步数 / Token / 时间 / 副作用四类硬预算全部设置
  • 无进展循环检测(工具调用签名去重 + 阈值干预)
  • 完整 trace 落库,可按 task_id 复原全过程
  • 离线评测集 ≥100 条真实任务,改动必跑
  • 人工接管通道与补偿流程可用
  • 成本告警(单任务成本异常、总量激增)

8. 结语

Agent 可靠性的核心认知转变是:失败不是异常,而是常态。多 Agent 系统 41%-86.7% 的故障率不是某个框架的缺陷,而是"把非确定性组件串成链"的必然结果——每加一个环节,就在乘一个小于 1 的系数。

因此可靠性的工程手段本质上只有三类:降低单步失败概率(更好的模型、更清晰的指令、更受约束的输出格式)、及时暴露失败(分类、观测、进展度量、预算闸门),以及失败后仍有可用产出(重试、熔断、降级、转人工)。三者缺一不可,而绝大多数团队只做了第一类,然后把剩下的问题归咎于"模型还不够强"。

真正生产级的 Agent 系统,看起来往往没那么聪明:它步数受限、有明确降级、随时准备承认自己做不完。这种"自我设限"不是保守,而是工程成熟度本身。

(数据来源说明:本文为公开资料与技术方法整理,涉及的性能、比例与厂商能力描述以各官方文档与公开报告为准,具体数值会随版本变化;未在自有环境逐项复测的数据均以’约/通常/实践区间’表述。)

本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。