ARTICLE / ai

推理模型技术范式:从 Chain-of-Thought 到 Test-Time Compute Scaling

大语言模型的能力边界正在经历一次根本性的重构。2024 年 9 月,OpenAI 发布 o1 推理模型,首次在商业产品中实现了测试时计算缩放(Test-Time Compute Scaling)——让模型在回答问题之前"思考"更长时间,从而大幅提升推理准确率。这一范式转变标志着 LLM 从单纯追求"训练时参数规模"转向"推理时计算投入"的新时代。

传统的 Scaling Law 告诉我们:更大的模型 + 更多的训练数据 = 更强的能力。但推理模型揭示了一个互补维度:即使模型参数不变,增加推理阶段的计算量也能显著提升性能。DeepSeek-R1 通过纯强化学习(RL)在开源社区复现了 o1 级别的推理能力,Qwen3 则将思考模式与非思考模式统一到单一模型中,进一步推动了推理模型的普及化。本文将从技术原理、训练方法、模型生态和工程实践四个维度,系统梳理推理模型的完整技术栈。


1. 推理模型的核心定义

1.1 什么是推理模型

推理模型(Reasoning Model / Reasoning Language Model, RLM)是一类在推理阶段显式生成内部思维链(Chain-of-Thought),然后基于思维链产出最终答案的大语言模型。与标准 LLM 的"一次前向传播直接输出"不同,推理模型会在内部进行多步推理、自我验证和自我纠错。

标准 LLM 与推理模型的核心差异:

维度标准 LLM(如 GPT-4o)推理模型(如 o1、DeepSeek-R1)
推理方式单次前向传播,直接输出先内部推理,再输出最终答案
计算分配训练时大量计算,推理时固定计算训练时 + 推理时均可扩展计算
CoT 可见性依赖 prompt 引导原生生成内部 CoT(部分可见)
擅长场景通用对话、创作、检索数学、编程、逻辑推理、科学问题
延迟与成本较低较高(推理链可达数千 Token)
训练方法SFT + RLHFSFT + RL(RLVR/GRPO 等)

1.2 推理模型的三大技术支柱

推理模型之所以被称为一个"范式",是因为它依赖三个相互增强的技术机制:

1. 强化学习后训练(RL Post-Training)

与标准 SFT 模仿正确输出不同,**基于可验证奖励的强化学习(RLVR, Reinforcement Learning with Verifiable Rewards)**通过试错让模型自主发现正确的推理策略。模型因通过有效中间步骤得出正确答案而获得奖励——不是因为生成了看似合理的文本。这解释了为什么推理模型展现出训练数据中从未明确演示过的涌现行为。

2. 测试时计算缩放(Test-Time Compute Scaling)

推理模型在推理阶段分配更多计算资源。模型不再只做一次前向传播,而是生成多个候选推理链,然后通过多数投票或内部奖励模型选择最佳答案。这从根本上不同于标准 LLM 的工作方式,也解释了为什么推理模型在查询上更慢、更贵——以及为什么它们在有可验证正确答案的任务上大幅超越标准 LLM。

3. Chain-of-Thought 作为一等输出

推理模型将思维链视为产品的一部分,而不仅是副作用。策略模型生成候选推理步骤,价值模型评估每条路径的质量。部分实现还叠加了树搜索(MCTS 或 Beam Search)跨越多个推理轨迹。其结果是一个能在推理过程中自我纠错的系统——这是标准 LLM 在结构上无法做到的。

┌─────────────────────────────────────────────────────────┐
│              标准 LLM 推理流程                            │
│   用户输入 ──→ Transformer ──→ 输出答案                   │
│                                                         │
│              推理模型推流程                                │
│   用户输入 ──→ 内部推理链 ──→ 自我验证 ──→ 最终答案        │
│                   ↑                                      │
│            可能生成数千 Token                               │
│            覆盖多种推理路径                                 │
│            包含回溯与自我纠错                               │
└─────────────────────────────────────────────────────────┘

2. 核心技术原理

2.1 Chain-of-Thought 的演进

Chain-of-Thought(CoT)并非推理模型的发明。2022 年 Wei et al. 在论文 “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” 中就证明了通过 prompt 引导 LLM 逐步推理可以显著提升性能。但早期的 CoT 完全依赖 prompt 工程——模型本身并未经过专门训练来生成高质量推理链。

推理模型的本质突破在于:通过强化学习训练模型将 CoT 内化为原生能力。模型不再是"被引导去展示推理过程",而是"学会推理本身就是产出高质量答案的手段"。

2.2 强化学习算法:从 PPO 到 GRPO

PPO(Proximal Policy Optimization) 是 RLHF 阶段的标准算法,但推理模型的训练需要更高效的方案。DeepSeek 提出的 GRPO(Group Relative Policy Optimization) 成为当前推理模型训练的主流算法。

GRPO 的核心创新在于无需单独的 Critic 模型:

算法优势估计方式需要额外模型训练复杂度
PPOCritic 模型(Value Network)是(与策略模型同等规模)高
GRPO组内相对排名(Group Relative)否(仅采样自身)低
DAPO解耦裁剪 + 动态采样否中

GRPO 的工作原理:

  1. 对每个 prompt,从当前策略模型并行采样多个回答(组成一个 group)
  2. 使用基于规则的奖励函数对每个回答打分(0/1 二值奖励)
  3. 计算组内相对优势:好的回答获得正向梯度,差的回答获得负向梯度
  4. 更新策略模型参数
# GRPO 核心逻辑伪代码
def grpo_step(policy_model, prompts, group_size=16):
    all_responses = []
    all_rewards = []
    
    for prompt in prompts:
        # 并行采样 group_size 个回答
        responses = [policy_model.generate(prompt) for _ in range(group_size)]
        # 基于规则的奖励(如数学题答案是否正确)
        rewards = [verify_answer(r, ground_truth) for r in responses]
        all_responses.extend(responses)
        all_rewards.extend(rewards)
    
    # 组内相对优势:reward - mean(reward)
    advantages = compute_group_relative_advantages(all_rewards, group_size)
    # 策略梯度更新
    policy_loss = compute_clipped_policy_loss(
        ratios=logprob_new / logprob_old,
        advantages=advantages,
        beta=kl_coef, ref_policy=policy_model_ref)
    policy_loss.backward()
    policy_model.update()

用组内均值替代 Critic 的价值估计,显存需求近乎减半——这是 DeepSeek-R1 能以极低成本复现 o1 级别能力的关键工程前提。

2.3 o1 与 R1 的训练配方对比

阶段OpenAI o1(公开信息)DeepSeek-R1(论文披露)
冷启动未公开数千条长 CoT SFT 数据
RL 主训多步推理 RL + 大算力R1-Zero:纯 GRPO、无 SFT,涌现 “aha” 行为
迭代精调未公开拒绝采样 + 多阶段 SFT(可读性/工具/摘要)
蒸馏未公开Qwen/Llama 1.5B-70B 蒸馏全家桶

R1-Zero 的意义是科学性的:不喂任何人类推理示范、仅靠可验证的规则奖励(答案对错)做 RL,模型自己长出反思、回溯与长链推理——证明推理能力可以被"发现"而非只能被"模仿"。其代价是早期模型输出语言混杂、格式混乱,R1 的多阶段后续训练正是为此收编。


3. 模型生态盘点

  • OpenAI o1/o3:闭源天花板;reasoning_effort(low/medium/high)把测试时算力做成显式旋钮
  • DeepSeek-R1:MIT 开源,蒸馏版让 7B 也能"思考";后续版本把思考并入主模型
  • Qwen3:hybrid thinking——单模型在思考/直答模式间切换,enable_thinking=False 直接省掉思维链 Token
  • Claude 3.7/4 Extended Thinking:thinking budget tokens 显式分配思考预算,推理块对用户可见
  • Gemini 2.x Thinking:动态思考预算,模型自行决定"这道题该想多久"

生态的收敛方向:思考不再是独立产品线,而是推理引擎里的一个可调节旋钮。


4. 工程实践:何时用、怎么用、算多少账

4.1 任务分诊

推理模型收益明显的任务:数学/形式化推理、多约束规划、调试与代码修复、需要自我验证的长链条任务。收益微弱甚至为负的:即时问答、简单分类、纯检索、创意文风——长 CoT 在这些场景只是延迟与费用。

实践路由策略:

def route(task):
    if task.type in ("math", "debug", "plan", "verify"):
        return ReasoningModel(effort="medium")
    if task.failed_with_standard_model:
        return ReasoningModel(effort="high")   # 升级重试
    return StandardModel()

4.2 成本模型

推理模型的真实计费点:输出包含思维链。一道数学题,标准模型输出 300 Token,R1 可能思考 4000 Token 才作答——即便单价更低,单次成本仍可能高一个数量级。控制手段:effort/thinking budget 设上限;蒸馏小模型做默认档、旗舰推理做兜底档;评估时统计"思考 Token / 有效答案 Token"比值,超过 15:1 的样本进人工分析。

4.3 常见坑

  1. Overthinking:简单题也长篇思考——用 effort 分级缓解
  2. CoT 不忠实:推理链与最终答案可能不一致,别把 CoT 当审计日志
  3. 翻译/抽取任务禁用思考:会引入额外改写与格式漂移
  4. 评测污染:数学基准的提升部分来自训练记忆,务必保留未公开的内部测试集

5. 总结

从 CoT prompting(2022)到 RL 内化 CoT(2024-2025),推理模型把 Scaling Law 的自变量从"训练算力"扩展到了"推理算力"。工程结论朴素:推理模型不是"更强的模型",而是"用时间换正确率的策略"——任务有可验证答案且错误昂贵时值得付思考税,其余场景路由给标准模型。下一步的开放问题集中在自动思考预算(模型学会按需深度)与过程级奖励(PRM 回归)——Test-Time Scaling 的边际收益远未见顶。

(注:文中训练算法与成本数据整理自 DeepSeek-R1/o1 相关论文、官方技术报告与公开评测;GRPO 代码为伪代码示意,非完整实现。)

本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。