ARTICLE / ai

Claude Code 团队怎么验证 AI 写的代码

Anthropic 的 Claude Code 团队 2026 年 11 月 16 日在官方工程博客发了一篇文章,讲他们如何验证 AI 写的代码。

Claude 官方博客原文页面 Claude 官方博客原文页面

Claude 工程博客原文页(claude.dev),2026-11-19 截取

按这篇文章的自述,团队约 90% 的代码由 Claude 编写;“由 Claude 审查"的说法来自文中链接的另一篇专文。在这个比例下,让 Agent 用独立运行的证据确认自己改对了,成了团队质量流程的核心环节。

文章标题是《How the Claude Code team thinks about verification》。它在 Hacker News 被广泛转发(雷达 2026-11-18 日报记录为 267 分 / 209 评论)。这篇文章给出了 Anthropic 内部相对完整的做法。

先解决一个问题:没有验证,你只能盯着一两个 Agent

文章开篇把验证的价值说得很直白:验证循环是扩大委托范围的基础构件。

按作者的说法,没有它你只能一两个 Claude 一起跑,因为每件事都得自己检查;有了它,才有条件同时跑几十上百个。

有一项内部实验可以参考:在结构化文件生成的内部测试里,让一个独立的评分器按评分标准检查 Claude 的工作,比标准提示循环的任务成功率最多高出 10 个百分点。这是该实验场景下的结果,不保证迁移到其他任务同样幅度。

成本结构在这里变了:作者说测试、基准、规格说明过去都很贵,现在 Agent 能快速生成它们。

生成之后的测试和基准作为软件运行,频繁执行也不消耗多少额外 token。验证结果还能反哺 Agent 本身——如果 Agent 反复在一个"检查日志是否含用户数据"的测试上失败,就写一条 hook 或在 CLAUDE.md 里加明确规则,问题之后基本不再出现。

三种值得投入的测试

文章先给出一个反例清单:flaky 的测试会训练 Agent 学会重跑而不是修代码;慢的测试会让 Agent 在批次里少跑测试,定位变难。然后是三种他们认为最值得投入的测试。

第一种是端到端测试(E2E)。作者的个人偏好是:如果只能聚焦一种测试类型,就选它——这是他的取舍,供参考。E2E 描述真实用户流程,比如加购物车、结账、到达确认页。

它的特点是难以糊弄——整个功能要么通要么不合,有明确的完成标准,还能具体告诉你什么坏了。单元测试更快更稳,但完全可能通过单测同时把功能弄坏,因为 Agent 和测试都不理解完整任务。做法上,可以给 Agent 配一个技能,用 CDP、模拟器或 API harness 启动、驱动、检查真实运行中的应用。

第二种是属性测试(property tests)。多数测试基于"你觉得可能出错的地方”,属性测试专攻人容易漏掉的边界,而这正是 Agent 常失败的区域。

写法是先写一条你认为不可能失败的陈述,再用 fast-check(JS/TS)、Hypothesis(Python)、proptest(Rust)这类库生成上千个输入去推翻它。常见的属性包括:编码后解码回到原值、账户余额永远不为负、迁移执行两次等于执行一次、优化后代码与朴素实现结果一致。

属性库的价值在于生成边界用例的视角和写原代码的 Agent 不同,规格说明已经和生产行为漂移时尤其有用。

第三种是差分测试(differential tests),拿旧系统当参照。大规模迁移场景下功能预期不变,就让新旧系统吃同样的输入对比输出,不一致就是 bug 或破坏性变更。关键是输入用随机生成或生产流量采样,并把空白符等无关因素归一化,同时维护一份"批准的差异"清单。

Anthropic 内部的流程实践

文章后半部分是团队自己的流程。

验证等于运行这次变更。 不会有人不进模拟器就发 iOS 改动,对 Claude 同样如此。他们把启动模拟器、运行应用的方法写成一个叫 verify 的技能,放在仓库的 .claude/skills/ 目录,Claude 在提交变更前会自己调用它。这个技能要投入打磨,让它快而可靠——它是冒烟测试的骨架。给了 Claude 端到端冒烟能力后,作者称结果会更好:它会更像人一样迭代并抓住真实错误。

失败的测试才需要人。 没人能读每个变更,他们用失败来决定什么需要人。Claude 跑检查并尝试修复,三轮之后还在失败,就停下来叫人。

代码所有者写自己的检查。 谁拥有代码谁写检查,并打磨到它能标出所有者会标的东西。检查把人拉进来时要说清为什么,让人不用从 diff 里反推。

可靠性检查由 diff 触发。 他们维护一份 39 项的可靠性清单,每项包含一个能从 diff 读出的触发器、一个检查动作、以及背后的故障或 PR。比如"–resume 加载旧转录"这一项:会话存储或消息类型变更时,就问新字段能否安全加载,因为旧转录里没有它。Claude 读 diff 后只核对触发器命中的项,通常 3 到 10 项,没人需要背历史故障。

一个审查者,多轮迭代。 他们不靠叠加审查者提升质量——在主审查者之上加一个更贵的第二审查者,通常比调好主审查者更差。他们的替代做法是维护一份 REVIEW.md,写明审查者对这份代码该注意什么。审查和验证轮次也应该相互叠加:每轮指向前几轮的上下文和历史失败,而不是每轮从零重查。

变更不能修改审判自己的检查。 如果变更能修改评判它的检查,检查就废了。Code Review 从基础分支读 REVIEW.md,从不从 PR 的变更里读。

团队还把审查锁定在 commit 上:审查进行中有人推了新代码,之前的审查结果作废——过时的 commit 上通过的审查没有意义。便宜检查在前:Claude 开 PR 前自己跑测试、构建、linter,否则它浪费的是共享的审查和 CI 时间。

新门禁先跑观察模式。 他们给每个 commit 盖上"如何被验证"的戳,包括"none",这样可以查询哪些 commit 没验证过。还有一个 commit 门禁,会话里没有 /code-review 或 /verify 就阻断提交,有 off、observe、enforce 三档。observe 档只记录"本会被阻断的提交",先看误报;enforce 档真阻断,但同一会话被阻断两次后第三次放行,避免 Claude 卡死。commit message 里可以带说明解释为什么没验证。

用真正要紧的东西测检查本身。 他们定期审查审查者:统计多少合并变更被回滚、维护者合并前拒绝了多少次、以及一组规模匹配的干净变更做对照。

Code Review 团队还有一套基于历史故障和回滚的正式评测:把仓库恢复到当时状态,配一句话答案钥匙,只有正确描述该 bug 的发现才计分,用已合并且稳定的变更当对照组防止乱报。他们还把原始发现、验证后、最终审查的召回率分开评估,看系统是否把已经找到的 bug 又弄丢了——一个把这些混成单一端到端分数的评测捕捉不到这种流失。

重要性分级用 Important、Nit、Pre-existing 三个标签,pre-existing 意味着不该让作者为存量 bug 负责。召回率的调优停在"再往上就是对评测过拟合而不是真的抓 bug"的临界点。

把漏掉的案例变成规则

对漏掉的 case,仓库里有两条固化路径。

一是从人工审查评论和 PR 回滚里提取模式:至少出现在两个 PR 且能从 diff 识别,才算候选规则,然后三个 Agent 轮番试图推翻它,最后由人在 PR 里审查批准。二是把三个 bug 查找器重放到已知故障对应的 PR 上:至少两个找到才算可检出 bug;小 diff 上漏掉的,就是 REVIEW.md 里该补的规则缺口。

flaky 测试同罪同罚:Claude 不能跳过它、加 sleep 或重试到通过为止。找不到根因就删掉这个测试并写下原因。规则本身也要定期清理——测试套件、验证步骤和 markdown 文件只会越积越多。

普通开发者和 Agent 用户各取什么

如果你是日常用 AI 写代码的开发者,最直接的三个动作:给项目写一个 verify 技能(或等价脚本)让 Agent 提交前冒烟;把 flaky 测试当债务处理而不是当噪声跳过;让便宜检查跑在昂贵审查之前。

如果你在建设 Agent 流水线,可以对照这篇文章的结构自查:检查与被检变更是否隔离(读基础分支不读 PR)、门禁是否先观察再强制、检查器本身有没有做召回评测并防止过拟合。这些做法来自 Anthropic 一个团队的内部流程,迁移到别的环境效果如何要自己验证。

参考来源

  • How the Claude Code team thinks about verification,Anthropic 工程博客(claude.dev),2026-11-16 发布,2026-11-19 采集
  • Hacker News 讨论(news.ycombinator.com/item?id=50529612,267 分 / 209 评论),经 big-model-radar 2026-11-18 日报转引