41.2%:AI写新代码很猛,改老工程很怂
新基准 SWE-Bench ProMax 拿出 170 个真实 GitHub 任务,平均每个要改 11.4 个文件,前沿模型的最佳成绩是 41.2%。这个数字能解释一件事:为什么 AI 的演示永远惊艳,一进你们公司就歇菜。
先说结论:41.2%,这是今天的天花板
先交代这个数字怎么来的。
一个叫 SWE-Bench ProMax 的新基准(已被 COLM 2026 接收)摆出了 170 个从真实 GitHub 项目里抠出来的任务,覆盖 7 种编程语言。它不考 AI"写一段代码",而是考仓库级重构——那种一动手就得碰一堆文件的大改。
平均每个任务要改 11.4 个文件。
当前最强的那批模型,解决率是 41.2%。
"解决"的标准很硬:AI 交出来的补丁,得能通过那个仓库自己的测试。

以前的考卷,考的都是"写一段"
过去几年,AI 编程能力的考试有个共同的套路:给个小问题,让 AI 写个函数、补个 bug。
这类题 AI 早就考到九十多分了。分数高到没意义,于是各家开始往外卷:让它写个小游戏、做个网页、生成一个 App。
但那本质上还是同一件事——在一块空地上盖新房子。
真实世界不是空地。
真实世界是:这个系统跑了六年,换了四拨人,注释和代码对不上,有两个模块没人敢删因为不知道谁在调它,测试覆盖率 30%,而且它正在线上跑着,每分钟都在处理真实订单。
你要在这栋住满人的楼里换一根承重梁。
一次改动 11.4 个文件,难在哪
为什么"改"比"写"难这么多?拆开看,多了三层麻烦。
第一层:你得先搞清楚全貌。 写新代码,你只需要知道要什么。改老代码,你得先知道现在是什么。改 11.4 个文件意味着这 11 个文件之间有依赖关系——动了 A,B 和 C 可能就废了。而这个依赖关系,往往没有写在任何文档里。
第二层:约束是隐性的。 新代码只要"能跑"就行。老代码要"能跑,且跟过去的行为一致"。有些看起来很丑的写法,是在某个深夜修某个线上事故时特意加的。AI 看到丑代码,第一反应是"优化一下"——然后事故重现。
第三层:错了要能发现。 写新东西,跑一遍就知道对不对。改老东西,你可能改对了 10 个文件,在第 11 个上埋了个雷,而这个雷三个月后才炸。

那个著名的割裂感,终于有了解释
你一定见过这种争论。
一边的证据是:某公司烧了 16.5 万美元,让 AI 在 11 天里写完 100 万行代码;某大厂说自家七成新代码是 AI 写的。
另一边的证据是:你们公司花几十万上了 AI 编程工具,三个月后一算,效率没见涨多少,倒是多了不少需要人返工的补丁。
两边都在说真话。
区别只有一个词:新代码 vs 老工程。
在一块空地上,AI 是推土机,一天能推平一座山。在一栋住满人的楼里,AI 只能当个拿小锤子的学徒,还得有人全程盯着。
41.2% 就是这堵墙的高度。它衡量的不是 AI 会不会写代码——它早就就会了——而是 AI 能不能在一个互相咬合的复杂系统里,安全地完成一次结构性改动。
剩下那 58.8% 卡在哪
这份基准的报告里有个判断很实在:仓库级工程能力远未饱和。
翻译过来是:这不是"再等半年模型变强就好了"的那类问题。
因为瓶颈不全在模型。改 11.4 个文件这件事,卡住的地方经常是——
- AI 根本没读到那个关键文件(上下文塞不下)
- 它不知道某个函数是别处依赖的公共入口
- 仓库的测试本身就不全,改错了也没人报警
第三点最要命,也最容易被忽略:测试的覆盖率,决定了 AI 能安全发挥的上限。 测试是 AI 和现实之间唯一的合同。合同写得含糊,AI 就只能猜。
所以你会发现一个反常识的现象:同样一个 AI,在工程规范好、测试齐全的团队里表现好得多;在代码混乱的团队里,它不但帮不上忙,还会自信满满地制造更多混乱。
AI 是一面放大器。它把你的工程水平按比例放大,不管那个比例是好是坏。
给不写代码的人,三句话
第一句:别拿演示的水平估算交付的水平。 演示都是从零开始的,你的业务不是。看到"AI 五分钟做个 App"就以为能砍掉一半研发预算,属于典型的用效果图当施工图。
第二句:AI 项目的成本,大头不在买工具。 在让代码变得"AI 能改"——补测试、拆模块、写清楚文档。这些活儿不性感,但不做,你买的就是个高级自动补全。
第三句:现在最能落地的用法,是把活拆小。 让 AI 一次改三个文件,成功率远高于一次改十一个。会拆活的人,比会写提示词的人值钱。

最后
41.2% 这个数字,明年大概率会变成 55%、65%。模型还在进步,这个我一点都不怀疑。
但我要说的是另一件事:这道题的形状不会变。
写新代码是"创作",改老工程是"手术"。创作可以天马行空,手术永远要回答同一个问题——切这一刀,病人会不会死。
AI 正在以肉眼可见的速度变成史上最强的创作者。至于它什么时候能主刀,41.2% 这个数字,就是今天最诚实的一张体检报告。
觉得有用?点个关注,持续获取优质内容。
