老魏 · 折腾铺
民宿站监控台双色球点哪抠哪老照片修复Murdoku科学探险家
折腾铺/单篇
单篇2026-09-08老魏

41.2%:AI写新代码很猛,改老工程很怂

新基准 SWE-Bench ProMax 拿出 170 个真实 GitHub 任务,平均每个要改 11.4 个文件,前沿模型的最佳成绩是 41.2%。这个数字能解释一件事:为什么 AI 的演示永远惊艳,一进你们公司就歇菜。
41.2%:AI写新代码很猛,改老工程很怂

41.2%:AI写新代码很猛,改老工程很怂

新基准 SWE-Bench ProMax 拿出 170 个真实 GitHub 任务,平均每个要改 11.4 个文件,前沿模型的最佳成绩是 41.2%。这个数字能解释一件事:为什么 AI 的演示永远惊艳,一进你们公司就歇菜。

先说结论:41.2%,这是今天的天花板

先交代这个数字怎么来的。

一个叫 SWE-Bench ProMax 的新基准(已被 COLM 2026 接收)摆出了 170 个从真实 GitHub 项目里抠出来的任务,覆盖 7 种编程语言。它不考 AI"写一段代码",而是考仓库级重构——那种一动手就得碰一堆文件的大改。

平均每个任务要改 11.4 个文件。

当前最强的那批模型,解决率是 41.2%。

"解决"的标准很硬:AI 交出来的补丁,得能通过那个仓库自己的测试。

及格的补丁:过得了仓库自己的测试

以前的考卷,考的都是"写一段"

过去几年,AI 编程能力的考试有个共同的套路:给个小问题,让 AI 写个函数、补个 bug。

这类题 AI 早就考到九十多分了。分数高到没意义,于是各家开始往外卷:让它写个小游戏、做个网页、生成一个 App。

但那本质上还是同一件事——在一块空地上盖新房子。

真实世界不是空地。

真实世界是:这个系统跑了六年,换了四拨人,注释和代码对不上,有两个模块没人敢删因为不知道谁在调它,测试覆盖率 30%,而且它正在线上跑着,每分钟都在处理真实订单。

你要在这栋住满人的楼里换一根承重梁。

一次改动 11.4 个文件,难在哪

为什么"改"比"写"难这么多?拆开看,多了三层麻烦。

第一层:你得先搞清楚全貌。 写新代码,你只需要知道要什么。改老代码,你得先知道现在是什么。改 11.4 个文件意味着这 11 个文件之间有依赖关系——动了 A,B 和 C 可能就废了。而这个依赖关系,往往没有写在任何文档里。

第二层:约束是隐性的。 新代码只要"能跑"就行。老代码要"能跑,且跟过去的行为一致"。有些看起来很丑的写法,是在某个深夜修某个线上事故时特意加的。AI 看到丑代码,第一反应是"优化一下"——然后事故重现。

第三层:错了要能发现。 写新东西,跑一遍就知道对不对。改老东西,你可能改对了 10 个文件,在第 11 个上埋了个雷,而这个雷三个月后才炸。

改一处的代价:牵一发动全身

那个著名的割裂感,终于有了解释

你一定见过这种争论。

一边的证据是:某公司烧了 16.5 万美元,让 AI 在 11 天里写完 100 万行代码;某大厂说自家七成新代码是 AI 写的。

另一边的证据是:你们公司花几十万上了 AI 编程工具,三个月后一算,效率没见涨多少,倒是多了不少需要人返工的补丁。

两边都在说真话。

区别只有一个词:新代码 vs 老工程。

在一块空地上,AI 是推土机,一天能推平一座山。在一栋住满人的楼里,AI 只能当个拿小锤子的学徒,还得有人全程盯着。

41.2% 就是这堵墙的高度。它衡量的不是 AI 会不会写代码——它早就就会了——而是 AI 能不能在一个互相咬合的复杂系统里,安全地完成一次结构性改动。

剩下那 58.8% 卡在哪

这份基准的报告里有个判断很实在:仓库级工程能力远未饱和。

翻译过来是:这不是"再等半年模型变强就好了"的那类问题。

因为瓶颈不全在模型。改 11.4 个文件这件事,卡住的地方经常是——

第三点最要命,也最容易被忽略:测试的覆盖率,决定了 AI 能安全发挥的上限。 测试是 AI 和现实之间唯一的合同。合同写得含糊,AI 就只能猜。

所以你会发现一个反常识的现象:同样一个 AI,在工程规范好、测试齐全的团队里表现好得多;在代码混乱的团队里,它不但帮不上忙,还会自信满满地制造更多混乱。

AI 是一面放大器。它把你的工程水平按比例放大,不管那个比例是好是坏。

给不写代码的人,三句话

第一句:别拿演示的水平估算交付的水平。 演示都是从零开始的,你的业务不是。看到"AI 五分钟做个 App"就以为能砍掉一半研发预算,属于典型的用效果图当施工图。

第二句:AI 项目的成本,大头不在买工具。 在让代码变得"AI 能改"——补测试、拆模块、写清楚文档。这些活儿不性感,但不做,你买的就是个高级自动补全。

第三句:现在最能落地的用法,是把活拆小。 让 AI 一次改三个文件,成功率远高于一次改十一个。会拆活的人,比会写提示词的人值钱。

改老工程:一块块重新砌

最后

41.2% 这个数字,明年大概率会变成 55%、65%。模型还在进步,这个我一点都不怀疑。

但我要说的是另一件事:这道题的形状不会变。

写新代码是"创作",改老工程是"手术"。创作可以天马行空,手术永远要回答同一个问题——切这一刀,病人会不会死。

AI 正在以肉眼可见的速度变成史上最强的创作者。至于它什么时候能主刀,41.2% 这个数字,就是今天最诚实的一张体检报告。


觉得有用?点个关注,持续获取优质内容。