人类审稿被AI一波团灭，哈佛派出最强专家，错误率高达3倍

哈佛大学组织了其能召集到的最强人类审稿团队，结果被Claude完全超越。

针对同一批124篇论文，双方各自撰写审稿意见。在七个审稿维度的比较中，人类没有赢得任何一项。

三位知名期刊的前编辑受邀进行盲选，在30次选择中，有26次倾向于Claude。其中一位编辑在10组意见中一次都没有选择人类。

三位前编辑各比较10组匿名意见，仅基于审稿意见本身，未重新阅读论文。

就连学术界最为担忧的“AI编造信息”问题，此次也出现了反转。

研究人员将意见与原稿逐句核对后发现，人类专家出错的比例几乎是Claude的3倍。

这项研究由哈佛校级教授、定量社会科学研究所所长Gary King，以及该所数据科学主任Steven Worthington共同完成，其标题毫不客气地指出：AI审稿已经超越了状态最佳的人类同行评审。

两人在论文中承认，在开始研究前，他们只期望AI能在某些方面、某些时候获胜。结果，AI在他们所能想到的各项指标上都占据了优势。

沃顿商学院教授Ethan Mollick看到结果后立即转发，催促学术界尽快思考科学研究应如何跟随AI进行调整。

哈佛设立擂台，付费专家对阵联网Claude

既然要比较，就必须寻找最强的人类对手。

期刊审稿的弊端，所有做过研究的人都深有体会。审稿人大多没有报酬，时间紧迫，有人读到第3页发现一个硬伤后，就不再继续阅读。

因此，King团队选择了rapidPeer，这是哈佛定量社会科学研究所推出的“投稿前预审”服务，后来也对其他机构开放。

该服务的审稿人由领域专家从外校挑选，每审一篇都有报酬，表现优秀者会持续获得任务。

他们需要通读整篇论文，撰写1.5到2页的意见，专注于帮助作者改进论文，而不需要对是否发表做出判断。

效果确实显著。74位作者回复了问卷，88%认为审稿质量高或非常高。

几位知名期刊的前编辑看过这些意见后，也认为它们属于自己见过的顶尖水平。

两位作者甚至写道，据他们所知，没有哪批人类审稿是在比这更好的条件下完成的。

研究使用了这项服务从2019年到2026年的全部有效投稿，共计124篇论文、134份人类意见，涵盖统计分析、数学建模到纯定性研究。

Claude方面，上场的是Opus 4.8，推理功能开到最高档。

它以两个身份参赛。一个与人类完全对等，使用同一份13条审稿指南，不允许使用任何外部工具。

另一个是优化版本，拥有专门编写的审稿提示词，并且能够联网，每篇论文平均搜索12.4次。

这份提示词读起来像是一位严格导师的叮嘱。

它要求Claude通读全文和图表，主动搜索作者遗漏的先前研究。每篇引用都必须真实搜索到并附上链接，不允许凭记忆引用。

它还要求Claude区分哪些问题支撑整篇论文，优先讲述最要紧的两三个，不允许客套或凑字数。

裁判是另一家公司的GPT-5.5。两份意见去除格式和出处后，调换顺序各比较一次，两次都选择同一份才算获胜。

除了整体比较，它还需要在七个维度上逐项比较，并为每份意见打出0到10分。

GPT-5.5担任裁判，Claude七局全胜

结果出来后，两位作者的评价是“毫不含糊”。

在整体比较中，GPT-5.5没有一次判定人类获胜，所有分出胜负的对比都归于Claude。

细分到七个维度，Claude在找出弱点、评价方法、补充文献三项上全胜。图表方面获胜99%，理论与想法、论证框架、表达方面各获胜92%。

左侧为成对比较中AI的胜率，右侧为0到10分的平均评分。

在评分上，Claude平均8.7分，人类6.0分。

差距最大的两项，恰好是审稿中最耗费精力的两方面。

补充文献一项，人类专家4.73分，联网的Claude是9.55分。不允许它联网时，它在这一项只获胜62%，开启搜索后才变成全胜。

图表一项，人类平均只有2.95分，Claude是7.57分，不少意见对图表只字未提。

浅灰色为人类专家、黑色为Claude，横轴为0到10分。

还有一个细节耐人寻味。三位前编辑彼此判断一致的比例是80%，而他们与GPT-5.5的一致率反而达到87%。

也就是说，人类编辑与这位AI裁判的看法，比与自己的同行还要一致。

给人类换上AI文风再比，依然一组没赢

如此悬殊的比分，第一反应往往是怀疑实验本身。

两位作者自己先当了一回质疑者，一口气做了十类稳健性检查。

第一个怀疑是AI靠篇幅获胜。研究者只留下字数相近的44组，Claude依然44组全胜。

接着有人会说，GPT-5.5偏爱AI的腔调。

于是研究者让Claude把134份人类意见全部改写成AI语气，论点保持不变。换了语气的人类意见，依然一组都没赢回来，平均分反而从5.93分降到了5.87分。

也有人会说，人类样本里混进了水平一般的。

研究者就只看评分前40%的人类意见，再挑出与AI最接近的28组。人类依然一组没赢，分数最高的那份，也比AI低0.7分。

还有人担心，Claude训练时见过这些论文后来发表的版本。

可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上获得8.2分，在2025到2026年的新稿上获得8.1分，几乎没有差别。

最后一个疑问是，只用一家模型、一种裁判，结论靠不住。

研究者干脆让Claude和GPT互相当审稿人和裁判，比较了416次。不管谁当裁判，AI都赢了九成以上，人类那份意见在五份里基本垫底。

拿原稿逐句对照，专家错误率是AI近3倍

意见写得漂亮，不等于写得对。

GPT-5.5在整体比较时只读了意见，没有对照论文原文。所以研究者又专门核查了一遍，这些意见到底是否可靠。

第一关是引用。联网的Claude在意见里引用了651篇带有DOI或arXiv编号的文献，研究者一篇篇拿去数据库比对。

651篇里，没有一篇是编造的。抽查引用的用法，能判断的100处里，99处都与所讨论的问题对得上。

更难的一关，是核对意见中对论文本身的描述。

这一轮比较的是不联网的Claude和人类。研究者把意见拆成一句句具体说法，隐去出处，让模型拿着原稿逐条判断对错。

判断错误的标准很高，原稿里有直接反证才算错。比如有审稿人批评论文“没做稳健性检验”，可第5节明明写着做了。

结果，人类专家的956次核查里，有152次被判错，占15.9%。Claude的1039次核查里只有57次，占5.5%。

按整份意见算，64.2%的人类意见至少错了一处，Claude这边是37.1%。

判断错误的模型本身是否可靠，研究者也验证了。人工复核90条，87条结论一致，剩下3条分歧，全是模型冤枉了Claude。

他们还给这位核查员设了个陷阱，往审稿意见里塞进258句只改了几个词的反话。结果全被揪了出来，同样多的真话，一句没被误判。

这批专家有报酬、有口碑，还被要求通读全文，逐句对照原稿时，犯的错误却比AI多。挡在AI审稿前面的那条最大理由，在这组数据面前已经站不太住了。

以后投论文，先让AI挑一遍刺

不管期刊是否允许，审稿人其实已经在使用AI了。

Nature报道过，超过一半的研究者在用AI审稿，不少人还违背了相关规定。

ICML 2026做过一次随机分组实验，被分到“禁用AI”组的受访审稿人里，仍有22.5%承认自己用了。

斯坦福大学政治学副教授徐轶青转发这篇论文时说，禁止审稿用AI的期刊，都该重新想想自己的立场了。

所以King和Worthington在论文后半部分，干脆讨论起期刊接下来该怎么办。

他们设想了一套新流程。期刊公开一份官方的AI审稿提示词，作者投稿前先用它把论文审几遍、改几遍。

投稿时，论文、AI意见和作者对每条意见的回应一起交上来。编辑再换一套不公开的提示词复审，难判的稿子请编委或外部专家把关。

最后是否发表，还是编辑说了算。

照这个流程走，两人认为，发表决定有望从几个月缩短到几天。

作者的回应信，是这套流程里必不可少的一环。因为论文改到后面，AI会开始较真到离谱。

论文里举的例子是，AI可能会说“没错，2+2=4，但你从来没定义过+号”。这时候，作者需要有地方据理力争。

风险两人也没回避。每个人用AI想点子，单看都更有新意，放在一起却越来越像，慢慢都往主流、保守的方向靠。

所以他们建议，期刊要一直追踪作者和AI意见不合的地方，不断调整提示词和模型。

一份认真的审稿意见，过去是科研里的稀缺品。要等上几个月，还得碰运气，看能不能遇上用心的审稿人。

如果AI能让它随叫随到，科学家就能更早听到批评，更快改出下一版。

至于哪篇论文配得上哪本期刊，两位作者认为，仍然只能由人类编辑来判断。

参考资料： https://gking.harvard.edu/peerless/ https://x.com/emollick/status/2113483068174692831

本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。 开云官方官网作为信息平台，本文仅供参考。