AI做科研,到底能不能自己学会怎么做科研
DiscoveryRSI提出一套让AI科研助手从自身假设发展历史中递归学习的框架,通过定义可检验科学假设的四要素标准、多智能体演化搜索构建假设树、基于归因证据的假设信用优化训练模型、以及工作流程诊断修正机制,在四个生命科学领域将假设质量评分从4.86提升到5.39,并在专家评审和文献命中率测试中超过多个对比模型。
你有没有想过这样一个场景:一个AI研究员提出了一个假设,写了一份研究方案,然后这个方案被执行、被评审、被打分。打完分之后呢?
大部分情况下,这件事就结束了。下一次这个AI再提假设的时候,它还是从零开始,完全不记得上次那份方案哪里好、哪里被专家挑出了毛病。
这其实挺奇怪的。人类科学家不是这样工作的。你写第一篇论文的时候可能漏洞百出,导师帮你改,你记住了"原来控制变量要这样设计""原来这个指标站不住脚"。下一篇论文你自然就不会再犯同样的错误。科研本该是一个越做越熟练的过程,但现在的AI科研助手,大多缺了这一环。
2026年10月,一个叫PhAI Labs的团队联合了包括哈佛医学院、牛津大学、UIUC等十几家机构,发了一篇论文,专门来解决这个问题。他们管这套系统叫DiscoveryRSI。RSI不是什么新词,是"Recursive Self-Improvement"的缩写,意思是"递归式自我提升"。
这篇论文最打动我的一点不是它造出了多厉害的模型,而是它把一个听起来很玄的问题"AI怎么从自己做科研的经历里学习",拆解成了几个具体到可以写代码实现的环节。接下来我尽量把这套东西讲清楚。
**什么样的假设才算"有价值又能被检验"**
先问一个问题:一个科学假设要满足什么条件,才值得花时间去做?
论文里给出了一个挺严谨的定义,我觉得值得细讲。他们说,一个有价值且可检验的研究假设,必须同时具备四个部分:
一个基于证据的主张*:具体说清楚研究对象是谁、关心的指标是什么、现在还不确定的地方在哪里。
一份调查方案*:怎么拿数据、设什么对照组、用什么分析方法、依赖哪些前提条件。
明确的判断标准*:在看到结果之前,就先说清楚什么样的结果算支持这个主张,什么样的算推翻,什么样的算说不清楚。
备选解释*:有哪些别的原因也可能导致同样的观察结果,比如混杂因素、测量误差,以及怎么用对照来排除它们。
你可能会说,这不就是科研方法论里的常识吗?确实是常识,但常识恰恰是AI最容易跳过的部分。很多AI生成的"假设"其实只是一句听起来有道理的猜测,既没说清楚怎么验证,也没想过别的解释会不会更站得住。论文把这四件事打包成一个整体,要求AI每次提假设都必须同时交出这四样东西,这就把"检验标准"从事后补救变成了事前规定。
论文里举了个很具体的例子,用的是MIMIC-IV这个重症监护数据库。
MIMIC-IV*:一个公开的、包含大量重症监护病人电子病历数据的医学数据库,常被用来做临床研究和AI训练。
假设是这样的:病人做完肾功能恢复后,肌酐(一种血液指标)下降了,但尿量还是很低,这种"指标对不上"的情况反复出现,能不能预测病人出ICU之后48小时内的风险?
这个假设的价值在哪?它问的是一个真实存在的临床困惑:医生看到肌酐下降,会不会误判病人已经恢复了?它的可检验性在哪?论文设计了四个层层递进的模型(从只用临床基线信息,到加入当前这次肌酐尿量不匹配,再到加入反复不匹配的历史,最后加入一个隐马尔可夫模型做时序建模),每一层都在同一批病人身上用同样的训练测试划分去对比。而且提前说好了:如果加了这些信息,预测能力提升得很稳定,那就支持这个假设;如果信号一调整就消失了,那就说明这个假设站不住;如果事件太少估计不稳,那就说不清楚。备选解释也写得很清楚,比如病情本身更重的病人,可能同时表现出指标不匹配和更差的预后,这不代表指标不匹配本身有因果作用。
这个设计思路让我想起一件生活里的事。你去医院体检,医生不会只看一个指标就下结论,他会问你有没有服药史、有没有其他病史,排除掉干扰因素之后才给出诊断。如果省掉这一步,直接看到一个异常值就下判断,大概率会误诊。科研假设的"备选解释"环节,本质上就是这个排除干扰的过程。如果没有这一步,AI生成的假设哪怕听起来很吓人,也经不起推敲。
**让假设像树一样生长,而不是一次性用完就扔**
光有一个好的假设定义还不够,因为单个假设是孤立的。真正的问题在于:假设之间怎么互相启发、怎么迭代改进?
DiscoveryRSI的做法是搭建一套多智能体协作系统,让假设像一棵树一样生长。
多智能体系统*:由多个各自承担不同角色的AI程序组成的团队,它们互相配合完成一个共同任务,而不是一个AI单打独斗。
具体来说,系统里有几个角色各管一摊:
Lead负责统筹,决定往哪个方向探索、选哪个假设当父节点、用哪种操作去发展它。Generation负责提出全新的假设。Evolution负责把已有的假设改进或修补。Critique负责在不知道谁写的情况下,盲审比较两个假设谁更好。Progress负责判断一次修改相对于它的"父版本"到底算不算真的进步。
这里有四种发展假设的方式,分别叫演化、修补、交叉和重启。
演化(Evolve)*:在原有方向上继续深化,比如把分析方法做得更细致。
修补(Repair)*:针对已发现的某个具体缺陷去改正,比如之前没有说清楚诊断标准,现在补上。
交叉(Crossover)*:把两个不同假设里有价值的部分组合到一起,产生一个新的、带有多个"父节点"的假设。
重启(Restart)*:完全抛开已有方向,提出一个全新的问题,不继承任何父节点,但可以参考之前积累的背景信息。
这四种操作的组合,让整个假设的发展过程形成一张图,而不是一条直线。论文管这个结构叫"研究树",虽然技术上它其实是一个有向无环图(因为交叉操作会产生多个父节点)。
这套机制最关键的设计在哪?在于每一次修改、每一次评审,都被完整记录下来,留下了"谁提的、改了什么、为什么被认为更好或更差"的痕迹。
这就引出了论文真正想解决的核心难题:事后打分容易,但分数该记在谁头上?
**一个假设得了高分,功劳该算给谁**
想象一个场景,三个人一起做一道菜。一个人负责买菜挑了很好的食材,一个人负责掌勺调味道,还有一个人在旁边提醒"盐放多了"及时纠正。这道菜最后被评为五星好评,这个好评该怎么分配?
如果只记住"这道菜好吃",完全不管是谁做了什么,下次再做菜,谁也学不到具体该改进哪个环节。
这正是论文里说的"归因问题"。一个假设最终被评了高分,可能是因为最初提出的那个人想法就很好,也可能是中途有人发现了一个关键漏洞并修补了它,还可能是协调者把任务分配得特别合理。如果学习系统只盯着最终结果,把整段历史里所有参与者都一视同仁地奖励,那训练出来的信号就是模糊的、甚至是误导性的。
论文为此设计了一套叫"假设信用优化"(hypothesis credit optimization)的机制,拆成三步:
第一步是用TrueSkill这个算法去估计每个假设在盲审比较中的相对优劣。
TrueSkill*:最初是微软为Xbox Live游戏对战设计的一套评分系统,通过记录玩家之间的胜负关系,推算出每个玩家的真实实力水平,包括这个估计有多可信。这里被借用来给科学假设打分,"实力"换成了"科学质量"。
具体做法是,每当两个假设被拿来盲审比较,系统就记录下谁赢了、谁输了,还是打平,或者证据不够没法比。TrueSkill会根据这些比较结果,给每个假设推算出一个均值和一个不确定度,均值越高代表这个假设在同行评议中表现越好,不确定度越低代表这个估计越可信。
第二步是把这个打分转换成一个有上下限的"假设权重"。打分不能直接拿来用,因为评审次数太少的假设,它的分数波动可能很大,不该被完全信任。所以论文设计了一套公式,综合考虑评审覆盖率(有没有被比较过足够多次)、不确定性(估计稳不稳)、是否被判定为"有效的研究设计"、是否有被记录的实质性进步,算出一个在0.5到2之间的有界权重。
第三步,也是最关键的一步,是把这个权重分配给真正做出贡献的那些具体的"agent历史记录"。
这里的agent历史记录(trajectory)*:指的是某一个AI角色执行一次具体任务时留下的完整记录,包括它收到的指令、做出的动作、得到的反馈,而不是泛指"某个角色做过的所有事情"。
论文设计了一个归因图,只有能被证据链证实的贡献才会被记入,比如原始的提案文本、精确匹配的草稿修订记录、哈希值吻合的支撑文件。单纯共享一个episode(一次完整的研究流程)、或者出现在祖先链里、或者完成了一次worker调用,这些都不足以构成归因证据。论文里特别强调:仅仅因为某段历史和某个高分假设有关联,不代表它就该被奖励。必须有可追溯的、实打实的贡献记录。
这套机制还设了"防重复刷分"的保护。如果同一个科学问题被反复提交、反复评高分,系统会限制这个"科学家族"能拿到的总信用额度,不让它无限制地占用训练资源。这就像一场辩论赛,如果允许同一个选手反复上台辩论同一个论点,还每次都给满分,那最后的排名就完全失真了。设置家族信用上限,相当于规定"同一个论点最多给你打这么多次分",避免系统被重复刷分的内容带偏。
拿到权重之后,这些历史记录就被用来训练一个叫DiscoveryRSI-27B的模型。训练时只对"被证实支持了这次贡献"的那部分文本算损失,工具的返回结果、已知的失败动作、重复出现的上下文都不计入直接损失。这意味着模型学到的不是"把整段对话都模仿一遍",而是"在被认定为关键的那几步上,学会这么做"。
**修工具比修脑子更划算的时候**
模型本身学得更好是一方面,但论文还指出了另一个常被忽视的问题:很多失败根本不是模型"不够聪明",而是工作流程本身有bug。
论文把这个环节叫"harness replay"。
Harness*:指的是AI agent运行时所依赖的整套工作环境,包括会话管理、上下文记忆、文件系统访问、工具调用机制等。这篇论文里的agent是在Codex和Claude Code这两套已经比较成熟的harness基础上搭建的。
举个例子,如果一个研究流程里,证据检索总是重复探索同一批文献、工具调用老出错、生成的文件丢失、或者任务提前结束没做完,这些都是harness层面的毛病,跟模型参数没关系。
论文的做法是先做短时间的诊断性实验,把"agent做了什么决定"的记录和"执行层面发生了什么"的记录拼接起来,定位到底是哪个环节出了问题。定位之后,再提出有针对性的修补方案,比如改进证据复用的方式、调整任务交接的流程、增加重试机制或者完善任务完成的判定标准。
这里有个细节我觉得特别值得琢磨:修改harness的时候,模型参数是固定不动的。反过来训练模型的时候,harness也是固定的。这两条线是分开优化的。
为什么要这么分开?因为如果两边同时改,你永远不知道效果提升到底是因为模型变聪明了,还是因为流程变顺畅了。这跟做菜时同时换了厨师和换了厨具,菜好吃了却说不清是厨师手艺好还是厨具好用,是一样的道理。分开做对照实验,才能知道钱和力气花在哪个地方更值。
修改之后的harness候选方案,要在一个专门留出来的"开发集"上接受检验,综合考虑科学质量、探索的广度、可靠性和成本,才能决定是不是要正式采用。
**一轮一轮往前滚,而不是原地打转**
有了更好的模型和更好的harness,接下来要做什么?论文把这一步叫"rediscovery",意思是拿着升级后的系统,重新投入到全新的研究问题里去,产生新一轮的假设和新一轮的经验。
这就形成了一个完整的闭环:做研究产生经验,经验用来升级模型和流程,升级后的系统再去做新的研究,产生新的经验。整套系统因此得名"递归自我提升"。
这个闭环最妙的地方在哪?在于它不是单纯"重复做同一件事变得更快",而是每一轮都在往前滚动,学到的东西变成下一轮的起点。
这让我想起登山时建立营地的做法。登山队不会每次冲顶都从山脚重新爬,他们会在半山腰建立补给点,下一次出发直接从补给点开始,省下的时间和体力可以用来爬得更高。如果没有这个机制,每一轮科研都从零开始,积累的经验永远用不上,系统的能力就会在原地打转,而不是螺旋上升。
实验数据显示,这套机制确实起作用了。自动化评测下,假设质量的平均分从基础模型的4.86分,经过第一轮自我提升涨到5.18分,第二轮再涨到5.39分。这个提升主要集中在"可检验性"相关的维度:可证伪性从4.00涨到6.20,备选解释的考虑从4.44涨到5.98,数据可解析性从3.73涨到4.99,可行性从4.79涨到5.87。
但有意思的是,重要性这一项反而从6.48降到了6.04,新颖性从4.87降到4.58。这说明这套方法主要提升的是"把研究设计做扎实"的能力,而不是"想出更惊艳的问题"的能力。这个诚实的负面结果其实挺值得尊重的,很多论文会选择性地只报喜不报忧,这篇论文把跌分的部分也老老实实摆出来了。
行为层面的变化也很明显。基础模型里,"重启"这种从零开始的操作占了21.7%的episode,经过两轮自我提升后降到了5.0%。相应地,"演化"和"修补"这类深化现有方向的操作,从77.5%上升到91.7%。这说明系统学会了更多地去打磨已有的想法,而不是动不动就推倒重来。
**专家怎么看AI写的研究方案**
自动化评分说了不算,论文还找了27位有医学或生物学研究背景的审稿人,包括医生、医学生和生物科学博士生,在三位资深导师的指导下,对292份研究提案进行了匿名评审。
匿名在这里做得很彻底:审稿人看不到提案是哪个模型生成的,也看不到自动化评分,甚至被要求不要去查这份提案的修订历史,只就提案本身的内容打分。
评审内容分三层:先给一个1到5分的总体研究价值判断,外加一个"优先推进/修订/推迟/拒绝"的建议;然后在六个维度上打1到4分,包括重要性、相比已有工作的进步性、论证是否合理且有证据支撑、数据是否匹配、备选解释是否充分、结果是否有信息量;最后单独判断这个方案有没有"致命缺陷"。
结果显示,DiscoveryRSI-27B的修订表现相当不错:41%的修订让人类评分提高了,47%基本不变,只有12%变差了。相比之下,对照模型GPT-5.6 Sol的这三个比例是31%、37%、32%,另一个对照模型GPT-6 Luna是25%、44%、31%,后者的平均修订分数变化甚至是负的,-0.01分,意味着平均而言它的修改并没有让方案变好。
DiscoveryRSI-27B的平均修订提升是+0.07分,这个数字看起来很小,但要知道,评分区间就是1到4分,0.07分的稳定提升,放在成百上千次修订的积累之后,差距会被放大得很明显。
论文还给出了一条具体的修订路径作为例子。还是那个MIMIC-IV的肾功能假设,从初版到第三次修订,六项评分的均值从2.83涨到3.50。具体改了什么?先是把时间起点和48小时这个观察窗口说清楚了,然后把变量和MIMIC-IV数据库里真实存在的字段对应起来,最后把急性肾损伤的判定标准用KDIGO这套国际公认的标准明确下来。而旁边两个没有走这条路径的"兄弟版本",始终没有说清楚急性肾损伤的判定标准,最终被判定为"致命缺陷"。
这个案例让我意识到一件事:很多时候决定一个科研方案生死的,不是宏大的创新点,而是这些看起来很琐碎的细节有没有讲清楚。就像写一份合同,真正出问题的往往不是条款的立意,而是某个关键词没有定义清楚导致日后起纠纷。
**假设有没有真的戳中后来的研究方向**
最让我觉得有意思的一个评测,是论文尝试回答这样一个问题:这些AI生成的假设,是不是真的"料对了"未来科研的走向?
具体做法是,设定一个模型的"知识截止日期",然后去看截止日期之后发表的文献里,有没有哪篇论文恰好提供了一个实验设计、一个对照方法、一个测量指标,正好能用来推进或检验某个AI生成的假设。如果有,就算这个假设"命中"了。
这个指标论文里起了个名字叫"启发率"(inspiration rate),底层技术说法叫"参考文献可操作性审计"。
论文构建了一个所有模型共用的文献库,通过420次引文追溯,拿到了17790条引用关系、16440篇可解析的文献,然后按每个模型各自的知识截止时间去过滤。
结果是:DiscoveryRSI-27B的命中率是6.3%,DeepSeek是5.4%,GLM是2.8%,GPT是2.5%,Claude Opus 5是2.3%。DiscoveryRSI-27B领先第二名DeepSeek接近一个百分点,领先排名靠后的几个模型两倍以上。
拆解到具体领域来看,DiscoveryRSI-27B在"治疗靶点优先级排序"这个方向命中率高达16.9%,疾病机制方向6.8%,多组学方向7.4%,临床健康方向相对低一些,只有2.3%。
论文很坦诚地讨论了这个数字背后的局限性。比如Claude Opus 5的低命中率,很大程度上可能是因为它生成的提案篇幅特别长(中位数41134个字符),而检索和语义审核只看前几千字符,导致大量提案的来源说明、修订记录这些非科学内容占据了被审查的开头部分,真正的科学内容被挤到了后面没被看到。论文做了一个诊断性实验,把检索关键词从提案全文换成提案标题,Claude的检索命中数从15篇一下子跳到95篇。这说明这个差距至少部分是格式问题造成的,不完全是内容质量的问题。这种愿意主动质疑自己得出的结论、去找出可能的偏差来源的做法,我觉得是这篇论文比较难得的一点。
**不只是医学,电池研究也能用上这套方法**
你可能会觉得,这套方法是不是只对医学数据管用?论文专门做了一组迁移实验来回答这个疑问,选的领域是电池研究,包括电气诊断、健康预测、退化机制、使用历史和老化这四个方向。
证据来源包括容量和阻抗老化测量数据、基于阻抗的健康预测研究、退化模式分析、路径依赖老化实验等等,都是电池领域已有的公开数据集和研究成果。
用的还是同一套Lead-Generation-Evolution-Critique-Compiler流程,只是针对电池领域加入了一些专属的检查项,比如工作条件是否合理、传感方式是否可信、物理原理是否说得通、有没有考虑到相互竞争的解释。
这组实验跑了200个episode,产生了351个假设,每个假设由三位AI评审分别打分。结果显示平均假设质量达到5.61分,58.47%的转变被判定为实质性进步,20个被识别出的"科学贡献家族"里有7个带有诊断或研究证据支撑。
这说明这整套机制,从定义什么是好的研究假设,到多智能体协作发展假设,到用贡献证据去训练模型,再到修正工作流程,这一整套逻辑并不依赖于医学领域的特殊性,换一个完全不同的科学领域,照样能跑通。
写在后面
读完这篇论文,我反复琢磨的一个点是:论文作者反复强调,他们的方法在"把研究设计做扎实"这件事上进步明显,但在"想出更有新意的问题"这件事上没有进步,甚至还略有下降。很多论文遇到这种结果会想办法包装过去,这篇论文选择老老实实把这个局限摆在台面上。
这其实暴露了一个挺有意思的张力:科研里"把事情做对"和"问出好问题"可能是两种不同的能力,甚至训练信号的设计本身就决定了它偏向哪一边。这篇论文的归因机制,本质上奖励的是"被证明有实质贡献的具体修改动作",这类动作天然更容易是方法论层面的修补,而不是那种天马行空的灵感跳跃。换句话说,如果你想训练一个更有创造力的AI科学家,可能需要一套完全不同的归因逻辑,去专门识别和奖励那些"大胆但说不清楚为什么突然想到"的跳跃式贡献。这事该怎么设计,论文没给答案,我也没想明白。
另一个让我印象很深的细节,是论文里那组关于Claude Opus 5检索命中率的诊断实验。研究者没有满足于"我们的模型比别人好",而是回头去质疑这个比较本身是不是公平的,发现问题可能出在提案格式上,然后老老实实报告出来。这种自我质疑的动作,比论文正文里那些漂亮的提升数字,更让我相信这项研究是认真的。
如果有一天,AI真的能像人类科学家一样,从每一次被拒的论文、每一次被专家挑出的漏洞里吸取教训,越做越老练,那我们现在讨论的这套"假设信用分配"机制,会不会就是那第一块地基?