会批改作文的AI,为什么突然学会了自己出考卷
本文介绍SERA方法,通过让AI自己生成并训练评分细则来评估递归委派的子任务质量,同时用叶子覆盖率奖励分解能力,在两个基准上显著超越现有递归智能体训练方法,并减少外部监督依赖。
你有没有想过一个问题:如果让一个学生自己出题、自己答题、还自己判卷,这场考试还有多少可信度?
这正是训练"递归智能体"时,研究者们撞上的墙。
递归智能体
递归智能体:一种能把大任务拆分成小任务,再把小任务交给另一个"自己"去完成的AI系统,就像一个项目经理把工作分给下属,下属又可以再往下分
听起来很美好。你让AI去写一份研究报告,它自己把任务拆成"查资料""分析数据""写初稿"几块,每一块再派给一个"分身"去干。分身干不完还能继续往下拆。整个过程形成一棵任务树,根节点是你交代的大目标,叶子节点是最终真正动手干活的那些小任务。
问题出在训练这棵树的时候。
最终结果你是可以验证的,报告写得好不好、代码跑不跑得通,这些都有标准答案。可是树中间那些五花八门的子任务呢?是AI自己临时想出来的,世界上根本不存在"这个子任务做得好不好"的标准答案。你总不能每次都雇一个人类专家去给每个节点打分,那成本高到没法训练。
于是现有的做法是找个裁判,可能是一段验证代码,可能是另一个大模型充当的评委,去给树上每个节点打一个对或错的二元分数。这个办法能用,但研究团队发现它有三个硬伤。
第一个硬伤是粗糙。一个二元的对错标签,根本分不清"完成得漂漂亮亮"和"勉强及格"之间的差距,也发现不了一棵最终成功的树里其实藏着几处敷衍了事的子任务。
第二个硬伤是贵。树有多少节点,就要调用多少次裁判,任务一旦变复杂,这个成本会线性甚至更快地往上涨。
第三个硬伤最隐蔽,也最要命:这种打分方式压根不管任务拆得好不好。它只告诉你"这个子任务完成了没有",却从不回答"这是不是一个该被拆出来的子任务"。而现实中,一个任务树能不能成功,往往恰恰取决于最初那个拆分决策对不对。
这篇论文的作者们,来自同济大学、上海人工智能实验室、上海交大、北大、南大等机构的一群研究者,把这个困境归结成了一句很扎实的话:一个递归智能体其实同时在做三件事,拆解任务、执行子任务、评估结果,而这三件事得靠同一套模型参数来完成。
既要当裁判,又要当选手,这事儿怎么拆解开?
如果一个厨师既要掌勺做菜,又要给自己的菜打分决定加不加薪,你会信他打的分吗?大概率不会,因为评分的人和被评分的人利益高度绑定,评分很容易悄悄往有利于自己的方向漂移。这正是递归智能体面临的根本矛盾:执行和评估共享同一套权重,如果处理不好,两者会一起"合谋"把分数越打越高,而实际表现根本没有进步。
研究者给这个系统起名叫SERA,全称是自我评估递归智能体。它的解法核心思路是,把"评估"这件事也变成一项可以被训练的能力,而不是简单套用外部裁判的打分。
先立规矩,再做事:打分细则(Rubric)机制
SERA最核心的设计,是让父节点在把子任务派发出去之前,先写一份评分细则。
评分细则(Rubric):一组带权重的自然语言打分标准,比如"完成了核心操作得0.4分""给出了准确信息得0.3分""没有做无关或有害操作得0.3分",这些标准事先写好,加起来权重总和为1
这个细则必须在子任务开始执行之前就写好并冻结,子任务跑完之后,由同一个策略模型(但是另一次独立调用,不参与梯度更新)拿着这份冻结的细则去打分。打分分两步:先判断这个子任务到底有没有完成(完成了才有得分资格,没完成直接零分),再按细则逐条给分、加权求和,得到一个0到1之间的连续分数。
为什么一定要"先写细则,再看结果",而不是让模型看完结果再编一套说辞打分?
你可以把这个设计类比成考试出题和阅卷的时间顺序。如果一张试卷的评分标准是阅卷老师看完学生的答案之后才临时编出来的,那这个评分标准几乎必然会向着那份答案本身去调整,最后不管学生写得好不好,都能找到理由给高分。但如果评分标准是出卷子的时候就定死、锁进保险柜,考完才拿出来对照,那评分就有了真正的约束力。SERA让父节点在委派任务的那一刻就把评分标准写死,正是为了防止"看菜下碟"式的打分漂移。如果不这么做,会发生什么?论文里有一组对照实验能回答这个问题,稍后会讲到。
但光有细则还不够。一个没有经过专门训练的模型,写出来的评分标准本身可能就是错的,或者说和真实的子任务质量根本对不上号。这时候,不管这个细则看起来多么言之凿凿,用它打出来的分数去指导训练,效果也好不到哪里去。
实验数据证实了这一点。研究者做了一个叫SERA w/o D & RT的版本,这个版本只是把二元打分换成了连续的细则打分,但细则生成本身没有经过专门训练。结果在TextCraft-Synth这个任务上平均成功率只提高了3.33个百分点,而在TextWorld-Sync上甚至比老办法RAO还低了0.83个百分点。细则打分这件事,光有"更细"这个优点是不够的,细则本身得是准的。
用排序代替打分:怎么训练出靠谱的评分标准
那怎么让模型写出靠谱的评分标准呢?
直觉的做法是:既然最终任务有真实奖励,那就用这个奖励去反向训练细则生成模块,细则打分越高、最后任务做得越好,就越说明细则写得好。
但研究者很快意识到这条路走不通,因为细则生成和任务执行共享同一套参数。如果用任务奖励去训练细则,这两个功能会一起往"让分数变高"的方向优化,而不是往"让分数准确"的方向优化。换句话说,评委和选手如果拿的是同一份工资单,又是同一个人考核发工资,分数自然会一路飙高,但考试本身的区分度反而会消失。
SERA的做法是引入一个外部的、独立的锚点:用验证过的结果来训练细则生成,但只在训练细则这一步用,绝不直接用来给执行过程打分。
具体操作是这样的。在每一个委派节点,研究者把当时的环境状态复制出多份,让同一个子任务跑出B组不同的尝试(论文里用的是8组)。其中1组继续走正常的递归执行流程,剩下的几组则专门用来训练细则生成模块。这几组尝试各自会拿到一个外部验证的结果,在TextCraft-Synth里这个验证来自一段确定性的程序代码,在TextWorld-Sync里则来自一个外部的大模型裁判。
排序目标(Ranking Objective):不要求打分绝对准确,只要求能把"验证为成功的尝试"排在"验证为失败的尝试"前面,哪怕中间差一点点分数都算达标
这个设计特别巧妙的地方在于,它绕开了"打分要绝对精确"这个很难达到的目标,只要求"相对排序正确"。这就好比体育比赛里,裁判不需要精确测出两个运动员谁快了0.03秒还是0.05秒,他只需要能分清谁先到终点。这种相对判断比绝对判断容易得多,也稳定得多。
训练好细则生成之后会发生什么?论文的核心发现出现了:加上这一步训练,在TextCraft-Synth上平均成功率从72.26%提升到74.84%,在TextWorld-Sync上更是从一个未提升的水平跳到65.07%,比原来的RAO方法高出13.14个百分点。研究者甚至做了一个很有说服力的对比,让一个训练过的40亿参数小模型给自己打分,结果居然比直接请一个外部的、规模大得多的前沿模型Kimi来当裁判还要准,尤其是在最难的任务上差距更明显(困难级别79.90对77.45,极难级别11.52对4.17)。
这说明了什么?说明当评估能力和执行能力被正确地耦合在一起训练时,学会评判反过来会重塑模型解决问题的方式,这是本文反复强调的核心发现。模型不是先学会做事再学会评判,而是学会评判的过程本身,让它对"什么是好的解决方案"有了更清晰的内在标准,这个标准继而指导了它怎么做事。
有意思的是,论文还专门测试了另一种训练细则的思路:不用外部验证的成功失败做锚点,而是奖励细则打分在一组候选答案里"分数分散度大",这是此前一些相关研究采用的做法。结果这个思路让成功率从74.84%直接掉到65.77%,跌了9.07个百分点。原因也不难理解:分数分散并不等于分数准确,一个把所有答案的排序完全颠倒的细则,分散度照样很大,这种信号很容易被模型"钻空子"利用,而不是真正学会判断好坏。
叶子覆盖率:谁在真正承担拆解任务的工作
打分这件事解决的是"子任务做得好不好",但还有一个问题没碰:任务到底该不该这样拆?
研究者引入了另一个独立的奖励信号,叫叶子覆盖率奖励,专门针对"委派"这个动作本身。
叶子节点(Leaf Node):任务树里不再往下拆分、直接动手干活的那些节点,相当于真正完成具体工作的"一线员工"
叶子覆盖率(Leaf Coverage):某次委派所创建的子树里,包含了整棵任务树全部叶子节点中的多大比例
这个指标的逻辑是,如果一次委派决策撑起了整个任务里相当大一块实际工作量,那这次委派就是有价值的、结构性的决策,应该获得更高奖励。反过来,如果一次委派只是走个过场,把一件本来自己三两下就能干完的小事随手丢给别人,那这次委派对整个任务的贡献微乎其微,奖励应该接近于零。而且,只有当整棵任务树最终真正成功了,所有的委派动作才能获得这个奖励,失败的树里所有委派动作一律是零分。
这个设计解决的是一个现实工作中也常见的问题:怎么区分"真正有价值的分工"和"甩锅式的形式分工"。想象一个团队经理,如果他把团队八成的实际工作量都拆分给下属去扛,那说明他做了有效的任务规划;但如果他象征性地分出去一点鸡毛蒜皮的小事,自己继续大包大揽,这种"委派"其实没有真正减轻复杂度,也没有体现出规划能力。如果不用这个奖励去纠偏,模型可能学会一种投机取巧的委派方式,表面上用上了委派这个功能,实际上并没有真正把复杂问题拆解清楚。
实验显示,这个奖励的效果在任务之间差异很大。在相对独立、互不干扰的子任务场景(TextCraft-Synth)里,加上这个奖励带来的提升几乎可以忽略(甚至略微下降0.53个百分点)。但在子任务之间存在强依赖关系、需要协调共享状态的场景(TextWorld-Sync)里,这个奖励贡献显著,尤其在困难和极难级别任务上分别带来8.58和17.43个百分点的提升。这说明分解任务的价值,在任务彼此纠缠、相互依赖的场景里才真正凸显出来,就像修一条单独的水管和参与一整套相互连通的供水系统布线,后者才真正考验规划能力。
三股力量轮流上场:交替训练机制
执行奖励、委派奖励、细则生成奖励,这三股力量不能一股脑混在一起训练。
研究者解释说,如果把三个目标的梯度同时叠加到一次更新里,会因为目标之间互相干扰、数值尺度又不一样,很容易训练不稳定。他们采用的办法是交替训练:每一次参数更新只激活其中一个目标,按照固定的比例循环切换。
SERA实际使用的比例是执行训练、委派训练、细则生成训练按16比2比2轮流进行。这个比例背后的考虑是,执行训练覆盖了任务树里绝大多数的词元(token),是性能提升的主要驱动力,理应占大头;而委派训练和细则生成训练只需要周期性地小幅调整,就能分别改善拆解质量和打分标准的准确度。
这让人想起学一门乐器的过程。一个学钢琴的人,大部分时间都在练习曲子本身,但隔三差五也要停下来专门练练乐理和视唱练耳,这些不是每天花大块时间,却直接决定了练曲子的效率和上限。SERA的三阶段轮换,本质上也是把大头精力放在"把活干好"这件最直接的事情上,同时留出一小部分精力去打磨"怎么判断活干得好不好"和"怎么把活拆得更合理"这两件更底层、但同样重要的事情。
外部监督变得更便宜了
这篇论文还有一个容易被忽略但很实际的发现:训练出靠谱的自我评估能力之后,对外部裁判的依赖反而大幅下降了。
论文给出了一组具体数字。在TextCraft-Synth上,程序验证器的调用次数从55万次降到26万次,大约降到原来的一半不到。在TextWorld-Sync上,外部大模型裁判的调用次数从14.78万次降到3.58万次,下降超过4倍,输入词元消耗量从6.34亿降到1.25亿,下降超过5倍。
原因不难理解,SERA把外部监督集中用在训练细则生成这一个环节,训练好之后,日常执行过程中用的是模型自己的打分,根本不需要再调用外部裁判。这就像培训一个新质检员,前期需要资深师傅手把手带,反复校准标准,但一旦这位新人真正掌握了判断标准,后续日常质检工作就不再需要资深师傅每次都在场盯着了。
推理阶段也能用上这套评分系统
训练好的细则,并不是用完就扔的工具,它还能在模型实际干活的时候派上用场。
研究者设计了一个带选择的树搜索流程:在任务树的每个节点,让模型生成两个候选方案,用训练好的细则分别打分,挑分数高的那个保留下来,然后从叶子节点往根节点逐层回溯,始终选择当前已知的最优解。
这个流程在TextWorld-Sync上带来了额外2.43个百分点的提升,把平均成功率从65.07%推高到67.50%,极难级别任务的成功率更是从22.86%涨到28.95%。更有意思的是,用训练好的小模型自己当裁判,和请外部的Kimi大模型来当裁判,效果几乎一模一样(67.50%对67.29%)。
但如果没有经过SERA训练,这套选择机制几乎不起作用。研究者对比了未经训练的基础模型,发现用它自己来选候选方案,平均成功率甚至还下降了0.22个百分点,困难和极难级别的成功率始终是零。原因很直白:没有训练过的模型既生成不出足够好的候选方案,也判断不出哪个候选方案更好,巧妇难为无米之炊。
这个对比恰恰说明了SERA的训练过程做了两件事,不只是让模型把每个子任务做得更好,也真正把模型训练成了一个靠谱的自我评估者,这个评估能力在训练结束之后依然能继续发挥作用,变成一种可以反复复用的推理时资源。
两个测试场景,两种不同的挑战
论文用了两个基准测试来验证这套方法,它们分别代表了两种不同难度的现实情境。
TextCraft-Synth是一个合成物品制作环境,智能体要查配方、递归委派子制作任务。它的特点是每个子任务都有一个确定性的程序验证器可以独立核验对错,这意味着SERA在这个场景里训练细则生成根本不需要外部大模型裁判,程序本身就是现成的裁判。
TextWorld-Sync则是研究者自己在TextWorldExpress基础上扩展出来的一个新基准,专门用来检验共享状态下的多智能体协调能力。它包含七种不同的协调结构,比如资源冲突型(多个分支争抢同一把刀或同一个炉子)、依赖门控型(必须先完成某个前置条件才能继续)、负载均衡型(各分支工作量不均,需要合理分配)等等。这个场景里子任务的对错没法用简单程序判断,只能靠外部大模型裁判来打标签,这也正是最能检验SERA"节省外部监督成本"这个优势的场景。
在这两个基准上,SERA相比最强的对比方法RAO(一种此前的递归智能体优化方法,用二元裁判信号打分,不考虑分解质量)分别提升了5.38和13.14个百分点。
写在后面
读完这篇论文,最触动我的其实不是具体的数字提升,而是它揭示出来的一个更根本的认知:当一个系统既要做事又要评判自己做得好不好时,这两种能力绝不能用同一套没有约束的反馈循环去训练,否则大概率会走向互相讨好而不是互相校准。
这个道理其实超出了AI训练的范畴。任何一个组织如果让同一群人既制定KPI又自己打分发奖金,长期来看分数会失真,这几乎是制度设计里的常识。但有意思的是,这篇论文用严谨的消融实验把这个常识在AI训练场景里精确地量化了出来:单纯给出更细的打分标准没用(只提升3.33个百分点甚至反而下降),用分数分散度做信号会出问题(下降9.07个百分点),真正有效的是用一个外部的、独立的验证结果去锚定评分标准的训练,同时让评分完全不参与直接的任务奖励循环。这种"用一次性的外部监督去训练一个可复用的内部裁判"的思路,其实是一种很聪明的监督成本摊销策略,有点像花大价钱培训一个内部审计员,之后就不用事事都请外部审计机构了。
论文里也坦承了一些局限,比如只在40亿参数规模的模型上验证过,叶子覆盖率奖励对所有叶子节点一视同仁、没有考虑不同子任务的重要性差异,以及这套自我评估机制理论上仍然存在被"钻空子"的风险,只是论文的实验设计相对克制住了这种风险。这些留白恰恰说明,这不是一个已经封顶的解决方案,而是一条刚刚被证明可行的路径。
一个会自己出考卷、还懂得不作弊的AI学生,接下来会学成什么样子?
Q&A
Q1:SERA是什么?
A:SERA全称自我评估递归智能体,是一种训练方法,让AI在拆解任务、执行子任务、评估结果这三项能力上同时得到训练,核心是让模型在委派任务前自己写一份评分细则,之后用这份细则给子任务打分,并通过验证结果训练这个打分标准本身的准确性。
Q2:SERA和之前的RAO方法相比提升了多少?
A:在TextCraft-Synth基准上平均成功率提升5.38个百分点,在TextWorld-Sync基准上提升13.14个百分点,推理阶段加入细则引导的树搜索后还能再提升2.43个百分点。
Q3:SERA为什么能减少对外部裁判的依赖?
A:因为SERA只在训练评分细则生成这一步用外部验证结果或大模型裁判,日常执行过程用模型自己训练好的评分标准打分,这使得TextWorld-Sync上外部裁判调用次数下降超过4倍,输入词元消耗下降超过5倍。