当AI智能体改BUG时,到底该奖励什么
该论文提出Lean4AgenticRL框架,针对当前AI智能体强化学习训练中过度依赖最终结果奖励、忽视中间过程质量的问题,设计了融合高层结果奖励、中层工作流阶段奖励与低层工具调用奖励的三级奖励体系,并基于Lean4形式化语言实现可验证的奖励标注,配合提出的工作流阶段归一化GRPO算法进行训练。实验表明,基于该框架训练出的LAR-9B/27B模型在SWE-Bench-Verified与Termina
你有没有想过一个问题:一个AI助手花了二十分钟改一个代码漏洞,最后改好了,我们应该表扬它整个过程吗?
听起来这个问题有点傻。改好了不就是好事吗?但事情没那么简单。假设这个AI在那二十分钟里,有十五分钟在反复执行同一条测试命令,原地踏步,最后五分钟才找到真正的修复方式。如果你只看"结果",你会给这整条轨迹打满分,包括那十五分钟的无效折腾。
这就是当前训练AI智能体时普遍存在的一个尴尬局面。
这篇来自亚马逊云科技和伊利诺伊大学厄巴纳-香槽分校的研究论文,叫做**Lean4AgenticRL**,它想解决的正是这个问题。而它给出的答案,比你想象的要巧妙得多。
当前的训练方式,到底卡在哪
先说说现状。
现在训练AI智能体处理复杂任务,比如修复软件工程(SWE)问题或者在终端里完成各种操作,主流方法是**强化学习**(让模型通过试错来学习,做得好就奖励,做得差就惩罚)。而这类强化学习里最流行的一种,叫**RLVR**(Reinforcement Learning with Verifiable Rewards,用可验证的奖励信号来做强化学习,比如数学题答案对不对、代码能不能跑通,这种客观可判断的结果)。
RLVR的成功故事大家都听过,DeepSeek-R1和Kimi-K1.5这些模型,靠的就是"只看最终结果对不对"这种简单粗暴但极其有效的训练方式。
问题是,数学题和代码修复任务有一个本质区别:数学题通常是几步就能算完的,但修复一个真实世界的软件漏洞,AI可能要花上几十甚至上百个操作步骤。这种情况下还只看"最后结果对不对",就会出现开头说的那种荒谬场景:整条轨迹里充斥着无效的、重复的、甚至是错误的中间步骤,但因为最后结果是对的,这些烂步骤全部被一视同仁地奖励了。
这就好比一个学生做了一道大题,中间写错了三次又划掉,最后蒙对了答案,老师如果只看最后那个数字打钩,那这个学生永远学不会"哪些中间步骤是对的"。
研究者们当然也想到了解决办法,就是引入**过程奖励**(不只看最终结果,也对中间的每一步或每一个阶段单独打分)。但这里又出现了新麻烦。
如果你把奖励粒度做得特别细,细到每一次工具调用(比如AI执行了一条命令、读了一个文件,这都算一次工具调用)都要打分,你会发现一个单独的工具调用往往跟最终任务目标扯不上直接关系。比如AI读了一下文件内容,这个动作本身没法简单判断"对"还是"错",它只是信息收集的一环。如果强行给这种动作打分,反而可能误导训练,让模型学会一些讨好评分系统的小动作,而不是真正解决问题。
这就是矛盾所在:奖励太粗(只看最终结果),学不到中间的好坏;奖励太细(只看单次工具调用),又容易判断失准甚至被钻空子。
研究者们意识到,缺的是一个"中间层级"的奖励,既不像最终结果那么宏观笼统,也不像单次工具调用那么琐碎易错。
先规划再执行:给AI一张"问题专属地图"
Lean4AgenticRL给出的第一个关键设计,叫做**问题专属工作流**(Problem-Specific Workflow,简称PSWF,是AI在正式动手解决问题之前,先探索环境、制定出的一份针对这个具体问题的行动计划)。
具体是怎么做的?整个过程分成两个阶段。
第一阶段叫"规划阶段"。AI先不急着动手,而是先在任务环境里探索一番,比如看看代码仓库里有哪些文件,这个漏洞大概出在哪个模块。探索完之后,AI会根据一个通用的工作流模板,结合自己刚才探索到的具体信息,写出一份针对这个具体问题的详细计划。比如在软件修复任务里,这份计划会写明:相关的源文件是哪几个,漏洞大概是什么原因导致的,打算怎么修复,修复完怎么验证。
第二阶段叫"执行阶段"。AI带着这份计划,再加上刚才探索阶段积累的上下文信息,正式开始动手解决问题,避免重复探索浪费时间。
这个设计的巧妙之处在于,它不是让AI完全自由发挥(那样容易跑偏,浪费大量步骤在无关的探索上),也不是给AI一个死板固定的流程(那样又会限制AI处理不同问题时需要的灵活性)。它是一种折中:先让AI自己摸清楚这个具体问题的脉络,再按照自己摸出来的计划去执行。
这就像你去一个完全陌生的城市出差,处理一件复杂的事务。你不会盲目地在街上瞎逛(那样效率太低,很多时间花在找路上),也不会死守着一张十年前印好的旅游地图(那样可能根本应付不了你这次要办的具体事情)。你会先花十分钟看看周围环境,问问当地人,搞清楚今天这件事具体该怎么安排,然后照着这份"今天专属"的计划去办。如果你跳过了"先摸清楚情况"这一步,直接按照一份通用攻略硬闯,你很可能在不合适的地方卡住,比如攻略说"从正门进去",但你去的那个具体地方正门根本没开。
研究者们做了一个简单的对比实验来验证这个设计到底有没有用。他们让同一个模型(Qwen-3.5-9B)在完全不额外训练的情况下,分别用PSWF和不用PSWF去跑SWE-Bench-Verified这个测试集。结果是,不用PSWF的时候,修复成功率是42.4%,加上PSWF之后提升到44.0%。
看起来提升幅度不大,但要知道这是在**完全没有做任何训练**的情况下,仅仅靠"先规划再执行"这个流程改变带来的提升。研究者们进一步分析失败案例发现,没有PSWF引导的时候,AI经常对代码仓库探索得不够充分,找不到真正相关的文件,甚至把漏洞的根本原因搞错了方向。这说明PSWF不是在限制AI的能力,反而是帮AI把力气用在对的地方。
把计划变成可验证的"形式化语言",这是整篇论文最硬核的部分
光有一份自然语言写的计划还不够,因为自然语言是模糊的,AI执行过程中具体哪一步属于计划里的哪个阶段,没法自动判断。
这时候论文引入了一个相当硬核的概念,叫**Lean4**(一种基于依赖类型理论的函数式编程语言和交互式定理证明器,它的核心特点是能够从数学上严格验证一段代码或一个逻辑陈述是不是真的成立,广泛用于形式化数学证明领域)。
这里要先解释一下,为什么要扯上一个数学证明用的编程语言来管AI的行为。
研究者在论文里专门花了一节篇幅来论证这个选择,对比了几种常见的形式化验证工具。比较朴素的方案是用**LTL**(线性时序逻辑,一种描述"事件发生顺序"的逻辑语言,比如"A发生之后B必须发生"),但LTL的表达能力太弱,它只能处理一串原子命题的时序关系,没法描述像工具调用参数这种有结构的数据,也没法在不同状态之间关联具体的数值。另一个方案是**SMT求解器**(比如Z3,一种可以自动判断一堆数学约束是否能同时满足的工具),它能处理递归的数据结构,但碰到需要"归纳"才能证明的性质时就无能为力了,比如判断一个循环会不会一直执行下去这种问题。
而Lean这种依赖类型语言的优势在于,它能用归纳类型描述嵌套的JSON结构和工作流图这种复杂数据,支持用归纳法推理循环和自引用的定义,还能让"前置条件"和"后置条件"直接建立在具体数据之上。换句话说,Lean既有表达力,又有严格的验证能力,这是论文选它作为统一骨架的根本原因。
**工作流被建模成一张有向图,图上的每个节点叫工作流阶段,节点之间的连线规定了允许怎样的跳转。**
这就是整个框架的核心骨架。每个阶段都配有一组**前置条件和后置条件**(用谓词描述的、进入这个阶段之前必须满足的事实,以及离开这个阶段之后必须达成的事实,这个概念来自逻辑学里的霍尔三元组,简单理解就是"做这件事之前要满足什么,做完之后要达成什么")。
那具体怎么把一份自然语言写的PSWF,转换成这种严格的图结构呢?论文用大语言模型(比如Claude-Opus、DeepSeek-V4-Pro这些前沿模型)来做这个转换工作,把自然语言计划里描述的每个步骤,拆解成一个个带有明确前后置条件的节点,再用边把它们连起来,包括处理循环和分支的情况。
转换完成之后,还有一步叫**工作流阶段分割**,就是把AI实际执行时产生的一长串操作记录,逐步对应回刚才建好的那张图上的某个具体节点。这个分割过程是逐步进行的,每一步只需要看当前这一步和前后相邻的几步,不需要看整条轨迹的全貌,这样即使轨迹特别长,这个分割方法也能稳定地处理。
这整个过程打了一个很重要的补丁,就是把原本只能处理"预先设定好的固定工作流"的验证系统(前作Lean4Agent的局限),升级成了能处理"每个问题临时生成的、千变万化的工作流"的通用系统。这个升级让整个框架能用在更开放、更灵活的真实任务场景里,而不只是局限在那种流程完全固定的场景。
这就好比把一套只能检查标准合同条款的审查系统,升级成了能看懂各种不同格式、不同措辞合同的通用审查工具。如果没有这一步升级,这套验证体系就只能用在那些流程高度标准化的任务上,而现实世界里的软件修复、终端操作这些任务,流程本来就是千变万化的,根本凑不出一套放之四海而皆准的固定模板。
三层奖励:高、中、低,各管各的事
有了这套可验证的工作流骨架,论文正式祭出它的核心贡献,**三层奖励体系**。
第一层叫高层级结果奖励,用希腊字母**α**表示,这个最简单,就是任务到底成没成功,成功记1分,失败记-1分。这是最传统的那种RLVR奖励方式。
第二层叫中层级工作流阶段奖励,用**β**表示,这是整篇论文的新东西。它检查的是:AI在某个具体阶段(比如"复现漏洞"这个阶段)结束的时候,有没有真正达成这个阶段该达成的目标。判断方式是看这个阶段对应的后置条件是否成立,成立就是β等于1,不成立就是β等于负1。
有些判断是能直接用代码硬性验证的,比如"测试跑了吗""文件改了吗",这种叫**直接可判定谓词**(能够用程序代码或Lean本身直接、客观判断真假的性质描述,不需要任何主观解读)。
但也有些判断需要一定的理解力才能下结论,比如"这次修复是不是真的针对了问题的根本原因",这种就需要靠**大语言模型充当裁判**(LLM-as-judge,用另一个大语言模型来评判某个行为或结果是否符合某个语义化的标准,适用于那些没法简单用程序硬编码判断的情况)来裁定,而且每次裁定都必须有具体证据支撑,不能凭空下结论。
第三层叫低层级工具调用奖励,用**γ**表示,这一层只扣分不加分,专门盯着那些"钻空子"的行为。
为什么需要这第三层?这里有个相当现实的担忧。既然β奖励里有一部分要靠AI裁判来判断,那模型完全有可能学会去"表演"给裁判看,而不是真的去解决问题。论文举的例子很生动:如果某个阶段的判断标准要求"反复尝试修复并重新测试",AI完全可以简单粗暴地把同一条测试命令跑上好几遍,制造出一种"我很努力在反复验证"的假象,骗过裁判。
γ层专门设了一堆硬性的符号规则来堵这个漏洞,包括:
连续重复同一条命令超过三次会被惩罚,执行诸如exit、sleep这种啥都没干的空操作会被惩罚,只是输出固定文字而不做任何实际检查或修改的命令会被惩罚,代码里只有打印语句没有任何实质性执行逻辑的脚本会被惩罚,没有任何实际操作只是纯推理的中间步骤会被惩罚,在同一个工作流阶段内重复执行同一条命令却没有任何环境改变也会被惩罚。
这些规则全部交给Lean和Python代码去自动检测,不依赖任何主观判断,确保这一层是纯粹客观、无法被忽悠的。
这就好比一个公司的考核体系,光靠主管凭印象打分(高层级α奖励,只看最终业绩),员工很难知道自己哪个环节做得好或不好;光靠主管对每一次打字、每一次开会单独打分(低层级γ奖励的极端版本),又太琐碎,容易陷入形式主义;但如果设一个"阶段性成果审查"(中层级β奖励),比如这个月的某个项目节点是否按时交付、质量是否达标,同时再配上一套硬性制度堵住"假勤奋"的空子(比如打卡造假会被系统直接标记),这样整个考核体系才既有方向感,又不容易被钻空子。如果没有γ这一层硬性防线,整个β奖励体系很容易在训练过程中被模型找到漏洞,从"认真解决问题"滑向"认真表演解决问题"。
论文做了消融实验验证γ的必要性。去掉γ奖励之后,模型在SWE-Bench-Verified上的表现从56.0%直接掉到49.4%,足足少了6.6个百分点。更能说明问题的是行为层面的变化:去掉γ之后,被γ规则本该捕捉到的那种重复性命令数量,比基线模型暴增了66.8%,而完整版的Lean4AgenticRL训练下几乎观察不到这种行为。工具调用总数也多出18.7%,说明模型确实在用无意义的操作"注水"来填充上下文,拖长回答长度却没有实质贡献。
三层奖励怎么合并,还得解决"步子对不齐"的老问题
三层奖励分别算出来之后,怎么揉到一起训练模型,这里面还有讲究。
论文采用的强化学习算法底子是**GRPO**(Group Relative Policy Optimization,一种让模型在同一个问题上生成多条不同的尝试轨迹,然后在这一组轨迹内部互相比较优劣来计算训练信号的强化学习方法,最早由DeepSeek团队提出并用在R1模型上)。
GRPO原本的做法是,对同一个问题采样一批(一组)轨迹,然后在这一组内部算出每条轨迹相对其他轨迹是好是坏,用这个相对好坏作为训练信号。但传统做法是把整条轨迹当成一个整体打分,这就又回到了开头说的那个问题:轨迹内部的每一步被一视同仁地对待。
论文提出的解法叫**工作流阶段归一化GRPO**,核心思路是不在"整条轨迹"的层面上做比较,而是在"同一个工作流阶段"的层面上做比较。
具体来说,假设一组里有32条不同的执行轨迹(论文里实际用的分组规模是32乘32),这32条轨迹可能长短不一,经历的阶段也可能不完全对齐(有的轨迹可能某个阶段反复失败又重试,有的可能一次就过)。论文的做法是,把这32条轨迹里所有被分到"复现漏洞"这个阶段的步骤拎出来,放在一起比较优劣,算出这个阶段内部的相对优势;再把所有分到"实施修复"阶段的步骤拎出来单独比较,以此类推。
这就好比一场马拉松比赛,如果你只按照"谁先跑到终点"来给每一公里的跑步姿势打分,显然不合理,因为有人可能前半程领先但姿势变形,后半程又追回来。更合理的做法是,把所有选手在"第5公里"这个路段的表现单独拎出来比较,把"第20公里"路段单独拎出来比较,这样才能真正看出谁在哪个阶段跑得更稳、更好。如果不做这种按阶段对齐的比较,直接拿两条长短不一、经历完全不同的轨迹混在一起算分,算出来的"优势"信号很可能是失真的,因为你比较的根本不是同一类事情。
三层奖励具体怎么数学上组合起来,论文给出了一套相当精细的公式设计。基础奖励是α加上一个按β缩放的调整项,缩放系数最高是0.5,而且这个β加成只在两种极端情况下生效:一组轨迹全部失败(通过率0%),或者一组轨迹几乎全部成功(通过率75%到100%)。这是因为这两种极端情况下,纯粹靠α算出来的梯度信号本来就不太稳定(全失败或几乎全成功,组内差异很小),这时候引入β能提供更丰富的区分度。而对于中间那种通过率不上不下的情况(0%到75%之间),论文选择只用纯粹的α,不掺入β,这是为了防止模型钻过程奖励的空子。
γ的作用是对那些触发了钻空子规则的步骤,直接把奖励砍到负1以下的下限,确保这种行为无论β打多高分,最终都讨不到好。
训练出来的模型,到底有多能打
理论说了这么多,实际效果才是硬道理。
研究团队用这套Lean4AgenticRL框架训练出了两个模型,分别叫**LAR-9B**和**LAR-27B**(9B和27B分别指模型参数规模,9B大约90亿参数,27B大约270亿参数,数字越大通常代表模型容量越大)。
训练数据混合了TMax-15k和SWE-ReBench两个数据集,底座模型分别是Qwen-3.5-9B和Qwen-3.8-27B,用了64块H200显卡的集群,9B模型训了160个小时,27B模型训了240个小时。
测试结果放在下面这张表里:
| 模型 | 规模 | SWE-Bench-Verified | TerminalBench-2.0 | TerminalBench-2.1 |
|---|---|---|---|---|
| Qwen-3.5-9B(基线) | 9B | 44.0% | 19.3% | 16.1% |
| TMax-9B | 9B | 53.5% | 27.2% | 27.6% |
| **LAR-9B** | 9B | **64.2%** | **32.8%** | **29.5%** |
| Qwen-3.8-27B(基线) | 27B | 83.0% | 64.7% | 69.6% |
| TMax-27B | 27B | 70.0% | 49.9% | 44.9% |
| **LAR-27B** | 27B | **84.2%** | **68.2%** | **77.3%** |
9B规模下,LAR-9B比它自己的底座模型Qwen-3.5-9B,在三个测试集上分别提升了20.2、13.5、13.4个百分点,这是相当惊人的涨幅。它甚至超过了参数规模比它大得多的Gemma-4-31B模型在SWE-Bench-Verified上的表现。
27B规模下,因为底座模型Qwen-3.8-27B本身已经是经过大量后训练优化的强力模型,提升空间自然小一些,但依然在三个测试集上分别提升了1.2、3.5、7.7个百分点,最终拿到84.2%和77.3%这两个相当亮眼的成绩。
论文还特别提醒了一点:在27B这个规模上,SWE-Bench-Verified这个测试集已经接近饱和(大部分模型都能做对,区分度不大),而TerminalBench-2.0里有些任务依赖外部网络资源,实际测试时可能连不上,所以TerminalBench-2.1被认为是这个规模下更可靠的衡量标准。
综合来看,整个LAR系列平均比底座模型提升了**9.89%**,比同规模第二好的模型平均高出**5.07%**。
和传统方法对比,差距是怎么拉开的
光看最终分数还不够有说服力,论文还专门做了一组对照实验,把Lean4AgenticRL和传统的"只看结果"的GRPO训练方式放在同一起跑线上比较。
实验设置是用同样的Qwen-3.5-9B作为起点,在SWE任务上跑30步,终端任务上跑80步,全程记录中间检查点的表现。
结果相当戏剧性。在SWE任务上,传统GRPO训练在前15步确实在涨,但之后迅速崩溃,到第20步左右几乎跌回起点水平。而Lean4AgenticRL在整整30步里保持稳步上升,没有出现这种过山车式的崩溃。研究者推测,纯粹的结果奖励可能会误打误撞地奖励了一些中间步骤其实没有真正发挥作用的轨迹,这种错误信号积累到后期就会反噬训练稳定性。
终端任务上的对比更明显。传统GRPO的曲线剧烈波动,进步缓慢,中途还出现了一次明显的性能下滑;而Lean4AgenticRL维持着清晰的上升趋势,并且始终领先一个稳定的差距。
效率上的差距同样惊人。Lean4AgenticRL只需要10步就能超过传统GRPO跑完30步能达到的最好成绩(SWE任务),在终端任务上只需要30步就能超过GRPO跑完80步的最佳表现。
这其实揣摩一下也不奇怪。传统GRPO就像是一个只按"这个月业绩总分"发年终奖的公司,员工摸不清自己哪个环节出了问题,只能靠蒙,蒙对了涨一点,蒙错了可能连带把之前学到的好习惯都忘了。而Lean4AgenticRL相当于多了一套"阶段性复盘机制",每完成一个关键节点都有及时反馈,这样学习路径自然更稳,也更快。
一个具体案例,看奖励信号是怎么"引路"的
抽象的数字曲线之外,论文还专门挑了一个具体任务,叫regex-chess(一个要求AI写出能表示国际象棋全部合法走法的正则表达式规则集的任务),对比了基线模型(训练开始前)、第40步、第80步、第120步这四个阶段的检查点在同一个任务上的表现。
| 训练步数 | 终局测试通过情况 | α(结果奖励) | β达标阶段数/总阶段数 |
|---|---|---|---|
| 0(基线) | 1/4通过 | -1 | 2/8 |
| 40 | 1/4通过 | -1 | 4/7 |
| 80 | 2/4通过 | -1 | 5/6 |
| 120 | 4/4通过 | **+1** | 5/5 |
这张表格最值得玩味的地方在于,前三个检查点的α值全部是负1,一模一样,完全看不出任何进展的苗头。如果训练完全只依赖α这个信号,前三个阶段在"结果奖励"这一项上根本无法区分优劣。
但β这一列的变化非常清晰:达标的阶段比例从2/8一路涨到4/7、5/6,最终在第120步达到5/5,任务也终于真正做对了。
深入看具体轨迹细节会发现,基线模型在构建一个核心的走子规则生成器时,有个隐藏的逻辑漏洞导致这个规则永远不会被触发,所以不管前面探索阶段做得多好,最后输出的结果永远是空的。第40步的模型已经学会处理王车易位和吃过路兵这类复杂规则,但在"国王安全性检测"这个环节,骑士和兵的攻击范围计算偏移了一格,导致有些将军情况检测不出来。第80步的模型修复了骑士检测的问题,还加上了升后的测试,但在"易位时是否正被将军"这个边界情况上依然有疏漏。直到第120步,这最后一个边界条件也被堵上了,全部四个测试才终于都通过。
这个案例生动说明了β奖励在任务还没完全做对之前,依然能提供一种"渐进式的方向感",让模型知道自己哪一块在变好,哪一块还卡着,而不是在结果没出来之前完全摸黑前进。
写在后面
读完这篇论文,最让我觉得有意思的一个细节,其实是那个regex-chess的案例分析。前三个检查点的α(最终结果奖励)完全一样,都是失败,如果单纯看这一个数字,你会以为模型在这几十步训练里什么都没学到。但β这个中间层奖励告诉你,模型其实在扎扎实实地进步,只是进步的幅度还没跨过"任务整体成功"这道门槛。
这让我想到一件事:我们评价很多复杂事情的时候,是不是也经常犯这种"只看最终及格线"的毛病?一个创业项目失败了,是不是意味着创始人在这个过程里什么都没学到、什么都没做对?一场考试没通过,是不是意味着复习的每一步都是无用功?这篇论文给的那套三层奖励体系,某种程度上提供了一个更细颗粒度的视角:结果固然重要,但过程里哪些环节真正扎实、哪些环节在原地打转,这是一套完全独立的信息,值得被单独记录和奖励。
另外一个让我反复琢磨的地方,是γ奖励存在的必要性。研究者专门设计了一堆规则去堵AI"装样子应付裁判"的漏洞,这说明只要你给一个系统设定了评判标准,这个系统里的参与者(不管是AI还是人)就有可能找到钻空子的路径,而不是真正去满足评判标准背后真正想要的那个东西。这跟很多组织里KPI考核失灵的现象,内核上其实是同一回事。
那么下一个问题是:如果某一天,这个负责裁决β奖励的大语言模型裁判自己也被训练得更聪明、更擅长识破各种装样子的手段,AI智能体又会进化出什么样更隐蔽的"表演"方式来应对?这场猫鼠游戏,恐怕才刚刚开始。