公告
记得每天来更新数据哦,更新站点排名靠前。

COPE:让语言智能体一边干活一边预演下一步

2026-11-22 18:51 1 次浏览 来源:AI资讯

COPE 提出让语言智能体在成功轨迹上预测未来多步动作,用简洁的决策目标替代噪声观测预测,与 GRPO 共享主干联合训练,在五个基准上提升成功率与样本效率。

你想过一个问题没有:现在的 AI 智能体学会做一件事,到底有多贵?

不是电费贵,是数据贵。一个智能体在虚拟房间里找东西、在购物网站上挑商品、在客服系统里处理退款,它每走一步都要真的在环境里执行一次,然后等待环境返回结果。一次任务动辄几十上百步,每一步都是一次真实的交互成本。你要想让它学会,就得让它失败很多很多次,而每一次失败,烧的都是真金白银的算力和时间。

更让人心疼的是什么呢?是这一整条失败或成功的轨迹里,绝大部分信息都被扔掉了。

这篇来自伊利诺伊大学香槟分校、加州大学圣地亚哥分校和 Meta AI 合作的研究,就盯着这个浪费现象做文章。四位核心作者是 Haofei Yu、Yixing Chen、Yining Zhao、Xuyan Ye,加上 Yuxiang Liu、Zhigang Hua、Yan Xie、Shuang Yang 和 Jiaxuan You。他们提出的方法叫 COPE,全称是 Co-evolving Acting and Forecasting,直译过来就是"让行动与预测共同进化"。

先说清楚它想解决的那个具体痛点,你才能明白后面的设计为什么长这样。

强化学习训练智能体时,最主流的做法叫 GRPO。

GRPO*:Group Relative Policy Optimization,分组相对策略优化。让同一个任务跑出一组轨迹,看哪些成功哪些失败,然后按组内的相对表现给每条轨迹打分,成功的加权、失败的降权,不需要额外训练一个价值网络。

GRPO 的问题在于,它只知道整条轨迹最后成没成功。一条轨迹跑了二十步,最后成功了,那这二十步里每一个动作都被判定为"好";最后失败了,二十个动作全都被判定为"坏"。可是真实情况显然不是这样。这条成功的轨迹里可能有三步是瞎转悠绕了远路,也可能有一步是运气好碰上了,但它统统被打了满分。

所以问题就变成了:怎么从这些已经收集到的轨迹里,榨出更多的监督信号?

此前学界试过两条路,两条都不太顺。

第一条路是构造价值目标。给每一步估一个"这一步有多大概率通向成功",当密集奖励用。麻烦在哪?一条轨迹只记录最终结果,没有记录每一步的成功概率。你拿同一个最终结果给二十个步骤贴同一个标签,这个标签的随机性其实主要来自后面的动作和观测,跟你这一步到底做得好不好关系不大。要想真的区分开来,得请人一步步标注,或者从中间状态反复重跑,代价高得离谱。

第二条路是构造观测目标。让模型去预测环境的下一个状态,也就是下一步你会看到的页面、终端输出、日志。这条路听起来很自然,问题是环境返回的东西太脏太长。你在写代码的场景里,终端可能吐出上百行日志,其中真正影响决策的就那么一两行报错;网页场景里,一个页面的 HTML 结构树能塞满几千个 token,真正有用的可能就是一个按钮。

看论文里那张对比图就能直观感受到这件事有多荒谬。左边是终端输出的观测,密密麻麻的 pytest 日志、路径、警告信息,一屏都放不下。右边对应的动作只有一行:把 np.float 改成 float。也就是说,模型如果把损失函数大部分花在背诵那一堆无关日志上,它就是在一件对决策毫无帮助的事情上耗费力气。

这两条路之外,这篇论文想出了第三条。

在成功的轨迹上,让模型看着当前的历史,直接预测接下来会做哪几个动作,跳过中间那一堆观测不看。注意,是预测动作,不是预测观测。

这个目标为什么好用?作者做了三件事来论证。

第一,它针对每一步都是独特的。每条成功轨迹给每一步贴上的是它自己后面真正发生的那串动作,不是从后面所有轨迹里凑数据。所以你不用去求什么外部标注,成功的轨迹本身就带着答案。这叫事后分布,英文是 hindsight distribution。

hindsight distribution*:事后分布。把"最终成功"作为一个条件,反推在已经成功的那些轨迹里,某个历史状态下接下来会做什么。它把成功当作筛子来过滤轨迹,而不是给每一步贴标签。

第二,它只关注决策相关的内容。动作是简洁的,一行命令、一次点击、一句回复,跟那些又长又噪的观测完全不在一个量级。损失函数不会被无关 token 稀释掉。

第三,它跨越了多个时间步,形成了一种隐式的时间集成。

时间集成*:Temporal Ensemble。同一个动作会从多个不同的时间点被预测到。比如第十步的动作,既在第十步被监督一次,也会在第八步、第九步预测未来动作时被监督到。多次监督自然形成一种平均,让预测更稳。

这个思路其实在机器人学习领域早有印证。ACT 那篇工作让大家发现,让策略一次预测未来一串动作,也就是所谓的动作分块,效果比一次只预测一个动作好得多。后来有研究把这种收益归因于"延迟预测":预测第 t 步动作时,如果不用最近 k 步的观测,就相当于用更早的信息去做预测,这算一种延迟。把一个动作在所有延迟上训练一遍,相当于集成了一个延迟预测器团队,比单一的延迟要强。

COPE 借用了这个洞察,但有一处关键的不同:它只在训练时做多步预测,推理时还是老老实实一步一个动作地走。没有额外的开销,没有笨重的分块执行。

这里必须插一个类比,因为这个设计决策的收益和代价,用生活场景来说最清楚。

想象你是个新手司机,第一次开长途。有个教练坐在旁边,每次你打方向盘之前,他都会先问你:"接下来三个路口你打算怎么走?现在左转,然后直行,再右转。"你说一遍,说错了教练纠正你。这就是 COPE 的训练方式,它逼着你在做当前动作时,脑子里就得有一条往后延伸的路。

如果教练不这么问呢?他只在你开完全程之后说一句"到了,不错"或者"撞了,不行"。那你学到的只是"这次整体不错",你根本不知道自己是在哪个路口判断对了,也不知道那个提前变道的决定是不是关键。下一次你还是凭感觉。

但如果教练要求你上路时也必须一口气连打三个方向,而且必须在没看到后面路况的情况下打,那就过分了。因为第三个路口可能有施工,你根本不可能提前知道。COPE 的聪明之处就在于,它只在训练场里这么练,真上路时一句废话都不多说。

真正的算法落地是这样:一个共享的大模型主干,同时承担两个角色。第一个角色是行动策略,看着历史,输出下一个动作,这是老本行。第二个角色是预测器,看着历史,被要求输出未来 K 步的动作序列。两者的参数是同一套,只是输入时多加了一句"规划指令",让模型知道现在该进入预测模式。

共享主干这件事很关键。如果另起一个模型专门做预测,那就得额外训练、额外存储、额外部署,成本核算下来根本不划算。共享之后的好处不只是省钱,更重要的是预测中学到的多步结构会直接写进策略用来行动的同一份表征里。这就是"共同进化"这个词的来源。

回到那个损失函数。它不是简单地让模型预测未来的动作,它有筛选:只在成功的轨迹上算损失。

为什么非要加这个条件?作者说得很直白,如果不筛选,模型会去模仿那些平均的、甚至失败的行为,这就跟主训练目标直接打架,训练到头来奖励归零。因为失败轨迹里那些绕路、无效操作、被环境拒绝的动作,全都被当成正面样本喂进去了。

筛选之后还有个技术细节:分组归一化。随着训练进行,成功的轨迹会越来越多,如果损失直接按成功条数累加,那预测项的梯度会越来越大,喧宾夺主。所以要除以这个组里成功的条数,让权重的期望值稳定下来。

这个修正的妙处在于,它不改变最优解。数学上可以证明,加上这个系数之后,期望意义上等价于原来的目标乘以一个正标量,所以每个历史状态下模型学到的最优预测不变,只是训练的稳定性好了。

再看那个"共同进化"的双向箭头,这是论文里我觉得最值得细读的部分。

正向很好理解,行动帮助预测。策略越强,产出的成功轨迹越多,预测器能学到的样本就越多。论文里用了贝叶斯公式来解释:预测器的最优解正比于两件事的乘积,一是当前策略提出的动作序列,二是这个序列最终通向成功的概率。成功筛选这个操作,等价于用拒绝采样把第二项乘了进去。所以预测的目标永远跑在策略前面,策略一动,目标跟着动。

反向就没那么显然了,预测怎么帮助行动?作者的答案是隐式集成。虽然参数共享,但预测任务逼着模型在每一个历史状态下,都要编码一条通往成功的多步计划。反过来看,同一条轨迹里的某个动作,会出现在前面 K 个历史状态的预测目标里。它被从 K 个不同的时间点、K 份不同的信息量监督了 K 次,而在 GRPO 里它只被监督一次。

为了让这个论证站得住,作者还做了个很干净的对照实验。他们另训了一个 LoRA 预测器,只读模型收集的轨迹,但它的梯度不能回流去更新策略。然后拿这个独立预测器去给候选动作排序,用多个时间点的预测来打分。

LoRA*:Low-Rank Adaptation,低秩适配。一种轻量微调技术,只训练极少量的额外参数就能让大模型适配新任务,训练成本远低于全参数微调。

结果很有意思。在每一个检查点上,这个外部预测器都能让 GRPO 的表现往上走一点,但给 COPE 加几乎没有任何提升。这说明什么?说明预测所携带的那份信息,GRPO 手里没有,得靠外挂才能拿到;而 COPE 的策略本身就已经把它吸收进去了。GRPO 要通过额外的预测器和额外的推理前向才能换来的东西,COPE 一次前向就交付了。

这里再来一个类比,说的是那个"延迟预测"的对照实验,因为它揭示了一个特别反直觉的结论。

假设你是个刚入职的客服,公司给你培训。第一种培训方式是,让你把处理过的成功工单重新背一遍,逐字复述;第二种方式是,让你在每次准备回复客户之前,先写下"我接下来要说的三句话是什么",然后才真正开口。

第一种听起来更直接,你照着成功案例学就好了,怎么会错?数据给的答案是:相比不加任何辅助目标,第一种做法让成功率掉了 7.5 个点。

为什么会掉?因为成功工单里也包含了很多绕路。客户说了三遍你才听懂,中间那两轮无效的来回也被算作"成功路径"的一部分。你照着背,就把绕路也背下来了。

第二种,只让你预测当前这一步,提升 2 个点,因为少了跨步的信息。第三种,允许结合环境给的信号把无效动作替换掉,能到 5 个点,但它需要针对每个环境专门定制规则,不通用。第四种,也就是 COPE 的做法,在所有延迟上都训练,不需要任何环境特定的信号,到 8 个点。

延迟 0,也就是当前动作,携带的关于"成功"的信息其实很少。因为成功筛选会把那些后来被恢复过来的绕路保留下来,它们对最终结果影响很小。在这种步骤上,延迟 0 的目标就是那个绕路本身,而真正决定成败的恢复动作,只出现在更晚的延迟里。

这就是为什么,光模仿成功轨迹不够,得让动作在不同的信息量下被反复预测。

聊完了方法,得看看实际跑出来的成绩,不然都是纸上谈兵。

先说评价的场景。三个模拟环境,ALFWorld 是在虚拟家庭里找东西、加热物品之类的家务任务;ScienceWorld 是小学科学实验,比如测熔点,要按步骤做实验;WebShop 是在模拟购物网站上按指令买东西,页面很长。两个更真实的场景:τ?-bench 是有政策约束的客服系统,背后接了一个由 GPT-4o-mini 扮演的模拟客户;AppWorld 是要跨多个应用组合 API 调用,用代码作为动作,任务比如"我有多少个 Spotify 歌单"。

模型用的是 Qwen2.5-7B-Instruct,AppWorld 因为更难,用了 14B 的版本。几个基线方法分别是:GRPO 本身、ECHO 和 RWML,后两个都是在 GRPO 上加了观测预测的辅助目标,正好用来对比"预测观测"和"预测动作"哪个更值。

在 ALFWorld 上,GRPO 的总成功率是 90.5%,COPE 是 95.5%,高出 5 个点。WebShop 上 GRPO 是 64.5%,COPE 是 77.0%,高出 12.5 个点。ScienceWorld 上 GRPO 是 64.5%,COPE 是 72.5%,高出 8 个点,同时也比 ECHO 的 67.5% 和 RWML 的 65.0% 都高。

跟同类的观测预测方法比,COPE 在三个环境上都是最好的。在 ALFWorld 上比第二名高 1 个点,WebShop 上高 4.4 个平均分和 5.5 个成功率点,ScienceWorld 上高 5 个成功率点。不过论文也老实交代了,ALFWorld 的 Cool 和 Pick2 两个子任务上,ECHO 或 RWML 更好。

从整体上更有说服力的数字,是样本效率。在 ScienceWorld 上,达到同样的训练分,COPE 用的步数比 ECHO 少 1.7 到 1.9 倍,比 GRPO 少 2 倍。在 0.6 这个分数档上更能说明问题,COPE 在第 86 步就到了,而两个基线在前 150 步里都没摸到这个水平。

用具体数字感受一下这个差距。在 ScienceWorld 上第 150 步的时候,COPE 的训练分数已经在 0.7 上下,GRPO 还在 0.5 多一点的地方晃。0.2 的分差意味着什么?意味着同样的算力预算里,COPE 已经跑完了一个完整的训练周期,GRPO 才走到三分之二,剩下三分之一的时间它还在补课。

开销方面更值得说,因为它打破了"加东西一定变慢"的直觉。预测那一遍前向确实多花了时间,ScienceWorld 上平均每步多 11% 的计算时间。但因为模型变强了,很多任务提前结束,轨迹变短了,端到端的每步时间反而降了 9%。所以它是加了一笔开销,又省了更大一笔。

再看两个更真实的应用。τ?-bench 上,GRPO 的总体成功率是 27.5%,COPE 是 28.7%,只涨了 1.2 个点。拆开看就能发现结构问题:Retail 从 17.5% 涨到 29.4%,涨了快 12 个点;Telecom 从 38.8% 涨到 40.6%;但 Airline 从 26.2% 掉到 16.2%,掉了整整 10 个点。

这个 Airline 的下跌是论文里最坦诚的一处,作者专门用了一整段解释,而且解释得相当精彩。

原因在于航空领域有一类任务,客户提出一个请求,正确答案是"拒绝"。比如要求取消一个已经超过退款门槛的订单。这类任务在航空里占 38%,在零售里只占 4.4%。而且拒绝是最容易做的,策略什么都不用干就行,训练早期这类任务的成功率有 52%,而那些需要真正改动数据库的任务只有 8.9%。所以大部分的早期成功案例,都是拒绝。

更麻烦的是,一个该被拒绝的请求和一个该被执行的动作,两者在历史信息上几乎一模一样。都是"客户要求取消订单",区别只在于客户的退款诉求有没有超过 50%。预测器只被那些被奖励的拒绝案例训练过,于是它学会了一切都往拒绝的方向走,把这个偏好带给了需要真正行动的任务。那些任务就更难成功,成功的案例里拒绝的占比就更高,偏见被越滚越大。

在 AppWorld 上,这个方法的收益倒是最大的。正常划分上 GRPO 41.7%,COPE 55.4%,高出 13.7 个点。挑战划分上从 18.7% 到 22.5%。不过论文也提醒得清楚,之前发表的 AppWorld 结果用的是不同规模的子集和不同的协议,所以跟公开数字比不太公平,真正可控的对比是在他们自己统一设置下跑的 GRPO 和 COPE。

看论文的图 2,那个二维网格把整个机制讲得最清楚。横轴是动作序列,纵轴是历史。每一行代表一个历史状态下要预测的未来动作块,有颜色的格子就表示这个动作被覆盖到了。你会看到,沿着一行看是往未来延伸,沿着一列看是往过去回溯。一个动作出现在它所在的那一列上的多个格子里,那就是它被预测的多个时间点。这个图本身就是"共同进化"四个字的几何表达。

然后是消融实验,这部分挺能说明设计里哪些东西是真的在起作用。

预测的跨度 K,论文试了 1、2、4 三个值。所有 K 大于等于 1 的设置都比 GRPO 好,也比分块里只用当前动作的基线好。K=2 最好,K=4 反而略有下滑。为什么?因为往前预测得越远,中间那些你看不到的观测带来的不确定性就越大,噪声开始压过多步结构带来的好处。这跟人在做计划时的感受是一致的,你能清楚地说出接下来两步干什么,让你说七步之后的事,多半是编的。

权重系数 λ,从 10?? 一直扫到 10??。有意思的是每一个值都超过了 GRPO。作者观察到它主要控制的是学习的节奏,大的值早期冲得快,小的值走的是相似的但延迟的轨迹,最后两个最大的系数收敛到差不多的高点,较小的那几个也都在 GRPO 之上。他们最终选了 10??。

分组归一化的作用在梯度范数曲线上看得很清楚。不加归一化时,梯度范数会随着成功样本增多出现尖峰,整条训练曲线跟着抖。加上之后,尖峰被压住了,后期的训练更平稳。

他们还换了个主干模型,把 Qwen2.5-7B 换成 Qwen3-8B 再跑一遍。WebShop 上 83.4% 到 87.4%,ScienceWorld 上 61.5% 到 71.5%,两个基准、两个主干,COPE 都比 GRPO 好。这一点挺实在的,说明涨的不是某个特定模型版本的运气。

现在说论文的局限,这部分反而能看出作者对自己方法边界有多清醒。

最核心的一个问题叫结果条件化模仿的一个已知缺陷:成功筛选会让容易的任务被过度代表。因为只要任务简单,随便怎么做都成功,那这些简单任务的成功轨迹就会被大量喂进预测器,而难任务的样本寥寥。这就是航空领域那个崩塌的根源。

这个问题的通用形式,其实在决策变换器那一系的工作里已经被讨论过,也有论文专门论证过模仿过去的成功在随机环境下可能非常次优。COPE 没有绕开这个,它只是让这个偏差来得温和一些,因为在同一个任务内做条件化,比在跨任务收集数据时要收敛得多。

还有个更微妙的地方值得单独拎出来说,就是预测跨度和观测盲区之间的矛盾。预测三步之后的动作时,模型没有看到那三步之间环境返回了什么。这在决策相对稳定的环境里没事,因为历史已经暗示了大方向。但如果某个任务的走向高度依赖中间某一次工具调用的返回值,那三步之后的预测就纯粹是猜。K=4 的性能下滑,很可能就是这个矛盾开始显形的信号。论文没有深挖这个,但它其实指向了一个更本质的问题:在什么条件下,一个任务的动作序列是可以从历史里"读出来"的,而不需要环境来告诉?

这让我想到一件完全不同领域的事,就是国际象棋里的开局理论和残局计算。开局阶段,高手可以在不看棋盘变化的情况下,提前走出十几步,因为局面演化的规律高度可预测;而残局阶段,每一步都依赖对方实际的落子,你必须等他走了才知道下一步该干什么。COPE 相当于在给模型做开局训练,对残局那种高度依赖实时反馈的场景,它就是力不从心的。这也解释了为什么在 AppWorld 这种"每一步都要看 API 返回什么"的任务上,它的增益依然是正面的但更依赖当前的观测。

最后留一个问题给你,我自己也是想到这儿才觉得这件事有意思。

我们一直默认,智能体的学习信号越密越好,每一步都该有一个反馈。但这篇论文其实在说,步骤级别的反馈不一定来自外部,它可以来自轨迹自己向未来的折叠。你今天做的这个决定,好不好,答案藏在三天后的结果里,而那个结果同时也就告诉了模型,今天之后的几步该怎么走。

如果这个思路继续往深走,那么下一个问题是不是就是:我们能不能不依赖"成功"这个粗糙的二值标签,而是让轨迹自己判断哪一段路是必须走的、哪一段只是绕的?毕竟现在这个筛选,把绕路也一并保留了。真正该被学走的,其实只是那些少了就不行的步骤。

Q&A

Q1:COPE 和 GRPO 的核心区别是什么?

A1:GRPO 只用整条轨迹的最终成败打分,每个动作拿到的信号都一样。COPE 在 GRPO 之外加了一个辅助目标,让模型在成功轨迹上看着历史,直接预测接下来几步会做什么动作,跳过中间的观测不看。这样每一步都被它自己的后续动作监督,信号更细,而且只在训练时用,推理时还是一步一个动作。

Q2:COPE 为什么在 τ?-bench 的 Airline 任务上表现反而变差了?

A2:因为航空领域有 38% 的任务正确答案是"拒绝客户请求",这类任务最容易做,训练早期就大量成功。预测器只看得到这些被奖励的拒绝案例,于是学会了倾向于拒绝,还把这个偏好带到那些真正需要执行操作的任务上。那些任务就更难成功,成功里拒绝的占比就更高,偏差越滚越大,最终成功率从 26.2% 掉到 16.2%。

Q3:COPE 会不会增加训练或者推理成本?

A3:推理完全没有额外成本,还是正常一步一个动作生成,不需要多步预测。训练时多了一遍前向,ScienceWorld 上平均每训练步多 11% 的时间,但因为策略变强、轨迹变短,端到端每步时间反而降了 9%。它也不需要单独训练一个世界模型或者额外的预训练阶段。