AI能自己改进自己吗?这篇论文让一个"元智能体"学会了诊断并修复自己的学生
RSIFlow提出一种让AI智能体自我诊断瓶颈并自主选择改进方式的框架,元智能体通过积累历史经验持续提升自身调度能力,在六个基准、十二种测试组合中十一次超越现有最优方法。
你有没有想过这样一个问题:如果一个AI系统能够自己发现自己的问题,然后自己修复,接着再去发现新的问题,这个过程能一直持续下去吗?
听起来像是科幻电影里的桥段,但这正是2026年这篇名为RSIFlow的论文想要解决的问题。更有意思的是,研究者们发现,现有的"自我改进"系统有一个相当尴尬的缺陷:它们大多是用同一套固定流程去解决所有问题,就像一个医生永远只会开感冒药,不管你是感冒、骨折还是心脏病,全都用同一种疗法。
**问题到底卡在哪里**
要理解这篇论文的价值,得先搞清楚LLM智能体的自我改进到底是怎么回事。
LLM智能体
*:基于大语言模型构建的能自主执行任务的程序,比如能写代码、能用工具查资料、能做多步推理回答问题的AI助手。
目前让这类智能体变强的办法大致分三条路。第一条是直接调整模型参数,让它在具体任务上学得更好,比较经典的做法是监督微调或者强化学习。第二条是改造它的执行框架,也就是调整它怎么组织思考步骤、怎么调用工具、怎么管理上下文记忆,这些统称为"harness"。
Harness
*:智能体执行任务时依赖的外部执行框架,包括行动规则、技能调用方式、任务规划逻辑,相当于智能体的"操作手册",不是模型本身。
第三条路是直接修改它产出的具体成果,比如代码写错了就改代码,答案不对就改答案。
这三条路各管各的,听起来挺合理。但问题来了:一个智能体在不同阶段卡住的原因是不一样的。
今天它可能是因为执行逻辑有bug导致任务失败,明天它可能是因为模型本身能力不够,后天又可能变成具体某次输出的局部错误。如果你死守着某一条固定的改进路线,比如永远只调模型参数,那你就是在用治感冒的药方去治骨折。
研究者给这个现象起了个名字,叫瓶颈漂移。意思是智能体的性能瓶颈会随着它自身能力的变化、任务要求的变化而不断转移位置,今天卡在这里,明天卡在那里。
更麻烦的是第二层问题。假设你真的搭建了一个"调度系统",让它根据当前情况去选择该用哪条改进路线,这个调度系统本身是不是也应该跟着经验的积累变得更聪明?
现实中大多数系统的答案是不会。调度逻辑是写死的,靠的是设计者当初预设的规则或者一个固定不变的大模型先验知识。换句话说,就算这个系统每一轮都在诊断问题、选择疗法,它诊断和选择的能力本身,从第一轮到第一百轮,没有任何长进。
这就好比一个新手医生永远用自己刚毕业时学到的诊断流程,看了一百个病人之后,依然用着跟第一天一样的判断标准,完全没有从过去的误诊和成功诊断里总结出任何新经验。
这两个问题叠加在一起,就是这篇论文想要正面解决的核心矛盾:怎么让改进流程跟着瓶颈走,同时让"怎么选改进流程"这件事本身也在变强。
**RSIFlow的设计思路:两个智能体,一个负责干活,一个负责变聪明**
RSIFlow的解法其实在结构上挺直白:系统里养了两个角色。
一个叫任务智能体
*:直接去执行具体任务的那个AI,比如写代码、查资料、调用工具完成用户请求的那个角色。
另一个叫元智能体
*:不直接干活,专门负责观察任务智能体的表现,诊断它哪里出了问题,然后决定该用哪种方式去改进它。
关键的设计在这里:元智能体的"模型"参数是完全不变的,论文里用的是GPT-5.6 Sol,整个实验过程中这个底层模型从头到尾没有被重新训练过一次。
那元智能体是怎么变聪明的呢?答案是靠改造自己的harness,就是靠不断积累和打磨自己手头的那本"诊断手册"。
这个设计选择其实挺值得琢磨。你可能会问,为什么不直接把元智能体的模型也拿去微调?原因大概是这样:微调模型参数需要大量数据和计算资源,而且训练出来的能力很难解释、很难追溯。相比之下,把经验写成一条条带有适用条件、操作步骤、预期效果的"技能卡片",既便宜又透明,出了问题还能倒查是哪条经验用错了。
这就像一个老中医带徒弟。你不会指望徒弟每次看完病人就重塑一次大脑神经结构,而是让他把每次看诊的经验记在医案本里,下次遇到类似症状就翻医案本参考。医案本越厚、记录越精细,徒弟看病的水平就越高,但徒弟这个"人"本身没有变。
**三条可选的改进路线,元智能体来挑**
具体来说,元智能体每一轮能选择的改进方向有三个,分别对应模型、框架、产出物三个层面。
模型更新路线
*:收集任务智能体执行任务时留下的成功轨迹,整理成训练数据,用监督微调的方式更新模型参数,让智能体从自己过去做对的事情里学习。
论文里也测试了用GRPO强化学习算法来做模型更新,GRPO会给同一批任务采样多条轨迹,然后根据任务是否成功给予奖励,再据此调整策略。实验显示,用GRPO训练确实比SFT拿到更高分数,但代价是数据采集成本暴涨。论文里记录的数字是SFT阶段用了2.57亿token左右的数据采集成本,换成GRPO之后至少涨到11.6亿token,涨了超过四倍,而完成任务的成功率只提升了1.6个百分点左右。这组对比挺有意思,它说明了"性能提升"和"代价"从来不是免费的,选择哪条路取决于你愿意为这1.6个百分点付出多少倍的成本。
框架更新路线
*:定位任务智能体执行框架里具体哪个模块出了问题,比如上下文管理混乱、工具调用逻辑有缺陷,然后针对性地重写这部分代码,其他部分保持不动。
产出物修正路线
*:不碰模型参数、不碰执行框架,直接让任务智能体根据反馈信息修改自己刚刚产出的那份代码或答案,测试通过了就提交,这是三条路线里成本最低、改动最局部的一种。
论文里有个具体案例特别能说明三条路线怎么配合使用。研究者记录了连续五轮的改进过程,顺序是框架、框架、模型、模型、产出物。第一轮,智能体本该交源代码,结果交了一堆文字说明,元智能体诊断出这是"提交契约"的问题,于是修改框架加了一道检查,得分从没有记录提升到32.23%。第二轮,又发现有些任务声称完成了实际上没真正执行,元智能体又补了一道基于执行凭证的检查,分数涨到38.04%。第三轮,语义层面的错误开始反复出现,这已经不是框架能解决的问题了,元智能体转向模型更新,用将近3800条成功调用记录做了一次轮次微调,分数到45.46%。第四轮沿用同样的套路但扩大了数据量到5397条,分数到47.11%。第五轮,一些边缘案例还是过不了,但这时候已经不需要再动模型或框架了,只需要让智能体根据具体的失败反馈去修一下自己写的代码,分数最终到51.21%。
从第一轮到第五轮,总共涨了接近19个百分点。更重要的不是分数本身,而是这个顺序本身传递的信息:同一个任务领域里,瓶颈真的会从接口层面的问题,转移到模型能力层面的问题,再转移到局部代码缺陷。如果死守任何单一路线,都接不住后面出现的新问题。
**元智能体怎么把经验攒成"手艺"**
光有三条路线可选还不够,核心难题是元智能体怎么从每一次干预的成败里提炼出能复用的经验。
论文里设计了一套挺细致的机制。每次干预之后,系统会把干预前后的任务轨迹拿来对比,找出共同的子目标、工具调用节点或者错误信号,把"做了什么改动"和"任务结果有什么变化"精确地对应起来。
从这些配对对比里,元智能体会蒸馏出两类知识。第一类是针对具体组件的技能,比如"遇到提交格式不对的情况,应该启用源码完整性检查",这类知识只对特定的改进路线有用。第二类是跨组件的通用原则,比如"完成任务需要跟任务契约相匹配的证据支持",这条原则既能指导代码审查,也能指导工具调用结果的核验,它更抽象,但适用范围更广。
每一条知识记录下来的时候,都带着几个固定字段:适用条件是什么、针对哪个组件、具体该怎么操作、哪些东西必须保持不变不能动、预期会看到什么效果、以及支持或反对这条经验的历史证据。
这套机制的维护逻辑也值得一提。新知识进来有四种处理方式:如果是从没见过的策略,直接新建一条记录;如果是已有策略又出现了新的证据,就补充进去;如果发现之前的适用条件描述不准确,就修订出一个新版本,但保留历史链条可追溯;如果几条记录内容重叠或者被更完善的版本取代了,就合并整理。
这个过程像不像一个老医生整理自己几十年的病例档案?一开始遇到罕见病例就单独记一笔,后来发现某个病例其实是常见病的变体,就把它合并进通用诊疗方案里。病例本子越厚不代表越乱,反而因为有这套整理机制,检索起来反倒越快越准。如果没有这套合并修订机制会怎样?答案很直接:知识库会越滚越大,新旧经验互相矛盾,检索的时候要翻遍几百条记录才能找到一条真正有用的,系统反而会被自己的记忆拖垂。
这里要提一下这套知识最终落地的方式。元智能体不是把这些经验当成摆设,而是真的把它们编织进自己执行时用的接口里,包括检索调用的方式、具体执行指令、以及用来调用这些知识的辅助提示词。换句话说,这些积累下来的技能和原则,会实际改变元智能体下一轮诊断问题、挑选改进路线、构造具体修改方案的全过程。这就是论文反复强调的"元harness演化":改的不是模型参数,是整套诊断加决策的操作手册。
**实验结果:六个基准测试,十二场比赛赢了十一场**
说了这么多设计思路,实际效果怎么样?
研究者在六个公开基准上做了测试,覆盖代码生成(HumanEval+和MBPP+)、工具使用(BFCL-v3和ACEBench)、多跳问答(HotpotQA和2Wiki)三大领域,分别搭配Qwen3-4B和Qwen3-8B两种基座模型,总共十二种"基准加基座"的组合。
对比的基线方法分成三类,包括只调模型参数的SFT和GRPO,只改框架的AFlow和MermaidFlow,以及同时调模型和框架的HarnessForge、SIA、Hyperagent。
结果是RSIFlow在十二种组合里赢了十一种。在Qwen3-4B上,综合得分达到51.21%,比表现最好的基线高出6.06个百分点。在Qwen3-8B上综合得分59.86%,领先幅度是3.86个百分点。
具体到单项,涨幅最大的是HumanEval+这个代码生成基准,在4B模型上pass@1指标提升了14.02个百分点。多跳问答方面,2Wiki基准上两个基座平均涨了5.2个百分点,HotpotQA在8B基座上涨了6.38个百分点。
| 方法 | HumanEval+ | MBPP+ | BFCL-v3 | ACEBench | HotpotQA | 2Wiki | 综合 |
|---|---|---|---|---|---|---|---|
| AFlow | 39.63 | 53.37 | 26.32 | 34.00 | 52.59 | 38.45 | 40.73 |
| SFT | 39.63 | 55.62 | 26.88 | 29.82 | 53.52 | 41.24 | 41.12 |
| SIA | 53.66 | 60.11 | 29.00 | 33.91 | 52.51 | 41.68 | 45.15 |
| **RSIFlow** | **68.29** | **66.29** | **29.23** | **38.00** | **56.72** | **48.72** | **51.21** |
(表格为Qwen3-4B基座下部分结果,RSIFlow在几乎所有指标上领先)
拆解实验也挺有说服力。研究者单独测试了"只用固定路线"和"关闭元智能体演化"这两种退化版本。结果显示,去掉自适应路线选择,代码、工具使用、搜索问答三个领域的平均分比完整版低了4到9个百分点不等;去掉元智能体的经验积累机制,整体性能下降了5.74个百分点。这说明两个机制都不是摆设,少了任何一个,系统的表现都会打折。
**算力花得值不值**
一个常被忽视但很实际的问题是:自我改进要花多少算力才能换来一点提升?
研究者专门做了预算效率分析,在不同的推理轮次预算下比较各个方法的性能。结果显示,RSIFlow基本都落在"帕累托前沿"上,也就是说在同样的算力预算下,它拿到的分数几乎总是最高的,或者说拿到同样分数所需的预算最少。
这个结果背后的逻辑其实不难理解。RSIFlow不是靠无脑地多采样、多试错去换性能,而是靠精准定位该改哪个组件,把有限的算力花在真正卡住的地方。这就跟修车一样,一个经验丰富的师傅听几声异响就能判断是刹车片的问题还是轮胎的问题,直接换对应的零件;一个没有经验的师傅可能得把整台车拆开检查一遍才能找到故障点,花的时间和成本完全不是一个量级。
论文还测试了换用不同的大模型来当元智能体的"大脑"会怎样,分别试了Claude-Sonnet-5、DeepSeek-V4.1-Flash和GPT-5.6-Sol三种模型。五轮演化下来,三者在HumanEval+上的提升幅度分别是11.48、5.09、24.41个百分点,GPT-5.6-Sol最终达到68.29%的最高分,但它消耗的API token也明显更多。这组对比说明,元智能体底层模型的能力上限,确实会影响整套自我改进系统最终能走多远,一个更聪明的"大脑"能更好地利用过去积累下来的经验。
**这篇论文站在了谁的肩膀上,又给谁开了路**
这类研究不是从零开始的。像STaR这样的早期工作,通过让模型反复在自己生成且验证正确的推理过程上微调,改进模型本身的推理能力;AFlow把智能体的工作流程表示成可搜索的代码结构,用迭代搜索去优化;AlphaEvolve则专注于用执行结果驱动的方式去演化具体的程序代码。这些工作各自盯着模型、框架、产出物中的一个维度深挖,但很少有人把"该挑哪个维度去改"这件事本身也变成一个可学习的过程。
稍微往前推一点,SIA这项工作已经意识到应该用执行反馈去在模型更新和框架更新之间做选择,但它的选择策略依赖的是一个固定不变的语言模型先验,本身不会随经验进化。HyperAgents则探索了让任务智能体和元智能体的程序代码本身都变得可编辑,证明了改进策略是可以跨任务迁移的,但它改的是代码层面的程序逻辑,和这里"积累经验、修订知识库"的路径是不同的技术选择。RSIFlow可以看作是站在这些工作之上,把"自适应选路线"和"元层面经验积累"这两件事绑在一起解决。
论文作者也坦率地指出了局限。目前所有实验都是在4B和8B这种相对小规模的模型上做的,更大规模的模型和集群级别的部署下,这套机制是否依然有效还是未知数。另外,元智能体和任务智能体的耦合会带来额外的计算开销,如果为了省钱换一个更弱的元智能体模型,演化效果很可能会打折扣,这中间的权衡还需要更系统的研究。
写在后面
读完这篇论文,最让我意外的其实不是最终的分数提升,而是那个五轮案例里瓶颈转移的具体轨迹。框架、框架、模型、模型、产出物,这个顺序不是设计者提前写好的剧本,而是系统自己一步步诊断出来的路径。这意味着性能瓶颈的转移本身是真实存在的、可观测的现象,不是研究者为了论证灵活性而编造的叙事。
还有一个细节值得单独说一下。论文花了相当大的篇幅去区分"任务层面的技能"和"元层面的技能",前者是改进任务智能体执行行为的具体操作手册,后者是指导元智能体如何诊断、如何选择、如何构造修改方案的经验。这个区分乍看有点绕,但仔细想想,它其实回答了一个很根本的问题:自我改进系统到底在"学"什么东西。答案不是单纯学会把任务做得更好,而是学会怎么去学会把任务做得更好。这两层学习混在一起很容易让人糊涂,分开之后,整套系统的逻辑反而变得清晰了。
比较有意思的是GRPO那组对比实验,四倍多的算力换来1.6个百分点的提升,这组数字放在那里没有被过度解读,但它本身已经说明了很多问题。自我改进从来不是免费的午餐,每一次"变聪明"背后都有一张看不见的账单,这张账单该怎么算,大概会是接下来这个方向绕不开的问题。
Q&A
Q1:RSIFlow是什么?
A:RSIFlow是一个让AI智能体能够自我诊断性能瓶颈并自动选择改进方式的框架,它同时具备任务智能体和元智能体两个角色,元智能体会根据执行反馈选择修改模型、执行框架或产出物,并把每次改进的经验积累成可复用的技能,持续优化自己后续的决策能力。
Q2:RSIFlow和之前的自我改进方法有什么不同?
A:此前的方法大多固定使用一条改进路线,比如只调模型参数或只改框架,无法应对性能瓶颈随时间转移的情况。RSIFlow能够根据当前问题动态选择三条改进路线之一,并且让负责调度的元智能体本身也能通过积累经验持续变聪明,而不是依赖一套写死的调度规则。
Q3:RSIFlow的实验效果如何?
A:RSIFlow在六个公开基准、两种基座模型组成的十二个测试场景中赢了十一个,在Qwen3-4B上综合得分达到51.21%,在Qwen3-8B上达到59.86%,分别比表现最好的基线方法高出6.06和3.86个百分点,代码生成任务上的提升幅度最大。