视频理解智能体，能不能像程序员改代码一样，自己给自己打补丁？

有一件事挺有意思。现在的视频理解智能体，看一段几十分钟甚至几小时的长视频去回答问题，靠的是一套叫"执行脚手架"的东西，去决定看哪几帧、怎么看、看完之后怎么用这些信息答题。这套脚手架写死在代码里，智能体用的时候不会变。

问题是，这套脚手架自己从来不会变聪明。

每次智能体答错题，留下的只有一条"执行轨迹"，也就是它这次到底看了哪些帧、调用了哪些工具、得出了什么中间结论的记录。但这条轨迹只能告诉你它看见了什么，不能告诉你它为什么没看到该看到的东西。

这就是这篇论文要解决的核心麻烦。

**执行轨迹：智能体完成一次任务后留下的完整记录，包括调用了哪些工具、观察到了哪些画面、做出了哪些中间判断。**

设想一下，你让一个新来的实习生去查一份监控录像，找某个人几点进的门。他回来告诉你没看到这个人进门。这时候你没法判断到底是哪里出了问题：是他压根没翻到那段录像，还是他翻到了但没认出那个人，又或者他看见了也认出来了，但记录笔记的时候把时间点搞混了。三种情况，三种完全不同的改进方法。如果你只盯着他交上来的那份笔记看，你永远搞不清楚真相，因为笔记本身就是问题的产物，它不会主动告诉你盲区在哪里。

论文把这种困境讲得很直白，一个执行轨迹里缺失的证据，可能源于三种完全不同的原因，一种是采样间隙，也就是关键事件恰好落在了没被抽到的帧之间；一种是感知错误，看到了但理解错了；还有一种是证据利用失败，看到了、理解对了，但答题的时候没调用这段信息。这三种失败需要三种截然不同的修补方式，而传统方法只能在轨迹里猜。

Video-RSI到底想干什么

研究者提出的方案叫Video-RSI，一个让视频理解智能体用自己的语言模型，去给自己的脚手架做递归式自我改进的框架。

**递归自我改进：系统反复用自己的输出去优化自己本身的过程，每一轮改进的结果会成为下一轮改进的起点。**

这套系统里有两个角色，一个叫Solver（求解器），负责实际答题；一个叫Editor（编辑器），负责诊断失败、修改代码。关键的地方在于，这两个角色用的是同一个、权重完全冻结不变的语言模型。模型本身没有被重新训练过一丁点，变的只是模型外面那层控制它怎么看、怎么用证据的程序代码。

这个设定本身就很说明问题。研究者没有选择用强化学习去调模型参数，而是选择去改模型外面的"工作流程"。这意味着他们认定，很多时候问题不出在模型的理解能力上，而出在给模型安排的工作方式上。一个很聪明的人,如果被要求必须先扫一遍全局再决定看哪段细节,但工作流程却强迫他反过来做,那他表现差未必是因为他不聪明。

Video-RSI的改进循环分两大模块，一个叫"主动视频调查"，一个叫"成本感知的脚手架演化"。

### 主动视频调查：先把证据补全，再动手改代码

这是整篇论文里我觉得最值得细讲的部分。

传统的自我改进方法，Editor只能看训练阶段留下的执行轨迹，去猜测失败原因。Video-RSI不这么干，它允许Editor重新回到原始训练视频里，主动发起新的观察请求，去验证某个失败解释到底成不成立。

具体怎么做的呢。Editor会先列出几种可能的失败假设，然后针对每一种假设构造一条"诊断性查询"，这条查询会去改变观察的时间区域、采样密度、模态（比如从纯视觉切到字幕文本）或者具体要问的感知问题。比如怀疑某个短暂事件掉在了两帧采样之间，Editor就会让系统用更密的采样重新检查那段时间，看看事件到底存不存在。这个过程里，感知类的查询是不带标准答案的，Editor不能直接看到正确答案再去"对答案式"地修正，它必须像一个真正的调查员那样，靠证据本身来支撑或推翻自己的假设。

论文里给出了一个清晰的流程公式，Editor会维护一个"调查上下文"，每轮查询返回的新证据会不断累积进这个上下文，用来决定下一步该问什么。这个循环一直持续，直到找到一个有证据支撑的修改方向，或者确认再问下去也问不出新东西为止。

这里我想做个类比。

想象你是个侦探，手里有一份案发现场的报告，报告上写着某个重要线索缺失。你有两种办法往下查。一种是坐在办公室里反复读这份报告，试图从字里行间推测线索为什么没出现。另一种是直接回到案发现场，拿着放大镜重新找一遍。如果你选第一种，你永远只能在报告已经写下的内容里打转，报告本身的局限就是你推理的天花板。如果报告漏记了某个关键窗户是开着的，你翻烂这份报告也想不出这个细节，因为它压根没被记录。只有回到现场，你才可能发现报告没写到的东西。

Video-RSI选的就是第二种路子，这也是它和此前的同类工作VideoHarness-RSI最大的区别。后者只用历史代码、评分和执行轨迹来优化脚手架，相当于只允许侦探反复读报告。Video-RSI则让Editor能重新打开视频文件本身去核实。

论文的消融实验很直接地证明了这一步的价值。在四个基准测试里，允许主动调查的版本，最终准确率全面超过只能看轨迹的版本。在MLVU这个长视频理解基准上，差距达到8.2个百分点，而且这是在推理阶段帧使用量相近的情况下取得的。换句话说，不是靠多看更多帧硬撑出来的准确率，是靠诊断更准确换来的。而且，开了主动调查之后，20次修改尝试里有5次被最终接受，而只看轨迹的版本只有3次被接受，说明更准的诊断也带来了更多真正站得住脚的修改方案。

### 成本感知的脚手架演化：改对了不等于改好了

发现问题、改完代码只是第一步。接下来还有一个更现实的问题，这次修改到底值不值得保留下来？

这里有个容易被忽略的陷阱。如果只盯着"这道题答对了没有"去判断一次修改是否成功，很容易掉进一个坑，就是靠疯狂增加采样密度、把能看的帧全看一遍来硬刷准确率。这种修改短期内看着很美，但推广到成千上万道题目上，会让系统的计算和时间成本爆炸式增长，变得不实用。

Video-RSI设计了一个同时考虑"答对没"和"花了多少视觉资源"的筛选规则，论文里叫cost-aware selection，中文可以理解成成本感知的选择机制。

**视觉成本：智能体完成一次完整答题过程中，所有视觉模型调用处理过的帧数总和，取多道题目的平均值。**

规则本身不复杂，但设计得挺巧妙。一次候选修改要被接受，只有两条路可走。第一条路是准确率确实提高了，同时视觉成本的增长控制在一个允许的比例以内，论文里设的上限是增长不超过10%。第二条路是准确率基本没降（容忍极小的损失），但视觉成本得到了明显的削减，至少降低20%。这两条路线背后的逻辑其实是说，要么你拿更高的性价比换准确率，要么你拿略微的准确率代价换更低的成本，但你不能两头都要不好的结果，更不能用蛮力堆帧数来掩盖诊断上的偷懒。

这就好比公司考核一个新项目方案，不能只看这个方案这个季度赚了多少钱，还得看投入了多少预算和人力。如果一个方案靠疯狂烧钱换来了一点点营收增长，财务总监肯定不会批准继续推广，因为这种模式一旦铺开到全公司规模，成本根本撑不住。但如果一个方案既能省钱又基本不影响营收，那显然值得推广。反过来，如果只用营收这一个指标去考核，那所有项目经理都会学会用烧钱的方式刷数据，这正是Video-RSI的设计者想要避免的局面。

消融实验里，只用准确率做筛选而不考虑成本的版本，确实在四个基准上都比初始脚手架准确率更高，但在其中三个基准上，帧使用量反而上升了。而加入成本考量的完整版Video-RSI，在准确率更高的同时，帧数在所有四个基准上都更少，在Video-MME这个基准上甚至只用了大约一半的帧数。这组对比清楚地说明，单靠准确率这一个指标，不足以判断一次修改是否真的有价值。

演化过程里发生了什么

论文还做了一件挺有意思的事，把20轮修改过程中每一步被接受的版本都记录下来，画成了曲线图，观察这套系统究竟是怎么一步步变强的。

在用来筛选候选方案的开发集上，第一次被接受的修改贡献了绝大部分的帧数削减，后面十几轮修改主要在不断小幅提升准确率，帧数则有升有降，不是单调下降的。

更值得玩味的是放到MLVU这个完全没参与筛选过程的测试集上回看时发生的事。第一次被接受的修改虽然在开发集上两项指标都变好了，但放到MLVU上一测，发现它其实让准确率短暂下降了，只是帧数减少了。直到下一轮修改，准确率才重新爬升，而最后被接受的两次修改，贡献了MLVU上绝大部分的净准确率提升。这说明开发集上看起来很美的早期改进，不一定能完全代表系统在陌生数据上的真实表现，演化过程需要走完整个过程才能看出全貌。

再往后看，从某一轮修改开始，MLVU上的准确率和帧数开始同步上升，这完全符合论文设计的筛选规则，因为规则本来就允许用适度的成本增长去换取准确率提升。最终的脚手架虽然某些阶段帧数涨了，但整体比最初版本依然节省了10.8%到44.1%的帧数，同时准确率更高。这说明工具变得更复杂、更丰富，不代表总体的观察成本一定会跟着涨。

演化出的脚手架长什么样

论文具体拆解了最终保留下来的几次关键修改，发现它们集中在三个方向上。

第一个方向是让视觉感知从自由发挥变成结构化输出。最初的版本里，模型看完画面后的回复是自由文本形式，比较随意。演化后的版本要求模型给出结构化的发现，带上图像引用和明确的不确定性标注，而且这个图像引用会被系统映射回具体的帧时间戳，让"看到了什么"和"是在哪一帧看到的"这两条信息始终绑在一起，不会在后续推理步骤里丢失。

**结构化感知：要求模型以固定格式输出观察结果，并把每条结果和它对应的具体画面时间点关联起来，而不是让模型自由描述。**

这一步的价值在于，如果一个结论和它的证据来源脱钩，后续推理想回头核实或者针对某个细节继续深挖就没法做了。这就好比开会做记录，如果只写"大家讨论了预算问题"，而不记下是谁在几点几分提出的具体数字，那后面想要追溯某个决定的依据就无从下手。精确到时间戳的记录方式，让后续推理可以精准回放证据，而不是凭一个模糊印象继续往下编。

第二个方向是引入了一种叫"关系图"的机制，用来重复利用已有的证据。这个机制会从已经积累下来的视觉观察、字幕、屏幕文字里提取实体、事件和它们之间的关系，构建成一张图。对于涉及人物关系或者时间先后顺序的问题，这张图能直接指出当前证据里还缺哪块拼图，从而引导后续更精准的检索，而不用每次都重新全盘扫描视频。这个查图的过程本身不处理新的视频帧，相当于是在已有证据之间做整理和复用，是获取新证据之前的一道中间工序。

第三个方向是针对特定题型的专门工具，比如为涉及"整段视频全局判断"的问题扩大了初始的概览帧数，还设计了一个专门的"事件计数"工具，用来定义计数单位、核实候选事件、合并重复出现的同一事件，避免同一件事被数了两遍。

整体表现如何

论文在四个长视频理解基准上做了评估，包括MLVU、LongVideoBench、Video-MME和EgoSchema，并且重新实现了两个对照方法VideoSeek和VideoHarness-RSI，确保用的是同一个底层模型，比较才公平。

结果是，Video-RSI在四个基准上的准确率都超过了这两个对照方法，而且大多数情况下帧数用得更少。和VideoSeek相比，在MLVU上准确率高出4.8个百分点，帧数反而少用27.2%，这算是双赢。在LongVideoBench上，主要优势体现在帧数大幅减少，准确率基本持平。在EgoSchema上准确率和帧数双双改善。在Video-MME上准确率更高，但帧数有适度增加，说明不同场景下这套系统找到的平衡点确实是不一样的，不存在一招通吃的解法。

和VideoHarness-RSI相比，Video-RSI在所有四个基准上都做到了准确率更高、帧数更少，这组对比直接证明了主动调查和成本感知筛选这两个设计的价值。

| 方法 | MLVU准确率 | MLVU帧数 | LongVideoBench准确率 | LongVideoBench帧数 | Video-MME准确率 | Video-MME帧数 | EgoSchema准确率 |

|---|---|---|---|---|---|---|---|

| VideoSeek | 68.1 | 83.9 | 70.9 | 71.9 | 78.7 | **17.8** | 73.2 |

| VideoHarness-RSI | 64.1 | 83.2 | 68.4 | 92.1 | 69.7 | 92.8 | 78.0 |

| Video-RSI | **72.9** | **61.1** | **71.1** | **41.1** | **80.0** | 21.6 | **78.2** |

写在后面

读完这篇论文，有一个点一直在我脑子里转，那就是它选择改"脚手架"而不是改模型这件事。这个选择背后其实藏着一个挺有意思的判断，很多时候我们觉得一个AI系统"笨"，可能根本不是因为它的核心能力不够，而是因为我们给它安排的工作流程本身就有问题。一个很会看图的模型，如果被要求按固定的采样间隔扫视频，碰上关键事件恰好卡在两帧之间，它再聪明也救不回来。这种视角其实挺值得搬到很多别的场景里去想，很多时候我们责怪一个人能力不行，其实问题出在流程设计上。

还有一个细节让我印象很深，就是论文强调Editor在做感知类查询的时候是看不到标准答案的。这个设定看起来是个小限制，但其实是整套方法论能站得住脚的关键。如果Editor可以偷看答案再去调整诊断方向，那它找到的"修改依据"本质上是在抄答案对齐，而不是真的理解了失败的原因，这样的修改在没见过的新题目上大概率是不管用的。这种设计上的自我约束，某种程度上也是在模拟一种更接近真实世界的约束，真实世界里你改进一套系统的时候，往往也拿不到未来测试的标准答案。

这篇论文没解决的问题也挺明显。它的整个演化过程依赖人工设定的阈值，比如成本增长不超过10%、准确率容忍度是多少，这些数字目前还是研究者手动调出来的经验值。如果换一个完全不同类型的任务，这些阈值该怎么设，论文里没给出通用答案。另外，整个演化过程跑了20轮才收敛出一个相对稳定的版本，这个成本本身也不便宜，能不能让这个寻找过程本身也变得更高效，是个值得继续问下去的问题。

Q&A

Q1：Video-RSI是什么？

A：Video-RSI是一个让视频理解智能体用自己的语言模型反复诊断失败、修改自身执行脚手架（控制如何观察和使用视频证据的程序代码）的自我改进框架，模型权重始终保持冻结不变。

Q2：Video-RSI和普通视频理解智能体有什么区别？

A：普通视频智能体只在回答单个问题时动态调整观察策略，而Video-RSI会在训练阶段重新调查原始视频验证失败原因，再把诊断结果变成可复用的代码修改，用于后续所有问题。

Q3：Video-RSI相比之前的方法效果如何？

A：在MLVU、LongVideoBench、Video-MME、EgoSchema四个基准上，Video-RSI准确率普遍超过VideoSeek和VideoHarness-RSI等对照方法，同时在大多数情况下使用的视频帧数更少。