公告
记得每天来更新数据哦,更新站点排名靠前。

AI学会了预测世界,但没人知道它脑子里在想什么

2026-11-22 12:02 2 次浏览 来源:AI资讯

本文介绍了一篇关于联合嵌入预测架构世界模型可解释性的研究,提出Ground-Structure-Verify-Act四阶段框架,指出当前解码方法无法揭示模型内部真实运作机制,并呼吁从表征解码转向理解潜在世界的因果结构与动态规律。

有一台机器,每天都在练习一件事:看一段视频的前几秒,猜接下来会发生什么。

猜了几百万次之后,它猜得越来越准。机械臂推杯子,它知道杯子会往哪边倒;路口的行人往前走两步,它知道下一帧他们大概会出现在哪里。这台机器的名字叫JEPA,这篇论文讨论的正是围绕它展开的一个尴尬问题:它预测得挺准,但没人说得清它脑子里到底发生了什么。

这不是夸张的说法。一群来自上海交大和南洋理工的研究者在这篇论文里直接把这个问题摆上台面:我们能看懂一个会预测世界的AI,到底学会了一个什么样的"世界"吗?答案目前是,不太能。

这件事为什么棘手,得先从JEPA是什么说起。

**JEPA**:全称Joint-Embedding Predictive Architecture,联合嵌入预测架构。简单说,它不像传统的生成式AI那样去"画"出下一帧画面的每一个像素,而是把画面压缩成一串数字(专业说法叫"表征"或者"潜在状态"),然后在这串数字的世界里去预测下一步会变成什么样的数字。

打个比方,如果你是一个画家,别人让你预测一辆车十秒后开到哪,你可能会老老实实画出那辆车、那条路、那片天空的每一个细节。但JEPA不这么干,它只在脑子里记下"车,位置,速度"这几个关键信息,然后直接推算下一步这几个数字怎么变。它懒得画出整幅画,只关心那些真正重要、真正可预测的东西。

这个设计思路其实挺聪明的。你画一整幅画,要操心阳光的角度、树叶的晃动、路人衣服的褶皱,这些细节大多是噪音,跟"车会开到哪"这件事没什么关系,费力不讨好。JEPA直接跳过这些,专心琢磨那几个真正影响结果的变量。这也是为什么像V-JEPA 2这样的模型,能延伸到机器人控制、3D场景理解、医疗影像分析,甚至DNA序列预测这些五花八门的领域里去,它学的不是"怎么画画",而是"事情怎么往前发展"。

但问题也跟着来了。

### 预测得准,不代表看得懂

如果一个模型只是在表面上模仿世界的行为,但内部其实是靠某种投机取巧的办法蒙对答案,这件事从外面根本看不出来。

论文里举了个很具体的场景。想象一个机器人在推桌子边缘的一个杯子,JEPA模型预测杯子会稳稳地留在桌上,结果杯子却掉下去了。这个预测错误背后可能有好几种完全不同的原因:也许模型压根没意识到杯子已经靠近桌边了(这是"状态表示"的问题);也许它知道杯子的位置,但不懂失去支撑之后物体会怎么运动(这是"动力学"的问题);也许它没理解机器人、杯子、桌子这三者之间的相互作用关系(这是"交互"的问题);又或者一开始预测是对的,但是预测了好几步之后,误差一点点累积,最后跑偏了(这是"滚动预测"的问题)。

这四种原因,从外面看都是"模型预测错了",但造成的病根完全不一样,治疗方案也完全不一样。这就好比去医院看病,医生光看到你发烧,没法知道是感冒、肺炎还是别的什么病,必须做进一步检查才能对症下药。如果没有办法区分这几种失败模式,那所谓的"改进模型"就只能靠瞎蒙,改了半天可能根本没改到点子上。

这篇论文想解决的,正是给这台"发烧的机器"做一次彻底的体检。

现在业界常用的体检方法,叫做**解码**(decoding):给模型的内部状态接一个小小的"翻译器"(专业叫"探针"或"解码器"),看看能不能从这堆数字里读出"这里有一辆车""这辆车在往左移动"之类的具体信息。如果读得出来,就说明这个信息是"可解码的",模型的脑子里确实装着这个知识。

这个方法不是没用,恰恰相反,它是目前做得最多、证据最充分的一步。但论文的核心观点是:解码出信息,不等于看懂了这个信息是怎么被用起来的。

这里有个特别容易让人上当的陷阱。假设你从模型的内部状态里成功解码出了"物体的速度",听起来好像挺厉害的,证明模型确实"知道"速度这回事。但这完全没有告诉你,这个速度信息跟位置、跟接触、跟其他变量之间是什么关系,更没有告诉你,模型在做预测的时候,到底有没有真的用上这个速度信息,还是说预测其实是被某些不相关的视觉线索(比如背景纹理、镜头晃动)悄悄带偏的。

这就好比一个学生考试考了满分,你把他的草稿纸翻出来,发现上面写着正确的公式,于是你就断定他"懂"这道题。但万一他其实是蒙对的,公式只是随手抄上去凑数的,实际解题时根本没用那个公式呢?光看草稿纸是不够的,得让他换一道变形题再做一遍,看他是不是还能推理出正确答案。如果不做这一步验证,那所谓的"懂了"随时可能是假象,等到真正要考验这个模型做决策、做控制的时候,这个假象就可能变成实实在在的事故。

### 从解码到理解,研究者画了一张四步路线图

既然光靠解码不够,那该怎么办?

论文提出了一套四阶段的思路框架,分别叫做Ground(扎根)、Structure(结构)、Verify(验证)、Act(行动)。这四个词连起来,其实讲的是一条从"知道信息藏在哪"走到"真正改变模型行为"的完整路径。

第一步**Ground**,扎根。

这一步做的事情,就是前面说的解码:把模型潜在空间里的某个区域,跟外部世界里一个看得懂的变量(比如物体位置、速度、身份)对应起来。这是地基,得先把地基打好,才能往上盖楼。目前JEPA相关的大部分研究,包括V-JEPA 2自己做的探测实验,基本都停留在这一步。

第二步**Structure**,结构。

光知道"速度这个信息藏在这里"还不够,得搞清楚速度跟位置、跟接触力之间是怎么互相牵连的,以及这些变量是怎么随着时间一步步演化的。这就好比你不仅要知道汽车仪表盘上哪个指针代表车速,还得搞清楚车速怎么随着油门、刹车、坡度这些因素一起变化,只认识一个孤零零的指针,没法让你理解整辆车的运作逻辑。

第三步**Verify**,验证。

这一步是整个框架里最关键、也最难的一环。具体做法是搞一次"受控干预":故意去改动模型内部某个被认定为"代表速度"的那块区域,强行把它调高或调低,然后观察模型接下来的预测会不会相应地发生变化。如果改了之后预测确实跟着变了,说明这个变量不是摆设,是真被模型用来做推理的;如果改了半天预测纹丝不动,那之前解码出来的那个"速度"信息,可能只是个花瓶,中看不中用。

这里有个现实的难题,论文也坦诚地提了出来:你想单独调一个变量,但模型内部的表示往往是好几个属性揉在一起的,你一动"速度"这个旋钮,可能"位置"也跟着悄悄变了,这样一来,之后观察到的预测变化,到底是谁造成的就说不清了。这就跟你家里那种老式的总闸开关一样,你本来只想关掉厨房的灯,结果一拉闸,客厅的电视也跟着黑了,你压根分不清刚才的变化是厨房灯造成的还是客厅电视造成的。如果控制变量这件事做不干净,所谓的"验证"就是个假把式。

第四步**Act**,行动。

前三步做完,终于验证出了哪些内部机制是真正在起作用的,这时候就可以拿这些验证过的知识去做实际的改进了,比如说用"潜在空间导向"(latent steering)技术,直接在模型内部动手调整,让它表现得更稳、更可靠,或者针对发现的问题重新训练、微调。这一步算是把前面三步的理论工作,变现成实际的模型性能提升。

论文还专门用一张表格,盘点了目前这个领域里为数不多的几项相关工作,结果挺扎心的。像V-JEPA 2的探测实验、AIM Probing这些工作,基本上只停留在Ground这一步,顶多稍微触及Structure;真正做到Verify和Act的工作,几乎是空白。只有一个叫WorldModelLens的工具性项目,勉强在Verify上打了个"部分覆盖"的标记;而真正做到Act这一格、拿到实打实改进效果的,目前文献里只找到一个来自非JEPA模型的工作,叫World Action Models的steering研究。

换句话说,整个领域现在处在"知道信息藏在哪"的阶段,离"真正理解这些信息怎么协同工作、怎么驱动决策"还有很长一段路要走。

### 世界模型的"世界",因领域而异

论文里还有一个容易被忽略但挺重要的观点:不同应用场景里,所谓"值得关心的世界变量",压根不是一回事。

机器人抓取杯子的场景里,重要的是夹爪、物体、接触力、运动轨迹;做3D场景里"找出门口最近的那把椅子"这类任务,重要的是物体位置、空间关系、场景上下文;医疗手术视频分析里,关心的是手术器械、解剖结构、它们之间的交互关系,以及手术进行到了哪个阶段;而做基因序列分析的JEPA-DNA模型,关心的则是DNA片段、调控元件这些完全不同的生物学概念。

这就好比问"什么叫一份好地图",答案完全取决于你要去哪。开车的人要的是道路和红绿灯,登山的人要的是等高线和水源,航海的人要的是洋流和暗礁。同一张世界地图,对不同的人根本不是同一回事。世界模型的可解释性研究也是这个道理,不存在一套放之四海而皆准的"标准变量清单",得结合具体领域去定义什么才是真正重要的东西。

### 看懂了又能怎样

花这么大力气去搞清楚模型内部到底在想什么,到底图什么?

论文给出了几个挺实在的回答。

第一,能精准定位问题根源。前面提过的杯子掉落的例子就是这个意思,一旦能把失败拆解成"状态没表示对""动力学没学对""交互关系没抓住""多步预测累积误差"这几种具体情况,修起来才能对症下药,而不是闭着眼睛调参数。

第二,能戳穿那些靠"作弊"拿高分的模型。有些模型表现看起来很好,但其实是抓住了训练数据里的某些巧合线索,比如背景颜色、摄像机角度这类跟任务本身没有必然联系的东西。这种模型一旦换个场景、换个背景,立刻现原形。通过验证模型内部到底依赖哪些机制做预测,能提前识别出这种"纸老虎"模型,而不是等它上了战场才发现不中用。

第三,有助于理解模型为什么能在陌生环境里还保持靠谱,或者为什么一换环境就翻车。如果某些内部变量始终保持稳定,不随着物体外观、背景这些无关因素乱变,那这个模型大概率具备更强的迁移能力;反过来,如果内部变量对这些无关因素特别敏感,那这就是未来出故障的隐患所在。

第四,也是论文格外强调的一点:当这些模型被用来做真正的决策和控制,比如指挥机器人干活,内部出错的后果就不再是"预测错了"这么简单,而是"做错事了"。这时候,提前判断一个预测到底靠不靠谱,就变成了安全问题。如果能知道某个预测是建立在已经验证过的、稳定可靠的内部机制之上,还是建立在某个从没被验证过、甚至已知不稳定的"猜测"之上,这个信息可以在行动真正发生之前,给系统一个刹车的机会。

### 这件事也有它的难处

论文没有回避自己框架的局限性。

有一种质疑挺尖锐:凭什么认定"位置""速度""接触"这些人类习惯的概念,就是模型内部真实使用的概念?模型完全可能用一套人类完全陌生的方式去组织信息,是分布式的、非线性的、跟具体任务高度绑定的,根本没法一一对应到人类熟悉的词汇上。这就好比你去看一个外星文明的语言,非要把它翻译成地球上现成的词汇,翻译过程中很可能丢失了最本质的东西,甚至彻底翻译错了方向。论文对此的态度是,人类定义的概念应该被当作"参照点"去寻找可测试的对应关系,而不是预设模型一定得按人类的方式思考。

还有一种观点认为,搞懂模型内部机制根本不是构建可靠系统的必经之路,完全可以靠行为测试、不确定性估计、鲁棒性训练这些"黑箱"方法达到同样的效果,不需要打开盖子看里面。论文对此的回应是,这两条路不是互相取代的关系,行为测试告诉你模型什么时候会出错,内部分析告诉你为什么会出错,两者该是互补的搭档,而不是二选一的竞争对手。

论文最后提出了几条面向未来研究的具体建议:搭建有已知标准答案的受控测试环境,方便验证这套解释框架到底靠不靠谱;研究不同架构、不同训练方式、不同规模的模型,它们内部形成的"世界"到底有什么差异;把这些可解释性分析跟实际的模型表现、设计选择挂钩,让理解反过来指导设计;最后,把这些目前主要在实验室小环境里验证过的方法,逐步推广到真实视频、长时间预测、复杂机器人场景这些更接近现实的应用里去。

写在后面

读完这篇论文,印象最深的其实是那个杯子掉落的例子。它把一个原本很抽象的"可解释性"问题,一下子拉到了眼前:你的扫地机器人撞墙了,你的自动驾驶系统急刹车了,这些事故背后到底是"没看见"还是"看见了但不懂物理",作为用户你永远不知道,甚至连开发者自己可能都说不清楚。这篇论文提出的框架,某种程度上是想把这种"说不清楚"变成一件可以被系统化检验的事情。

还有一点值得多想一层。论文提到,不同的JEPA模型可能用完全不是人类熟悉的方式去组织内部信息,这件事其实挺耐人寻味的。我们一直习惯用"这个AI懂不懂物理定律"这种拟人化的说法去评价模型,但也许这些模型压根没有"位置""速度"这种概念,它们的内部世界可能是一堆人类语言完全无法命名的东西。如果真是这样,那"可解释性"这件事的终点,或许根本不是把AI的脑子翻译成人话,而是承认有些机器思维方式,从一开始就和我们不是一个语言体系。

这篇论文没有给出任何现成的解决方案,它更像是在说:大家一直忙着让AI预测得更准,却没怎么停下来问过,它预测准的时候,到底是真懂了,还是蒙对了。这个问题现在还没有答案。

Q&A

Q1:JEPA是什么,它和常见的生成式AI有什么不同?

A:JEPA全称Joint-Embedding Predictive Architecture,它不像生成式AI那样逐像素生成画面,而是把观察到的画面压缩成一串数字表征,直接在这个压缩后的表征空间里预测未来状态,这样可以跳过无关的像素细节,专注学习真正影响结果的关键变量。

Q2:为什么说解码出模型信息不等于真正理解了模型?

A:因为解码只能证明某个信息(比如物体速度)能从模型内部被读取出来,但不能证明模型在做预测时真的用到了这个信息,预测结果完全可能是被其他不相关线索带偏的,必须通过人为干预和验证才能确认该信息是否真正参与了决策过程。

Q3:论文提出的Ground、Structure、Verify、Act四步框架具体是做什么的?

A:Ground负责把模型内部区域对应到可理解的外部变量,Structure研究这些变量之间的关系和演化规律,Verify通过人为干预测试模型是否真的依赖这些变量做预测,Act则利用验证过的结论去诊断并改进模型实际表现。