公告
记得每天来更新数据哦,更新站点排名靠前。

学会分辨场景结构,让自监督深度学习真正学会"举一反三"

2026-11-22 13:05 2 次浏览 来源:AI资讯

论文提出MaSS框架,通过拆分场景上下文与结构表征并引入场景结构判别对比学习,解决了自监督深度估计模型混合多样数据训练时性能反而下降的问题,实现了跨数据集的显著性能提升和强泛化能力。

2019年前后,自监督单目深度估计这个领域有一件挺尴尬的事。

研究者们本来对这条路满怀期待:不需要昂贵的激光雷达标注数据,只靠一段段普通的单目视频,模型就能学会从一张照片里判断哪里近哪里远。这个想法听起来很美好,毕竟互联网上视频多的是,理论上数据可以无限扩充。

但现实给了所有人一记闷棍。

当研究者真的把室内场景、室外驾驶场景、动态场景、恶劣天气场景混在一起训练同一个模型时,模型的表现不是变好,而是明显变差了。单独在KITTI驾驶数据集上训练,模型表现还不错;单独在NYUv2室内数据集上训练,效果也凑合。可一旦把这些数据混在一起喂给模型,准确率就开始往下掉,掉的幅度还不小。

这就很反直觉了。

深度学习领域的一个基本信念是数据越多越好,越多样化的数据理应带来越强的泛化能力。可自监督深度估计这个方向,偏偏在这条路上栽了跟头。这篇来自同济大学团队的论文,就是奔着这个"反常识"现象去的,他们给出的解决方案叫MaSS。

数据越喂越笨,问题出在哪

研究者们没有急着加数据或者换更大的模型,而是先做了一件更基础的事:打开模型内部,看看它到底学到了什么。

他们检查了一个在驾驶数据上训练好的深度编码器,发现它的高层特征图里有一块固定不变的低激活区域,这块区域和驾驶场景里"消失点"的位置高度吻合。换句话说,模型并没有真正学会"怎么判断远近"这种通用的几何规律,而是记住了"驾驶场景的画面通常长这样,远处有个消失点"这种数据集特有的偏见。

这就好比一个只在小房间里学过辨认空间关系的人,突然被扔进一个巨大的体育馆,他脑子里关于"墙应该在哪里""天花板大概多高"的经验全都用不上,反而会让他判断失误。论文里举的例子就是这样:在NYUv2小房间数据上训练出来的模型,遇到空旷的大礼堂场景时,完全估计不出那种均匀延展的深度分布,因为它学到的不是几何规律,而是"小房间长什么样"这件事本身。

如果训练数据只有一种场景,这种投机取巧没什么问题,反正模型一辈子都待在这个场景里,靠死记硬背也能混过去。可一旦把驾驶场景和室内场景混在一起训练,模型就犯了难:驾驶数据要求它记住"有消失点"的偏见,室内数据又要求它记住"没有消失点"的偏见,两种偏见互相打架,谁也说服不了谁,最终谁都学不好。

这个发现帮我们把问题看得更清楚了。

自监督深度学习不是输在了数据量,而是输在了模型把"偏见"当成了"规律"去学。

把"内容"和"结构"拆开来学

找到病根之后,解决思路自然就浮现出来了:既然模型容易把数据集特有的偏见和真正的场景几何规律混在一起学,那就想办法把这两样东西从一开始就分开。

MaSS的做法是在网络里专门开辟出两条路径,一条叫上下文表征,一条叫结构表征。

VFM*(Vision Foundation Model,视觉基础模型):指像DINOv2这样在海量图像上预训练过的大模型,具备很强的通用视觉理解能力,但不是专门为深度估计设计的。

上下文表征负责处理物体级别的细节,比如前景和背景的空间关系、物体边界这些具体的视觉信息。结构表征则专门负责捕捉整个场景的全局布局、透视关系这类更抽象的几何规律,和具体是什么物体、什么纹理没有关系。

论文里给出了一组特征激活图的对比(见文中图2),很能说明问题。普通自监督深度模型的激活图里带着明显的数据集偏见痕迹;而预训练的DINOv2模型激活图里几何线索又不够清晰,因为它本来就不是为深度任务设计的;MaSS分出来的上下文特征图清楚地勾勒出物体轮廓和前后景关系,结构特征图则呈现出一种更"干净"的全局布局信息,不带具体物体的细节。

这种拆分思路让我想起厨房里备菜和炒菜的分工。

如果一个厨师既要同时想着"这道菜该放多少调料"又要想着"整桌菜的上菜顺序和节奏",很容易两头都顾不好,调料放多了还耽误了上菜时机。把这两件事交给两个人分别负责,各自专注,整桌菜反而更有章法。MaSS就是把"看懂具体内容"和"理解整体布局"这两件事,交给了两条独立的网络路径去做,谁也不干扰谁。

架构上怎么实现这种分工

光是"想"把两种表征分开还不够,得有具体的架构设计去支撑这个想法。

MaSS采用了一种双向交互架构,把一个传统的深度编码器和一个冻结的VFM编码器连接起来,这个设计借鉴了ViT-Adapter的思路。

ViT-Adapter:一种让预训练的Vision Transformer模型更好地适配下游密集预测任务(比如深度估计、分割)的接口设计,通过额外的适配模块在不破坏原始预训练权重的前提下注入任务相关的信息。

为什么要这么设计?这里有个两难处境。直接微调VFM,容易把它原本学到的那些强大、通用的语义表征给破坏掉;可要是完全冻结VFM不让它动,它里面又缺乏足够的几何线索,没法直接拿来做深度估计的结构建模。

这个两难有点像请一位博学的顾问来帮你装修房子。

如果让顾问亲自上手砌墙刷漆,他的专业知识很可能会在繁琐的体力活中被消耗殆尽,发挥不出应有的价值;但如果完全不让他插手,只让他远远地看图纸提建议,他给出的建议又可能缺乏现场的实际细节支撑。MaSS的解法是让顾问(VFM)保持不动手(冻结),但通过一个专门的沟通渠道(双向交互模块)让他和现场施工队(深度编码器)持续对话,施工队把现场的几何信息反馈给顾问,顾问把他的通用知识注入进来,两边互补。

具体来说,VFM的token通过交叉注意力机制接收来自深度编码器的信息,深度编码器的token也反过来关注VFM的特征,这种双向的信息流动让两边各自保留优势的同时,又能互相补足短板。

在拆分出上下文和结构两条路径之后,论文还设计了一组锚定解耦约束,用来防止这两条路径学崩或者学重复。具体做法是把上下文特征和原始VFM特征之间的跨样本相似关系对齐,确保适配过程中语义关系不走样;同时让结构特征和上下文特征在同一个样本内部尽量正交,逼着结构路径把精力放在它该管的事情上,不和上下文路径抢活干。

怎么教模型认出"相似的结构"

这是整篇论文里我觉得最巧妙的一步。

前面说了要让结构表征学会捕捉场景布局,可问题是深度预测的中间特征和最终深度分布之间,没有一个可以直接拿来当监督信号的解析关系,没法像有监督学习那样直接给个标签让模型去拟合。

论文的解法是借助对比学习的思路,构造一个场景结构判别任务。

对比学习:一种不依赖人工标注标签,而是通过拉近"相似样本"、推远"不相似样本"的方式来组织特征空间的学习方法,常见于CLIP等模型的训练中。

但这里的关键创新,不是直接套用对比学习,而是重新定义了什么叫"相似"。论文没有简单粗暴地按"室内""室外"这种类别标签去分正负样本对,而是设计了一个结构差异度量,专门比较两张图的深度分布到底像不像。

具体做法是把预测出来的深度图先降采样成一个粗糙的代理图,然后用一种软分箱策略统计出一个20维的深度直方图,用来概括整张图的全局深度分布,再用对称KL散度去衡量两个样本之间的直方图差异有多大。差异小于某个阈值,就算作正样本对,鼓励它们在结构特征空间里靠近;差异大,就当负样本,推远。

论文的补充材料里给了一组很有说服力的可视化例子。一张室外的夹在车辆和建筑之间的狭窄通道照片,并没有被归为和开阔的室外马路场景相似的正样本,反而因为它们的空间布局差异太大被判定为负样本;而一张室内的图书馆狭长走道照片,却和几张室外的窄巷子照片被判定为结构相似的正样本,尽管一个是室内一个是室外。

这说明这套判别机制真的学到了"布局"这个抽象概念,而不是偷懒地按场景类别打标签。

这让我想到判断两个人性格合不合得来这件事。

你不会因为两个人都是程序员就认定他们一定聊得来,也不会因为一个是医生一个是老师就断定他们没有共同语言。真正决定合不合拍的,是性格、兴趣这些更底层的东西,跟职业标签没有直接关系。MaSS的结构判别机制做的就是这件事,它绕开了表面的场景类别标签,直接去衡量更底层的几何布局相似性。

如果没有这套机制会怎样?论文里的消融实验给出了答案:去掉对比学习目标之后,模型在训练集上的表现有所下降,但更致命的是在零样本泛化数据集上的表现大幅滑坡,比如在Waymo数据集上AbsRel误差从0.123恶化到0.163,δ1准确率从0.867跌到0.805。结构表征学习这一环要是缺失了,模型照样会走回老路,开始死记硬背数据集偏见。

实验结果:数字不会说谎

说了这么多设计思路,终究还是要靠数字说话。

论文在KITTI、NYUv2、DDAD、nuScenes四个数据集上做了详尽的实验,既包括单独训练单独评测,也包括把四个数据集混在一起训练这种更贴近真实场景的设定。

| 方法 | KITTI AbsRel | DDAD AbsRel | NYUv2 AbsRel | nuScenes AbsRel |

|---|---|---|---|---|

| SC-DepthV3 | 0.118 | 0.142 | 0.123 | 0.167 |

| DCPI-Depth | 0.095 | 0.140 | 0.151 | 0.160 |

| DiMoDE | 0.097 | 0.134 | — | 0.139 |

| MaSS(单独训练)| 0.094 | 0.128 | 0.109 | 0.139 |

| MaSS+(混合训练)| 0.092 | 0.125 | 0.104 | 0.134 |

这张表格里最值得玩味的一行其实是MaSS混合训练之后的结果,它不仅没有比单独训练差,反而在所有四个数据集上都更好了。这在之前的方法里是完全没有出现过的现象,像SC-DepthV3在混合训练之后,NYUv2的AbsRel从0.123直接恶化到0.156,这种混合训练带来的性能倒退,几乎是之前所有自监督方法的通病。

MaSS是第一个真正把这个毛病治好的方法。

零样本泛化测试更能说明问题,因为这考验的是模型真正学到的是不是通用规律,而不是针对训练集的"小聪明"。论文找了八个额外的数据集来做这个测试,覆盖驾驶、室内、以及两个专门用来测试"分布外"情况的极端数据集DIML和DIODE。

在Waymo数据集上,用KITTI训练的MaSS AbsRel误差是0.141,而用同样数据训练的Dynamo-Depth和DCPI-Depth分别是0.167和0.178,差了不少。到了混合训练的版本MaSS+,Waymo上的误差进一步降到0.123,甚至在DrivingStereo这个覆盖雨天雾天等复杂天气的数据集上,误差压到了0.100,比专门针对大规模数据训练的KBR系列方法(0.139)和KBR++(0.126)都要低。

更让人意外的是开销对比,MaSS+只用了15万张训练图片,参数量93.2M,却在多个数据集上超过了用了190万到220万训练数据、参数量高达266.6M的KBR++。这说明性能提升真的来自于学习方式的改进,而不是单纯靠堆数据堆出来的。

论文还专门做了一组消融实验,验证三个关键设计缺一不可:去掉对比学习目标、去掉结构表征解耦、去掉双向交互架构,三种情况下模型在零样本数据集上的表现都明显下降,尤其是去掉交互架构之后,Waymo数据集的误差从0.123飙升到0.190,这说明单靠冻结的VFM特征确实撑不起结构表征学习的任务。

当数据规模继续扩大时会怎样

论文还做了一个有意思的追加实验,往训练集里加入了来自TartanAir数据集的5万张新样本,覆盖焊接车间、医院、邻里街区、办公室、季节性森林这五种此前没见过的场景类型,把训练集从15万张扩充到20万张。

结果显示,模型在原有训练域上的表现基本保持稳定,AbsRel和δ1的平均变化幅度只有1.5%和0.2%;在和训练域相似的未见数据上也几乎没有波动;但在最具挑战性的分布外数据集DIML和DIODE上,AbsRel和δ1分别改善了4.3%和3.0%。

这个结果传递出一个挺重要的信号:MaSS不仅不怕数据多样性带来的冲突,反而能从更丰富的场景类型里汲取养分,尤其是在最难的场景上收益最明显。

不过论文的作者也很坦诚地指出,这个实验规模和现在动辄几千万甚至上亿样本的有监督深度基础模型(比如Depth Anything系列)比起来还差得远,自监督方法在那种数据规模下到底能发挥到什么程度,仍然是一个开放问题。

写在后面

读完这篇论文,印象最深的其实不是那套精巧的网络架构,而是研究者们发现问题的方式。

他们没有一上来就调参数、换模型、堆数据,而是先停下来问了一个很朴素的问题:模型到底在学什么?这个问题听起来简单,但愿意花时间打开黑箱去真的看一眼激活图,并且从中读出"这是消失点位置"这种具体结论,需要的是一种不满足于表面指标的耐心。

论文补充材料里那组野外场景的定性对比图也挺有意思,里面专门放了水面反光、茂密植被、电线这种极端挑战场景。在这些场景下,连一些号称具有强泛化能力的扩散模型方法(比如Jasmine)都会因为RGB域偏移太大而出现扩散过程不稳定、深度预测严重出错的情况,但MaSS依然保持相对稳健。这说明"学会结构"这件事,在真正极端的场景下才显出它的价值,日常测试集上的差距可能没那么明显,但真遇到怪东西的时候,差距就暴露出来了。

另外一个让我反复琢磨的地方是,论文最后还顺手验证了一下MaSS能不能反过来帮助那些强大的有监督深度基础模型,比如把VFM换成DepthAnythingV2或者VGGT之后,加上MaSS的结构学习机制依然能带来提升。这说明"分离内容和结构"这个思路,可能不只是自监督学习的专属解药,它触及的是一个更普遍的问题:任何试图从图像里提取几何规律的模型,都可能面临"把偏见当规律"这个陷阱。

那下一个问题是,如果把这套结构判别的思路搬到视频理解、3D重建甚至机器人导航这些需要理解空间布局的任务里,会不会也能治好类似的"数据越多越笨"的毛病?

Q&A

Q1:MaSS是什么?

A:MaSS是同济大学团队提出的自监督单目深度估计框架,核心思路是把场景的上下文信息和结构布局信息拆分成两条独立路径学习,通过对比学习让模型识别场景结构相似性,从而解决混合多样化数据训练时性能反而下降的问题。

Q2:为什么自监督深度估计模型在混合多个数据集训练时反而变差?

A:研究发现模型容易把数据集特有的结构偏见(比如驾驶场景固定的消失点位置)当成通用几何规律去学习,不同数据集要求的偏见互相冲突,导致混合训练时优化过程发生矛盾,性能不升反降。

Q3:MaSS相比之前的方法有哪些优势?

A:MaSS是首个能从混合多样化数据训练中获得明显性能提升的自监督深度估计方法,在多个数据集上超越此前最优方法,零样本泛化能力也显著更强,同时所需训练数据和模型开销比同类大规模方法更少。