多模态基础模型
突破级
有讲解视频
收录解读
这篇论文关注一个非常值得跟的现象：一些 VLM 在纯文本任务上反而能超过其底层 LLM。作者把这个现象具体化为“视觉训练是否帮助模型修正文本里的 binding shortcuts”，并构造了受控检索任务来做机制分析。
方法上，论文比较了纯文本训练和图像 token 训练下的 transformer 内部表征，发现视觉训练引入的空间平移不变性会打破位置捷径，迫使模型学到更稳健的符号绑定机制。作者不仅看行为结果，还做了内部机制跟踪，因此这不是普通的“加视觉数据后效果变好”报告。
它在仓库里值得收，是因为它把多模态训练的收益解释成一种可追踪的归纳偏置修正机制，而不是笼统的“多模态更强”。对 VLM、binding、OOD 泛化和 mechanistic interpretability 都有外溢价值。
我把它放在“突破性”。原因是它提出了一个很好的机制性解释，但目前仍主要是受控任务和分析性工作，离更大范围的范式改写还有距离。