收录解读
这篇论文研究的是“原生统一多模态预训练”如何从语言模型范式继续扩展，而不是把视觉模块后接到现成 LLM 上。作者在 Transfusion 框架下从零开始训练统一模型，用 next-token prediction 处理语言，用 diffusion / flow-style objective 处理视觉，并把文本、视频、图文对、动作条件视频放进同一个受控实验体系里，目标是隔离视觉表示、数据配比、架构和缩放规律各自的作用。
论文最有价值的贡献是把多模态预训练设计空间做成一组可操作的经验结论：RAE / semantic visual encoder 可以同时支撑视觉理解与生成，不必沿用“理解 encoder + 生成 VAE”的双表示；视觉数据和语言数据并非简单互相竞争，图像 caption 带来的文本分布偏移才是常见 modality tax 的主要来源；一般多模态训练还能自然诱导 world modeling，尤其是在视频和动作条件视频设置中体现为对动态世界的可预测建模能力。
这篇被收录在 multimodal foundation models 方向，因为它不是单点 benchmark 提升，而是为下一代统一模型给出一套设计蓝图：以 Transfusion 为统一训练接口，以 RAE 作为统一视觉 latent，以 MoE 调和视觉和语言的缩放不对称。IsoFLOP 分析显示视觉明显比语言更数据饥渴，而 MoE 可以在提供语言所需高容量的同时容纳视觉的数据密集需求，这一点对后续统一 VLM / world model 架构有长期参考价值。项目页：https://beyond-llms.github.io/
当前仍保持 `breakthrough` 而不是更高分级，原因是它主要是系统化实证与设计原则总结，并非单独提出一个已经被验证为新标准的模型族或训练范式。它的实验控制强、覆盖面广、方向性重要，但证据仍主要来自作者从零训练的受控规模模型；距离“重塑整个多模态路线”的 paradigm / disruptive 级别，还需要后续更大规模复现、开源模型或产业级采用来确认。