Proving and Improving the Platonic Representation Hypothesis with JEPAs
多模态表示对齐是人工智能的核心问题,柏拉图表示假说(PRH)认为不同模态的模型在规模增大时会收敛到相同表示,但缺乏严格证明。本文将该假说转化为定理,并提供了实证验证。 本文证明了联合嵌入预测架构(JEPA)的柏拉图表示定理:当正样本对为同一场景的“好视角”且错位有界时,不同模态独立训练的JEPA能学到仅差一个旋...
多模态表示对齐是人工智能的核心问题,柏拉图表示假说(PRH)认为不同模态的模型在规模增大时会收敛到相同表示,但缺乏严格证明。本文将该假说转化为定理,并提供了实证验证。 本文证明了联合嵌入预测架构(JEPA)的柏拉图表示定理:当正样本对为同一场景的“好视角”且错位有界时,不同模态独立训练的JEPA能学到仅差一个旋...
放射学AI目前多局限于窄任务、数据密集且对领域转移脆弱,基础模型有望提供可迁移的数据高效方案,但现有工作规模有限、评估片面且假设单一通用模型。 本文提出了nnFoundation,包含互补的卷积与Transformer两种3D放射学基础模型,在210万CT/MRI/PET影像体积上训练,并可通过后处理动态对齐模...
心脏信号(ECG、PPG、PCG)提供了同一心动周期的互补视角,但现有心脏基础模型往往仅针对单一模态,未利用跨传感器的共享生理信息。 本文提出CardioState-JEPA,一个基于生理感知的联合嵌入预测架构,将异质波形映射到共同token空间,通过共享Transformer编码器学习,并以预测掩码心脏状态为...
计算病理学领域近年来得益于基础模型的发展,但这些模型大多仍局限于图像块编码,向全切片理解过渡中,其临床实用性仍然有限。本文提出PRISM2,一个多模态全切片级基础模型,旨在弥合组织形态学与临床诊断推理之间的鸿沟。 PRISM2模型在230万张全切片图像和1400万个问答对(源自70万份病理报告)上进行训练,通过...
这篇论文处理的是流式视觉空间智能的核心问题:面对无界视频流,模型如何持续维护、更新并组织 3D 空间证据,而不是只依赖更长上下文窗口。作者把问题从“长上下文视频理解”推进到“持续空间记忆与结构化更新”,这比普通视频问答或短视频理解更接近真实世界中的在线空间认知。 方法上,Spatial-TTT 把 test-t...
这篇论文研究的是“原生统一多模态预训练”如何从语言模型范式继续扩展,而不是把视觉模块后接到现成 LLM 上。作者在 Transfusion 框架下从零开始训练统一模型,用 next-token prediction 处理语言,用 diffusion / flow-style objective 处理视觉,并把文...
这篇论文提出 D4RT,用统一 transformer 从单目视频中同时推断深度、时空对应关系和完整相机参数,目标是把动态场景重建从重型优化/多解码器流程推进到一次前馈模型。 核心机制是新的 querying interface:模型可以独立查询任意时空点的 3D 位置,而不是对每帧做密集解码,也不需要为 de...