MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding

核心要点

问题/背景

这篇论文把自然电影下的 whole-brain fMRI encoding 从单模态特征拼接推进到原生多模态 foundation model 表征，核心问题是多模态融合到底应该在模型内部完成，还是留给后端脑读出器。

方法/机制

MIRAGE 使用 Qwen-Omni 等多模态 backbone 抽取层级特征，再用可学习 cross-attention layer gating 聚合视觉、音频、文本和融合表征，最后经 transformer brain encoder 和 subject-specific head 预测皮层 parcel 响应。

结果/证据

它值得收录，因为它直接连接多模态基础模型、脑编码模型和可解释 NeuroAI：结果支持原生多模态融合比后验拼接更贴近大脑处理，并给出可检查的模态-层级-皮层映射。

收录价值

按当前收录规则，它属于神经感知反哺 AI 多模态编码的高价值方法论文；但作为近期 arXiv，长期影响仍取决于外部复现、数据集覆盖和对不同多模态 backbone 的稳健性。