多模态基础模型
突破级
暂无讲解视频
收录解读
## 问题与背景 问题与背景：很多 speech-language systems 仍把语音理解视为黑盒编码到语言模型里，对韵律、意图、状态转移等更复杂因素的显式推理较弱。
## 方法/新意 方法/新意：这篇工作提出 modular speech world model，把语音理解分成通过 causal graph 连接的多个模块，并在 latent speech states 上做 state-action planning 和显式 reasoning。
## 意义/放在仓库中的位置 意义/放在仓库中的位置：它适合放在 world model 与 multimodal reasoning 主线，代表“world model 不只服务视觉和机器人，也开始进入 speech understanding”。
## 局限/为何不更高 局限/为何不更高：方向很对，但当前仍更像语音理解里的强新作，而不是足以改写整个 speech AI 主干路线的工作，因此归为突破性。