对应论文

AtlasVLA: Persistent World-Ego State Modeling for Vision-Language-Action Models

视频简介

现有视觉-语言-动作(VLA)模型在部分可观测和长时程任务中受限于固有反应式范式,当仅依赖腕部相机时,存在物体离开视野导致的感知遗忘以及多步执行中的任务进度遗忘,严重制约了其性能表现。 AtlasVLA提出从直接反应式操作转向主动推理,通过双记忆架构(4D持久世界状态记忆和自我工作状态记忆)构建全局更新的体素哈希空间状态,并用扩散Transformer联合世界-自我状态进行空间推理,解决了视觉盲区和进度遗忘问题。 实验覆盖LIBERO、RLBench和真实世界基准,仅使用腕部相机即达到当前最优性能,在LIBERO-Long上相对多视角基线绝对成功率提升9.4%,在真实世界长时程任务上提升17.5%,展示了跨基准的显著效果。 这一工作为VLA模型注入了持久状态和推理能力,但当前证据仅限于摘要,未报告消融、统计细节或代码开源,且局限性在于仅验证了操作任务,仍未超出操作领域,未来需评估其在更多具身任务中的泛化能力。

外部视频链接

论文链接