对应论文

G0.5: One Autoregressive Stream for Robot Reasoning and Action

视频简介

现有的视觉-语言-动作(VLA)模型通常采用预训练VLM加独立流匹配动作专家的组合,导致VLM仅作为上下文编码器而非决策者。该论文提出G0.5,一个预训练的自回归VLA模型,用单一Transformer解码器在统一目标下生成推理和动作token,旨在解决VLA模型决策能力不足的问题。 G0.5的核心方法包括三个组件:可学习的跨具身动作tokenizer,将异构机器人动作映射为共享词汇;原生思维链流,将任务分解、物体接地和动作提示与动作token交错;以及视觉记忆模块,通过视觉编码器注入多秒历史信息。由于推理和动作共享同一组权重,预训练VLM的能力直接迁移到物理行为,且无需额外训练即可通过提示控制动作粒度、任务周期和分布外场景处理。 模型在大量机器人数据集和VQA样本上预训练,在七个独立基准上超越当前最优:真实世界微调(76.7% vs 53.3% π0.5 和 24.4% GR00T-N1.7)、BEHAVIOR挑战(31.4% vs 26.3% π0.5 和 26.1% 冠军)、DROID后训练零样本迁移(82.5%)、LIBERO(98.9%)、RoboTwin 2.0(93.3%)、SimplerEnv-Bridge(87.3%)等。实验覆盖长时程操作、跨具身泛化和语言跟随任务。 G0.5展示了统一自回归架构在机器人推理和动作中的强大潜力,其跨具身tokenizer和思维链设计为VLA模型提供了新的可复用范式。但论文为预印本,未经同行评审,且方法原创性尚不足以称为范式级突破;未来工作需进一步验证其可扩展性和在更广泛真实场景中的鲁棒性。

外部视频链接

论文链接