对应论文

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

视频简介

具身智能体在真实物理环境中需要同时具备高层推理与低层运动控制能力,但现有方法往往将两者割裂,导致反应延迟高、无法应对突发事件。该问题对于机器人导航、人机协作等应用至关重要,是当前具身智能与语言模型结合的核心挑战。 NavGPT-3提出了一种层次化导航运行时,将语言模型推理、动作策略执行与监控作为独立线程运行,由运行时调度器决定当前控制权,支持中断与线程切换。底层动作策略NavGPT VLA采用码本分配机制,根据场景变化动态分配视觉token,实现高效低延迟控制。 分离推理/动作/监测线程并加入调度与控制权版本;同8B VLA上RxR-CE成功率78.19→90.43,Go2匹配对照中重叠+优先级使p95停止1840→180ms、漏停7/30→0/30,体现可复用具身运行时而非只换大模型。 仍集中导航、依赖大型训练集与前沿规划器,缺跨操作技能和广泛独立复现;与人类DE演示的数值匹配不等于普遍人类水平,未达到paradigm。

外部视频链接

论文链接