对应论文

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

视频简介

强化学习需要多样化训练环境,但手工环境难以适应模型性能提升,稀疏奖励导致模式崩溃。世界模型可模拟环境状态,但自回归模型存在从左到右偏差,无法基于全局锚点(如工具模式、先前轮次、预期结果)进行条件生成。 本文形式化文本世界建模为可控转移动力学问题,分解为初始状态、任务上下文、工具模式、领域规则和引导指令,并提出掩码扩散语言模型(MDLM)通过双向锚点感知去噪实现更好的连贯性和基础性。同时构建了包含239,403条轨迹的数据集,覆盖9个开源环境和12个前沿模型家族。 实验表明,MDLM在连贯性、基础性和轨迹多样性上优于参数规模大4倍的自回归模型,推理延迟相当。在3个分布外环境(ScienceWorld、ALFWorld、AppWorld)上,使用3种1.2B-7B智能体骨干进行零样本迁移,实现了高达47%的绝对性能提升,无需环境特定微调。还包括对抗场景下的行为分析和人工评估。 该工作开源了数据集和训练框架,为可控文本世界模型提供了新范式。局限性在于方法原创性未达范式级,且验证局限于文本环境,未来可扩展到多模态或物理世界。

外部视频链接

论文链接