Policy and World Modeling Co-Training for Language Agents

核心要点

问题/背景

RL 告诉 language agent 哪些动作高奖励，但很少直接监督动作如何改变环境。

方法/机制

PaW 利用 on-policy rollouts 中天然存在的 action-next-observation transitions，在同一个 policy 上加入 world modeling auxiliary supervision，并用数据选择、抗噪 loss 和 reward-adaptive balancing 稳定训练。

结果/证据

它值得收录，因为它把 world modeling 融入 agent RL 训练，而不是额外 simulator 或推理时模块。

收录价值

按当前收录规则，它属于近期值得正式跟踪的可复用方法或系统模式；但作为新近预印本，后续仍需要代码、复现和真实部署结果来确认长期影响。