Solving Physics Olympiad via Reinforcement Learning on Physics Simulators

收录解读

这篇论文针对科学推理训练数据稀缺问题：数学和代码有大量可验证题目，但物理等科学领域缺少大规模 QA 数据。作者提出用物理模拟器生成随机场景、交互和问答，把 simulator 变成可验证监督源，用 RL 训练模型进行物理推理。

方法上，系统在 physics engines 中生成合成交互，构造问题和答案，再用 reinforcement learning on synthetic data 训练 LLM。关键结果是模型在只用合成物理数据训练后，能够 zero-shot sim-to-real 迁移到真实世界物理 benchmark 和 Physics Olympiad 风格问题。

它值得收录，因为它展示了一条 AI for science / reasoning 的可扩展数据路线：不用依赖互联网 QA，而是让可验证模拟器成为 RL supervision generator。这个思想对物理、机器人、工程仿真和科学推理训练都有明显外溢。

局限在于 simulator 覆盖、问题生成质量和现实物理复杂度会限制迁移；当前结果证明强潜力，但还不是通用科学推理训练标准。因此按 AI x physics reasoning 的突破性 workflow 收录。

链接