对应论文
视频简介
当前推理数据依赖人工标注或从强LLM蒸馏,忽略了专家系统(如游戏引擎、经典规划器、定理证明器)产生的动作中蕴含的知识,但这些专家系统不输出链式思维(CoT)。 提出LeAct框架,将CoT视为潜在变量,通过优化学生模型恢复动作的概率来从专家动作中学习推理链,从而蒸馏专家知识到可泛化的学生模型中。 在多个不完全信息游戏(从小规模枚举到大规模Flop Hold'em)和模拟机器人基准上验证,LeAct达到小规模求解器下限,大规模远超基线(5倍接近求解器,对战中+60 mbb/g),在机器人任务上唯一优于直接模仿。 该工作开创了利用专家系统作为推理教师的新范式,具有重要价值,但泛化范围目前限于游戏和机器人领域,跨更多推理任务(如数学、代码)的验证尚未展开。