对应论文
视频简介
论文针对新兴的AutoResearch(自动科研)现象,指出现有评估仅关注性能指标而忽视过程细节,且任务范围狭窄、失败诊断缺乏系统性。为此提出了AutoResearchEval基准,包含100个来自前沿科学的任务,覆盖7个学科领域和完整研究生命周期(从构思到写作与评审)。 核心方法是对8种harness-model组合(共800条轨迹)进行过程级注释,并构建了包含45种失败模式的AutoResearch Failure Taxonomy(ARFT)。同时设计了经人类校准的agent-as-a-judge流水线,以低成本实现细致的失败归因。 实验揭示了所有组合中反复出现的一个根本限制:当前agent缺乏元认知循环,即无法对产出与发现进行检验、修订,以及质疑路径合理性。该模式在所有8种组合包括最强模型中均存在,表明缺陷在于模型层面而非特定scaffold。 该工作释放了AutoResearchEval和ARFT,为自主科学发现研究提供了可复用的评估基础设施。其价值在于将评估焦点从“能否完成”转向“如何完成及何处失败”,为后续研究指明方向。局限在于未测试orchestration层面的干预是否可弥补该缺陷,且评估本身不提出改进方法。