对应论文

ARAC: Benchmarking Auto-Research's Alignment and Completeness on End-to-End Researchs

视频简介

随着自动研究(Auto-Research)的快速发展,如何评估其与人类研究行为的一致性、逻辑连贯性和演化完整性成为根本挑战。现有评估多关注最终答案,而忽略了研究过程的质量。 提出ARAC-Bench框架,包含两个部分:学术认知技能(ACS)系统,将评审专家隐性知识转化为分阶段校准的量化规则;以及三阶段能力诊断协议(提案、实验、综合),在严格模块化约束下解耦评估研究过程。 对11个SOTA框架的系统评估显示,最佳对齐分数仅为67.9/100,表明当前系统在模拟严谨人类方法论上存在显著差距。验证显示与博士候选人排名高度相关(0.8141),证明该基准可靠反映研究者真正看重的维度。 ARAC-Bench不仅提供细粒度诊断工具,还为训练下一代自主研究系统提供可扩展的奖励信号。但作为基准,其泛化性还需更多领域验证,且规则构建的主观性可能需要进一步透明化。

外部视频链接

论文链接