对应论文

TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs

视频简介

随着大语言模型在科学工作流中被提出作为代理,其部署前提是模型能够区分可靠与不可靠的科学文献。然而现有基准仅评估已知答案的事实性,未直接测量这一关键能力,尤其是在缺乏下游验证者的领域。 本文引入TRACES基准,包含42篇被撤稿、欺诈或伪科学论文,并设计了一种方法,通过提取接近原文的前言和科学上合理的研究设计请求来引导模型参与。探针涵盖五种声明类型,并采用两个互补得分(IFR-a和IFR-i)以及参与深度指数(EDI)来量化模型行为。 在30个模型和10次重复运行中,聚合IFR-a为0.93±0.004,IFR-i为0.809±0.009,但模型在95%的非空响应中参与了不可靠前提。每个模型在超过71%的代理探针中失败,22/30的模型失败率超过90%。拒绝行为集中在少量高知名度主题上,并在匹配结构对照下消失。 结果一致表明模型行为是主题相关的安全行为而非稳健的认知能力,凸显了科学部署中防护栏基础设施的紧迫性。该基准为AI科学代理的可靠性评估提供了可复用的工具,但其通用性仍受限于科学文献可靠性这一特定场景。

外部视频链接

论文链接