对应论文

ChemMat-AgentSafetyBench: Evaluating Long-Horizon Attacks and Defenses in Chemistry and Materials Agents

视频简介

化学与材料智能体将文献检索、候选生成、性质预测和方案规划整合为连续发现流程,其安全风险从回答危险问题转向通过工具中介流程释放危险协议。现有安全评估多聚焦单轮问答,缺乏对长时程、多步骤工具交互中攻击与防御的系统评测。 本文提出ChemMat-AgentSafetyBench,包含432个固定危险案例规范,覆盖8类危害、3种场景壳、4种工具与记忆环境,并设计5种在线长时程攻击(意图劫持、工具链、目标漂移、任务注入、记忆投毒)。攻击语言由运行时轨迹动态生成,避免静态基准的局限性。 全文完成1,728次主实验、攻击入口分解、防御配对和真实智能体接口转移,证明最终回答过滤无法覆盖工具状态与持久记忆风险。 该基准实质改变科学智能体安全的评估对象与实验协议,达到颠覆性;尚非真实实验室验证,也未形成通用防御范式。

外部视频链接

论文链接