智能体与自主科学
突破级
有讲解视频
收录解读
随着多模态大模型和具身代理开始进入实验室自动化，真正的瓶颈已经不只是任务完成率，而是高风险环境中的安全推理能力。科学实验室里存在脆弱器皿、危险化学品和高精度设备，一次错误规划就可能带来不可逆损失。现有通用 benchmark 很难覆盖这种安全约束，因此实验室场景中的 agent safety 仍缺少专门、结构化的评估基线。
LABSHIELD 提出一个面向科学实验室的多视角 benchmark，用于评估 MLLM 在危害识别、安全推理和安全感知规划方面的能力。它依据 OSHA 与 GHS 标准建立风险分类体系，覆盖 164 个任务，并用双轨评估把一般域 MCQ 表现与半开放安全问答区分开来。论文的关键贡献不是又多做一个场景集，而是把“实验室中的安全规划”明确做成一个独立 benchmark 问题，并量化模型在专业实验环境下的性能坍塌。
这项工作值得收录，因为仓库明确重视 AI for science 和 agent evaluation framework。只要 benchmark 设计足够扎实，这类安全基准会成为后续实验室代理、自动化科研系统和多模态科学助手的重要评测底座。它的外溢意义不在单一任务结果，而在于把一个高风险、现实、此前评估缺失的问题正式结构化。
它还不到更高一级，主要因为当前仍是 arXiv 阶段，而且 benchmark 的长期地位取决于社区是否采用、是否扩展、以及是否真正成为实验室代理的标准评估集。现阶段更准确的定位是一篇高价值 benchmark 论文，而不是已经定型的范式级系统工作。