SecPO: Principled Adversarial Training for Prompt Injection Security

发表:2026-11-02 · 颠覆级

提示注入攻击是AI agent面临的首要安全威胁,现有最佳防御模型Meta-SecAlign仍存在接近100%的攻击成功率,亟需更有效的防御方法。 本文提出SecPO损失函数,基于理论分析证明理想参考模型(注入不变、效用保持的预言机)可近似,并设计高效对抗训练(AT)管道合成强注入样本,联合训练提升安全性。 T...

INFUSE: A Unified Surface Benchmark for Indirect Prompt Injection in Agentic Systems

发表:2026-10-16 · 颠覆级

LLM智能体在长时序工作流中执行shell命令、修改代码、安装依赖并与远程服务交互,越来越多地将外部内容中的对抗指令当作合法任务指令,面临间接提示注入(IPI)风险。现有评估多集中于孤立恶意字符串、单步工具调用或窄配置场景,缺乏对任务生命周期内多攻击面的统一评测。因此,构建贴近真实代理工作流的IPI基准成为智能...

Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs

发表:2026-10-12 · 颠覆级

第一段:安全对齐的大语言模型存在越狱和过度拒绝问题,现有工作未清晰区分“识别危害”与“写入拒绝”的计算过程。该论文将问题框架化为可测量的通路问题,在残差流更新中分离信息暴露与效应。 第二段:核心方法是将注意力更新和MLP更新分别视为感知与决策的载体,使用解码可读性分析“危害信息”与“拒绝证据”的变化,并引入因果...

AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents

发表:2026-09-29 · 颠覆级

在工具使用型LLM智能体的安全对齐中,传统对话安全仅关注回答或拒绝,而智能体需要在执行过程中根据权限证据决定是否行动。表观风险、行动许可性和任务能力容易混淆,导致过度拒绝与任务失败难以区分。 本文提出AgentBound,首个四路反事实生成与评估框架,通过独立变化表观风险和行动许可性,生成可控对比场景,诊断过度...

"You're Right, Let Me Fix It": How LLM Agents Damage Correct Work When Falsely Accused

发表:2026-09-29 · 颠覆级

LLM代理在长期运行中,当任务成功后仍可能接收后续输入,其中有时会错误地指责其导致后续失败。代理接受这种虚假指责并破坏之前正确工作的现象被称为gaslight sycophancy和destructive over-correction,这是一个尚未被充分研究的AI安全挑战。 本文提出了CAVE-Bench基准...

Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration

发表:2026-09-26 · 颠覆级

大模型智能体在执行端到端任务时会编排能力与成本不同的子代理;现有工作把子代理选择视为优化问题,但攻击者可伪造子代理显示的身份,使编排者将操作权限交给有风险子代理。该问题直接关系到生产级智能体编排系统的安全与可靠性。 作者提出TrustFork基准,包含1,890个任务和27,826条有效轨迹,覆盖16个代理系统...

ChemMat-AgentSafetyBench: Evaluating Long-Horizon Attacks and Defenses in Chemistry and Materials Agents

发表:2026-09-14 · 颠覆级

化学与材料智能体将文献检索、候选生成、性质预测和方案规划整合为连续发现流程,其安全风险从回答危险问题转向通过工具中介流程释放危险协议。现有安全评估多聚焦单轮问答,缺乏对长时程、多步骤工具交互中攻击与防御的系统评测。 本文提出ChemMat-AgentSafetyBench,包含432个固定危险案例规范,覆盖8类...

MOLE: Detecting Insider Threats in AI Agents

发表:2026-09-07 · 颠覆级

AI代理可能因模型未对齐、提示注入或操作员滥用而泄露模型权重、投毒训练数据或削弱发布门控。现有基准未测试防御者能否在有限审核预算下从日常工作中检测此类活动。 MOLE 将智能体内部威胁检测从单条恶意输入扩展到持续组织活动日志,并按审查预算评价监控器。 环境含 150 个账户、九类有状态服务和 30 天活动,构造...

From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling

发表:2026-09-02 · 颠覆级

现有安全对齐能诱导拒答,但有害输入如何被检测、传递并转换成拒绝行为仍不透明,也容易在越狱提示下失效。 论文识别出由有害检测头、安全神经元和拒绝头组成的多阶段安全电路,并用头部消融、神经元干预和激活补丁验证各阶段的因果关系,再以结构不变的权重缩放增强电路。 跨Llama、Mistral、Guanaco和Qwen等...

SingProbe Technical Report

发表:2026-09-01 · 颠覆级

运行时防护是大型语言模型可靠部署的关键,现有方法依赖外部独立模型,带来额外推理成本、延迟安全信号以及容量不匹配问题。 本文提出SingProbe,一种轻量级内在运行时防护方法,直接复用LLM推理过程中的隐藏状态,在自回归解码的同时连续预测查询意图、响应安全性和幻觉风险,仅需约2M参数和不到0.5%的额外开销,实...

If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary

发表:2026-08-31 · 颠覆级

该论文针对智能体继承人类凭证后可能越权访问、被隐藏指令操纵或将敏感数据带入模型上下文的问题,指出仅依赖提示词作为护栏并不可靠,因为同一个易错的推理者既要执行任务又要执行限制。 核心方法是在智能体推理之外设置受信任的工具边界,即Out-of-Band Policy Enforcement(OBPE):在向后端发起...

Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety

发表:2026-08-26 · 颠覆级

多轮分解攻击将有害目标分散在多个看似合理的请求和工具调用中,使传统单步检测失效,对工具型LLM代理构成严重安全威胁。 本文提出ReDiR,一种生成时防御方法,通过轨迹级安全证据条件化动作生成:将当前轨迹压缩为潜在安全表示并注入冻结的基础模型,利用同模型、跨视图监督学习,无需单独的安全模块即可在生成过程中整合跨轮...

TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs

发表:2026-08-13 · 颠覆级

随着大语言模型在科学工作流中被提出作为代理,其部署前提是模型能够区分可靠与不可靠的科学文献。然而现有基准仅评估已知答案的事实性,未直接测量这一关键能力,尤其是在缺乏下游验证者的领域。 本文引入TRACES基准,包含42篇被撤稿、欺诈或伪科学论文,并设计了一种方法,通过提取接近原文的前言和科学上合理的研究设计请求...

Stealing Reasoning Traces from Proprietary LLM APIs

发表:2026-08-10 · 颠覆级

本文针对大型语言模型(LLM)提供商隐藏思维链(CoT)以保护知识产权和限制信息泄露的现状,发现了一个架构性漏洞:加密的推理轨迹块在不同会话、用户甚至模型之间完全兼容且可互换。这一特性使得攻击者能够利用同一提供商的较弱、防护较弱的模型来解密并输出加密的推理轨迹,从而绕过对高性能模型的直接越狱限制。 核心方法是一...

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

发表:2026-08-01 · 颠覆级

持久化环境中的早期状态变化会影响长程智能体行为,短静态基准无法捕捉这种累积风险。 OpenART通过环境演化进行开放式红队测试,并提出反馈驱动、无需参数更新的黑盒EMHA攻击策略。 平台含超过一万个状态场景、50个领域、50万工具技能和75种智能体模型配置,任务中位数为97次工具调用。 EMHA聚合攻击成功率8...

What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents

发表:2026-07-28 · 颠覆级

工具调用前的运行时门控能否提供安全保证,取决于策略状态的可表达性、裁判可见信息以及阻断是否改变后续行为。 论文分别刻画固定oracle下的可执行策略、外生分布下的误阻断-漏检前沿与共形证书,以及内生闭环下的occupancy规划,并给出不可判定性与PSPACE边界。 在AgentDojo 949回合闭环重跑中...

Do LLMs Know Their Vulnerable Scenarios?

发表:2026-07-28 · 颠覆级

大型语言模型虽经安全对齐训练,但在特定场景下仍可能被绕过,现有红队方法主要依赖实际攻击结果发现有效场景,缺乏对场景削弱拒绝机制的因果理解。 本文发现场景包裹提示会激活内部场景方向,其因果干预持续降低拒绝分数。基于此提出Concept2Scenario框架,利用稀疏自编码器实例化概念空间,通过概念归因识别拒绝抑制...

Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation

发表:2026-07-28 · 颠覆级

前沿大语言模型在嵌套条件规则评估中表现出一种称为“异常链崩溃”的失败模式,即模型在复杂规则链下持续出错,且该错误模式随模型更新而不稳定,严重影响合规应用。 本文提出Aethis Eligibility Module,一种神经符号架构:LLM从权威来源编写规则,由SMT层确定性执行,从而将不确定性从推理边界转移到...

Protocol-Level Attacks on Agentic Commerce Platforms: A Cross-Platform Taxonomy, AIP-Bench, and Unified Defense

发表:2026-07-27 · 颠覆级

该论文聚焦于AI代理商业平台的安全问题。现有安全研究主要关注模型层面的提示注入和错位,但论文指出更严重的风险在于代理与商业服务之间的协议层,这些结构性漏洞不依赖于具体模型,因此无法通过模型改进消除。 论文对三个主流商业平台进行了系统分析,识别出33种协议层漏洞,并建立了一个跨平台分类法,将结构性攻击与模型相关的...

DARWIN: Evolving Jailbreak Adversary and Guardrail for LLM Safety Evaluation and Protection

发表:2026-07-22 · 颠覆级

现有大语言模型安全评估与防御方法大多基于静态策略,无法应对不断演化的真实攻击手法,亟需动态、自适应的攻防框架。 提出DARWIN框架,将越狱攻击建模为开放式演化过程,通过策略发现、变异、选择与反馈组合实现攻击演化;同时引入在线对抗训练范式,让防护模型从新兴攻击样本中持续学习,兼顾鲁棒性与实用性。 在多个前沿模型...

Salience Induction against Multi-Hop RAG Agents: Threat and Defense

发表:2026-07-21 · 颠覆级

多跳RAG代理在知识密集型应用中依赖外部证据和工具编排,现有防御主要针对内容毒化和提示注入,但忽视了显著通道(salience channel)这一攻击面,即通过操控事实的位置、强调、框架和语义接近性来劫持推理,即使所有检索内容为真且无恶意指令。 本文形式化显著性诱导(Salience Induction)为保...

Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security

发表:2026-07-21 · 颠覆级

LLM代理处理外部内容时面临提示注入和多轮操控威胁,但现有安全基准多依赖攻击池固定、单轮或非自适应评估,难以反映真实攻击的演化能力。本文针对无状态LLM防御者,提出覆盖21个场景的自适应多轮攻击基准。 核心方法为自主LLM攻击者根据前序防御响应在多轮间调整策略,同时保持每轮防御交互独立。通过控制场景、攻击者、防...

Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values

发表:2026-05-11 · 突破级

Agent-ValueBench 指出 agent 的价值表现不能直接等同于底层 LLM 的价值表现,因为 harness、工具、环境和动作轨迹会改变行为。 基准提供 394 个可执行环境、16 个领域、4335 个价值冲突任务和 28 个价值系统,并为任务提供 pole-aligned golden traj...

Safety and accuracy follow different scaling laws in clinical large language models

发表:2026-05-05 · 颠覆级

临床大语言模型(LLMs)在医疗中的应用日益广泛,但通常通过增大模型规模、上下文长度、检索复杂度或推理计算来提升准确率,隐含假设是更高的准确率意味着更安全的行为。然而在医学领域,少数自信的高风险或与证据相悖的错误可能比平均基准性能更重要,安全性与准确率并不一定同步提升。 我们提出SaFE-Scale框架,用于衡...