DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks

发表:2026-10-26 · 颠覆级

智能体能正确复述诊断结果,并不代表会在前提失败时停止后续无效分析。 DMAIC-Bench以15个工业案例的97项任务构造成对继续/停止分支,独立评分执行痕迹,并用专家审计最终结论。 13模型平均GO路由正确率92%、NO-GO为19%;专家审计估计47%的已到达NO-GO决策在最终报告中使用无效证据,区间31...

DConstrain: Compiling Context-Parameterized Transitions for Diffusion Language Model Constrained Decoding

发表:2026-10-22 · 颠覆级

扩散语言模型允许并行填充不同位置,传统从左到右的语法约束难以直接适配,动态构造解析状态又会引入高昂开销。 DConstrain 编译上下文参数化的状态转移,把约束复用与在线解码分离,并为任意位置填充提供可行性检查。 两个模型家族的 BFCL 实验验证了约束生成与工具调用表现;与 DINGO-Opt 共同成功样本...

Parallel Language Models via Variational Decoding

发表:2026-10-19 · 颠覆级

逐token生成使语言模型推理受到串行依赖限制。PLM通过变分解码将并行预测作为训练目标的一部分,探索可学习的并行生成机制。 模型用潜变量辅助解码器组织多个token的联合预测,同时保留自回归能力;论文区分精确和放宽接受的推理策略,以调节速度与生成质量。 正文覆盖80M至3B模型,1.3B匹配自回归训练基线,并...

Scalable decision-making for games of imperfect information

发表:2026-09-30 · 颠覆级

现实决策常涉及隐藏信息,例如谈判、金融、竞争协作中不完全信息的博弈。Stratego作为大规模隐藏信息棋类,其开局隐藏配置超过10³³种,此前AI未能达到人类顶尖水平。 Ataraxos由策略-价值网络、信念网络和测试时搜索组成。信念网络利用自我博弈中的完整信息监督学习推断隐藏状态,测试时搜索从信念采样多个可能...

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

发表:2026-09-29 · 颠覆级

线性注意力模型用固定大小的循环状态替代增长的KV缓存,但在并发服务中这些状态成为内存瓶颈。直接量化循环状态会导致精度严重下降,因为量化误差会通过状态更新传播。本文发现误差影响取决于两个维度:时间上,长寿命记忆中的误差会跨解码步骤持续;空间上,不同键行对输出的影响不同,且状态幅度在行列间变化很大。 基于这些观察...

Realize What Matters: Principled Context Representation for Large-Scale Reasoning

发表:2026-09-24 · 颠覆级

在科学、医学、法律、金融等复杂任务中,需要综合跨异构来源的海量信息,但现有模型上下文长度有限。现有方法通过图、文本记忆、检索集合等组织信息,但这些表示的设计和构建仍缺乏统一原则。 本文受认知科学中关联实现理论的启发,提出了设计大规模上下文表示的具体原则,并在此基础上开发了R3Con系统框架,用于系统化地实现这些...

SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

发表:2026-09-14 · 颠覆级

该论文针对预训练Transformer的注意力稀疏化问题,指出现有可训练方法通常使用轻量选择器对上下文单元打分,然后通过硬Top-K选择阻断梯度,导致选择器只能通过蒸馏稠密注意力分布来学习排序,无法直接优化在固定注意力预算下的预测影响。这种错位可能浪费有限的注意力预算在不太有用的单元上。 作者提出简单注意力稀疏...

Program Learning with Verifiable Rewards: Symbolic Backpropagation for Post-Training LLMs

发表:2026-08-31 · 颠覆级

该论文针对大语言模型后训练中推理能力难以检查、验证和迁移的问题,提出将推理过程显式化为由确定性和神经原语组成的程序。 核心方法PLVR通过符号反向传播(基于类型推理的链式法则)实现逐步骤的信用分配,每个程序层携带类型本体,损失通过类型签名反向传播。 在LiveCodeBench v6和Tau2Bench上,30...

AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling

发表:2026-08-28 · 颠覆级

LLM裁判在评估智能体工具调用系统时被广泛使用,但其在结构化、依赖驱动的工作流上的可靠性尚未被系统研究。现有评估多聚焦于开放式文本或偏好判断,忽略了智能体工具调用中DAG工作流的独特挑战。 本文提出AgentJudgeBench,首个系统研究LLM裁判在智能体工具调用中可靠性的基准。基准包含3808个实例,覆盖...

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

发表:2026-08-26 · 颠覆级

原生视觉推理将视觉生成本身作为推理的媒介,而不仅仅是输入或输出,但缺乏可扩展的训练任务、可靠的反馈信号以及可控的实验比较平台。现有方法受限于语言中介,无法充分利用视觉原生状态。 本文提出VBVR-Pro,一个闭环测试床,通过300个程序生成的任务将视觉推理转化为可控任务空间,并提供基于确定性规则的可验证奖励评分...

RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges

发表:2026-08-26 · 颠覆级

LLM-as-judge是评估开放文本和指导后训练的关键技术,但传统方法依赖昂贵的人工标注、奖励模型或强教师蒸馏。本文针对这一问题,提出无需外部监督的递归自我评估方法。 核心方法RecurSE包含两个阶段:Pass 1中可训练的判断器按规则评估候选回复;Pass 2中同步的策略副本检查器根据元规则审计判断器推理...

LeAct: Learning to Reason from Expert Actions

发表:2026-07-27 · 颠覆级

当前推理数据依赖人工标注或从强LLM蒸馏,忽略了专家系统(如游戏引擎、经典规划器、定理证明器)产生的动作中蕴含的知识,但这些专家系统不输出链式思维(CoT)。 提出LeAct框架,将CoT视为潜在变量,通过优化学生模型恢复动作的概率来从专家动作中学习推理链,从而蒸馏专家知识到可泛化的学生模型中。 在多个不完全信...

ThriftAttention: Selective Mixed Precision for Long-Context FP4 Attention

发表:2026-05-21 · 突破级

ThriftAttention 处理长上下文推理中的注意力成本问题:全 FP16/FP8 计算昂贵,而统一低精度又会破坏关键 token 或关键头的精度。 论文提出 selective mixed precision,让 attention 中不同位置、头或计算路径按重要性使用 FP4 与更高精度混合,从而降低...

MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models

发表:2026-05-14 · 突破级

MemLens 针对多模态长期记忆提出系统评测:问题来自多轮、多 session 对话,并明确要求模型利用图像证据、时间顺序、知识更新和拒答能力。 论文关键价值在于把 long-context LVLM 和 memory-augmented agents 放在同一评测接口下比较。结果显示长上下文模型短上下文表现...

Routing-Free Mixture-of-Experts

发表:2026-04-01 · 颠覆级

Mixture-of-Experts 已成为扩展模型容量和训练效率的核心路线,但现有主流设计几乎都默认依赖一个集中式 router,再配上 softmax、top-k 和显式 load balancing 规则。这套结构虽然有效,却也把很多设计选择提前硬编码进了系统,限制了专家激活与资源分配方式的可塑性。Rou...

Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning

发表:2026-04-01 · 突破级

test-time scaling 带来了更强推理能力,但也把推理成本迅速推高。很多情况下,真正的问题不是模型不会做,而是采样和 stopping 决策缺乏校准,导致系统在无需额外思考时仍然花大量算力。ORCA 正是从 reasoning calibration 这个角度切入,尝试在保证风险控制的前提下减少无效...

MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens

发表:2026-03-06 · 突破级

长程记忆一直是通用模型能力扩展的硬瓶颈。传统 full attention 路线在上下文长度升到百万级后,计算与 KV cache 成本都会迅速失控;而 RAG、外部 memory agent 或固定状态模型虽然能绕开部分长度限制,却往往带来精度下降、延迟膨胀、记忆不可编辑,或缺乏端到端优化的问题。MSA 正面...

Continuous Autoregressive Language Models

发表:2025-10-31 · 颠覆级

这篇论文针对自回归语言模型的核心效率瓶颈:标准 LLM 每一步只生成一个离散 token,因此长文本生成、推理和服务吞吐都被 token-by-token 的串行链条限制。单纯加速 kernel 或投机解码仍然是在离散 token 序列上做补丁,无法改变每个生成步的语义带宽。 CALM 的核心新意是把自回归目标...

Titans: Learning to Memorize at Test Time

发表:2024-12-31 · 颠覆级

- 分级:`颠覆性` - 正式标题:`Titans: Learning to Memorize at Test Time` - 原文:`2024-12-31-R2_Titans-Titans_Learning_to_Memorize_at_Test_Time.pdf` - 抽取:`extracted.md` #...