发表:2026-10-26 · 颠覆级
智能体能正确复述诊断结果,并不代表会在前提失败时停止后续无效分析。 DMAIC-Bench以15个工业案例的97项任务构造成对继续/停止分支,独立评分执行痕迹,并用专家审计最终结论。 13模型平均GO路由正确率92%、NO-GO为19%;专家审计估计47%的已到达NO-GO决策在最终报告中使用无效证据,区间31...
发表:2026-10-22 · 颠覆级
扩散语言模型允许并行填充不同位置,传统从左到右的语法约束难以直接适配,动态构造解析状态又会引入高昂开销。 DConstrain 编译上下文参数化的状态转移,把约束复用与在线解码分离,并为任意位置填充提供可行性检查。 两个模型家族的 BFCL 实验验证了约束生成与工具调用表现;与 DINGO-Opt 共同成功样本...
发表:2026-10-19 · 颠覆级
逐token生成使语言模型推理受到串行依赖限制。PLM通过变分解码将并行预测作为训练目标的一部分,探索可学习的并行生成机制。 模型用潜变量辅助解码器组织多个token的联合预测,同时保留自回归能力;论文区分精确和放宽接受的推理策略,以调节速度与生成质量。 正文覆盖80M至3B模型,1.3B匹配自回归训练基线,并...
发表:2026-09-30 · 颠覆级
现实决策常涉及隐藏信息,例如谈判、金融、竞争协作中不完全信息的博弈。Stratego作为大规模隐藏信息棋类,其开局隐藏配置超过10³³种,此前AI未能达到人类顶尖水平。 Ataraxos由策略-价值网络、信念网络和测试时搜索组成。信念网络利用自我博弈中的完整信息监督学习推断隐藏状态,测试时搜索从信念采样多个可能...
发表:2026-09-29 · 颠覆级
线性注意力模型用固定大小的循环状态替代增长的KV缓存,但在并发服务中这些状态成为内存瓶颈。直接量化循环状态会导致精度严重下降,因为量化误差会通过状态更新传播。本文发现误差影响取决于两个维度:时间上,长寿命记忆中的误差会跨解码步骤持续;空间上,不同键行对输出的影响不同,且状态幅度在行列间变化很大。 基于这些观察...
发表:2026-09-24 · 颠覆级
在科学、医学、法律、金融等复杂任务中,需要综合跨异构来源的海量信息,但现有模型上下文长度有限。现有方法通过图、文本记忆、检索集合等组织信息,但这些表示的设计和构建仍缺乏统一原则。 本文受认知科学中关联实现理论的启发,提出了设计大规模上下文表示的具体原则,并在此基础上开发了R3Con系统框架,用于系统化地实现这些...
发表:2026-09-14 · 颠覆级
该论文针对预训练Transformer的注意力稀疏化问题,指出现有可训练方法通常使用轻量选择器对上下文单元打分,然后通过硬Top-K选择阻断梯度,导致选择器只能通过蒸馏稠密注意力分布来学习排序,无法直接优化在固定注意力预算下的预测影响。这种错位可能浪费有限的注意力预算在不太有用的单元上。 作者提出简单注意力稀疏...
发表:2026-08-31 · 颠覆级
该论文针对大语言模型后训练中推理能力难以检查、验证和迁移的问题,提出将推理过程显式化为由确定性和神经原语组成的程序。 核心方法PLVR通过符号反向传播(基于类型推理的链式法则)实现逐步骤的信用分配,每个程序层携带类型本体,损失通过类型签名反向传播。 在LiveCodeBench v6和Tau2Bench上,30...
发表:2026-08-28 · 颠覆级
LLM裁判在评估智能体工具调用系统时被广泛使用,但其在结构化、依赖驱动的工作流上的可靠性尚未被系统研究。现有评估多聚焦于开放式文本或偏好判断,忽略了智能体工具调用中DAG工作流的独特挑战。 本文提出AgentJudgeBench,首个系统研究LLM裁判在智能体工具调用中可靠性的基准。基准包含3808个实例,覆盖...
发表:2026-08-26 · 颠覆级
原生视觉推理将视觉生成本身作为推理的媒介,而不仅仅是输入或输出,但缺乏可扩展的训练任务、可靠的反馈信号以及可控的实验比较平台。现有方法受限于语言中介,无法充分利用视觉原生状态。 本文提出VBVR-Pro,一个闭环测试床,通过300个程序生成的任务将视觉推理转化为可控任务空间,并提供基于确定性规则的可验证奖励评分...
发表:2026-08-26 · 颠覆级
LLM-as-judge是评估开放文本和指导后训练的关键技术,但传统方法依赖昂贵的人工标注、奖励模型或强教师蒸馏。本文针对这一问题,提出无需外部监督的递归自我评估方法。 核心方法RecurSE包含两个阶段:Pass 1中可训练的判断器按规则评估候选回复;Pass 2中同步的策略副本检查器根据元规则审计判断器推理...
发表:2026-07-27 · 颠覆级
当前推理数据依赖人工标注或从强LLM蒸馏,忽略了专家系统(如游戏引擎、经典规划器、定理证明器)产生的动作中蕴含的知识,但这些专家系统不输出链式思维(CoT)。 提出LeAct框架,将CoT视为潜在变量,通过优化学生模型恢复动作的概率来从专家动作中学习推理链,从而蒸馏专家知识到可泛化的学生模型中。 在多个不完全信...
发表:2026-06-11 · 颠覆级
这篇论文把数学证明能力组织成生成、验证、修复、排序的 test-time population search。 核心贡献是 generative-verifier RL 与低假阳性 verifier 结合,使同一模型在测试时承担 generator、verifier、refiner 和 ranker。 它值得收...
发表:2026-05-21 · 突破级
ThriftAttention 处理长上下文推理中的注意力成本问题:全 FP16/FP8 计算昂贵,而统一低精度又会破坏关键 token 或关键头的精度。 论文提出 selective mixed precision,让 attention 中不同位置、头或计算路径按重要性使用 FP4 与更高精度混合,从而降低...
发表:2026-05-14 · 突破级
MemLens 针对多模态长期记忆提出系统评测:问题来自多轮、多 session 对话,并明确要求模型利用图像证据、时间顺序、知识更新和拒答能力。 论文关键价值在于把 long-context LVLM 和 memory-augmented agents 放在同一评测接口下比较。结果显示长上下文模型短上下文表现...
发表:2026-04-16 · 突破级
问题与背景:test-time compute scaling 有效但昂贵,真实部署必须决定哪些输入值得多采样/搜索/长推理,哪些可以低成本回答。 方法与新意:论文把问题形式化为平均 compute budget 约束下最大化准确率,用 Lagrangian relaxation 分解为单样本 oracle a...
发表:2026-04-14 · 突破级
这篇论文系统研究 on-policy distillation 的成功条件和失败机制。OPD 已经成为大模型 post-training 的重要技术,但过去更多依赖经验 recipe,缺少对 teacher-student 动态的可解释规律。 作者提出两个关键条件:学生和老师需要兼容的 thinking pat...
发表:2026-04-01 · 颠覆级
Mixture-of-Experts 已成为扩展模型容量和训练效率的核心路线,但现有主流设计几乎都默认依赖一个集中式 router,再配上 softmax、top-k 和显式 load balancing 规则。这套结构虽然有效,却也把很多设计选择提前硬编码进了系统,限制了专家激活与资源分配方式的可塑性。Rou...
发表:2026-04-01 · 突破级
test-time scaling 带来了更强推理能力,但也把推理成本迅速推高。很多情况下,真正的问题不是模型不会做,而是采样和 stopping 决策缺乏校准,导致系统在无需额外思考时仍然花大量算力。ORCA 正是从 reasoning calibration 这个角度切入,尝试在保证风险控制的前提下减少无效...
发表:2026-03-06 · 突破级
长程记忆一直是通用模型能力扩展的硬瓶颈。传统 full attention 路线在上下文长度升到百万级后,计算与 KV cache 成本都会迅速失控;而 RAG、外部 memory agent 或固定状态模型虽然能绕开部分长度限制,却往往带来精度下降、延迟膨胀、记忆不可编辑,或缺乏端到端优化的问题。MSA 正面...
发表:2025-10-31 · 颠覆级
这篇论文针对自回归语言模型的核心效率瓶颈:标准 LLM 每一步只生成一个离散 token,因此长文本生成、推理和服务吞吐都被 token-by-token 的串行链条限制。单纯加速 kernel 或投机解码仍然是在离散 token 序列上做补丁,无法改变每个生成步的语义带宽。 CALM 的核心新意是把自回归目标...
发表:2024-12-31 · 颠覆级
- 分级:`颠覆性` - 正式标题:`Titans: Learning to Memorize at Test Time` - 原文:`2024-12-31-R2_Titans-Titans_Learning_to_Memorize_at_Test_Time.pdf` - 抽取:`extracted.md` #...