推理、记忆与推理时控制
突破级
有讲解视频
收录解读
这篇论文讨论长上下文模型里非常著名的“迷失在中间”现象。作者的核心主张是：这并不是训练出来的偶然坏习惯，也不主要是位置编码造成的，而是因果解码器在初始化阶段就已经带有的结构性位置偏差。
方法上，论文把多层因果注意力建模为 Cesàro 矩阵的迭代幂，推导出连续极限下的闭式影响密度。结论是，因果掩码天然造成首因偏置，残差连接天然造成末尾锚点，而中间 token 则落入一个随网络深度恶化的阶乘级“死区”。作者还用未训练的 Qwen2 和 GPT-2 结构做了 Step-0 实证验证。
它在仓库里属于“Transformer 机制理论 / 长上下文偏差 / positional bias”主线。论文的价值在于把一个长期被经验主义讨论的问题变成了第一性原理下的架构几何问题，这对长上下文建模、注意力机制分析和后续干预设计都很重要。
它没有升到更高一级，是因为这篇工作目前更偏诊断而不是治疗。它解释了为什么会发生，却没有同时给出足以重排路线的解决方案，因此更适合作为高质量理论突破而不是颠覆性成果。