可解释性与机制分析
突破级
暂无讲解视频
收录解读
权重绑定长期被当作语言模型里的标准参数节省技巧，但随着模型规模增大，越来越多新模型开始放弃 tying。过去这更多被当作经验工程选择，而不是一个被充分解释的机制问题。
这篇工作从结构对齐、tuned lens 和梯度流角度系统分析了权重绑定的代价。作者发现共享嵌入矩阵会明显向输出空间偏移，而根本原因是训练初期输出梯度对共享矩阵具有压倒性主导。进一步的分析还揭示了早期层因此承受 first-layer penalty，说明 tying 不是中性的参数共享，而是对输入表征的系统性扭曲。
它值得正式收录，因为它给出了一个很典型的 mechanistic explanation：不是简单说 untied 更好，而是解释了为什么共享矩阵会被 unembedding 需求绑架。这对 embedding 设计、参数共享策略以及现代 LLM 架构演进都有持续解释价值。
它暂时不升到更高一级，原因在于论文更像强诊断而不是完整解法。它说明了问题和因果链条，但尚未提出一个同时保持参数效率又稳定消除偏置的新范式。