推理、记忆与推理时控制
突破级
暂无讲解视频
收录解读
低秩分解已经成为 LLM 压缩、部署和高效适配中的常见工具，但很多方法仍主要围绕输入侧激活白化或简单 SVD 展开，对分解误差与模型损失之间的关系建模并不充分。这使得不少低秩近似方法虽然实用，却仍然更像经验手艺而不是真正最优的分解方案。OBD-LLM 针对的就是这个问题。
论文利用二阶 Hessian 信息重新推导 LLM 权重分解问题，通过 Kronecker 因子化显示最优分解需要同时考虑层的输入与输出信息，而不是只看输入统计。基于这一点，作者提出 bi-directional whitening 的 loss-aware decomposition，并给出 closed-form solution，用更严格的模型空间视角取代单侧白化近似。实验上，相比 SVD-LLM 等已有方法报告了约 20% 到 40% 的改进。
这篇工作值得收录，因为它把低秩分解从经验性压缩技巧推进成更清晰的二阶优化对象。对仓库关注的低秩方法、模型压缩和可复用适配接口来说，这种从 Hessian 结构出发的 closed-form decomposition 有明显长期价值，不只是一次局部提分。
它没有升到更高一级，是因为当前影响仍主要集中在 LLM low-rank approximation 这条子线，外溢范围还不足以重写更广泛的 PEFT 或部署范式。它是很强的方法推进，但暂时还不是路线级变化。