神经科学与认知科学
突破级
有讲解视频
收录解读
问题与背景 这篇论文问的是一个很基础但常被忽略的问题：RNN 里单元的激活函数只是实现细节，还是会真正改变学出来的“认知电路”？在脑网络建模里，人们往往默认不同非线性激活不会改变高层任务解法，但这篇论文直接挑战了这种看法。
方法与新意 作者比较了不同单元激活函数下训练出来的 RNN，并结合模型蒸馏和动力学分析，系统比较其群体轨迹几何、固定点结构、单元选择性和分布外泛化。结果显示，即便任务和训练目标相同，不同激活函数也会把网络引向 qualitatively distinct 的 circuit solutions。
意义与仓库位置 这篇对 NeuroAI 很重要，因为它说明 seemingly minor 的架构选择其实是强 inductive bias，会影响模型是否更像真实生物神经系统。它既是神经网络理论问题，也是脑建模问题，适合放在认知科学与 NeuroAI 主线交叉处。
局限与为什么不更高一级 它主要是机制分析和对比研究，没有提出一个全新的通用训练范式或平台系统。实验重点还是认知任务上的 RNN，而不是更广泛的现代基础模型。因此它是高质量、值得长期引用的突破性工作，但还不到颠覆性。