收录解读
Mixture-of-Experts 已成为扩展模型容量和训练效率的核心路线，但现有主流设计几乎都默认依赖一个集中式 router，再配上 softmax、top-k 和显式 load balancing 规则。这套结构虽然有效，却也把很多设计选择提前硬编码进了系统，限制了专家激活与资源分配方式的可塑性。Routing-Free MoE 直接把这个默认前提拿掉。
论文提出 Routing-Free MoE，把专家激活功能完全收回到各个 expert 内部，不再使用外部 router、Softmax、Top-K 或固定的负载均衡模块，而是通过连续梯度流直接优化专家自身的激活行为。作者同时引入统一的 adaptive load-balancing framework，在 expert-balancing 与 token-balancing 之间做可配置插值，让资源分配目标本身也成为可调设计变量，而不是预先钉死的规则。
这篇工作值得收录，因为它不是在 MoE router 上做局部修补，而是在重写 MoE 的组织方式：从 centralized routing 转向 expert-local activation。这种改变具有明确的结构外溢，可能影响后续 MoE 的路由、扩展性、鲁棒性和资源调度设计，属于会改变问题处理方式的工作。
它没有升到更高一级，是因为当前证据仍主要来自作者论文中的实验与分析，外部采用和跨模型大规模验证还没有形成。它已经足够显示出 disruptive 意味，但是否会成为新的主流 MoE 蓝图，还需要更多后续工作确认。
原始摘要与中文对照
中文对照翻译
标准的专家混合模型 (MoE) 依赖于引入僵化归纳偏置的集中式路由机制。我们提出了无路由MoE，它消除了包括外部路由器、Softmax、TopK和负载均衡在内的任何硬编码集中式设计，而是将所有激活功能封装在单个专家内部，并通过连续梯度流直接优化，使每个专家能够完全自主决定其激活。我们引入了一个统一的自适应负载均衡框架，通过可配置的插值同时优化专家均衡和令牌均衡目标，从而实现灵活且可定制的资源分配。大量实验表明，无路由MoE能够持续优于基线，并具有更好的可扩展性和鲁棒性。我们详细分析了其行为，并提供了可能促进未来MoE设计和优化的见解。代码可在 https://github.com/liuyilun2000/RoutingFreeMoE/tree/release 获取。
原始摘要
Standard Mixture-of-Experts (MoE) models rely on centralized routing mechanisms that introduce rigid inductive biases. We propose Routing-Free MoE which eliminates any hard-coded centralized designs including external routers, Softmax, TopK and load balancing, instead encapsulating all activation functionalities within individual experts and are directly optimized through continuous gradient flow, enabling each expert to determine its activation entirely on its own. We introduce a unified adaptive load-balancing framework to simultaneously optimize both expert-balancing and token-balancing objectives through a configurable interpolation, allowing flexible and customizable resource allocation. Extensive experiments show that Routing-Free MoE can consistently outperform baselines with better scalability and robustness. We analyze its behavior in detail and offer insights that may facilitate future MoE design and optimization. Code is available at https://github.com/liuyilun2000/RoutingFreeMoE/tree/release.