为什么值得读
MoE 的算力账本只记「激活了几个专家」，router 干了多少活是免费的。这篇把 router 之间的分歧变成了计算调制信号，在预算不变的前提下拿到稳定增益——对正在训 MoE 或做推理优化的团队，这是可以立刻试的结构改动。
观察：router 的排名不等于专家的效用
作者把全部专家做稠密评估，发现单 router 的打分排名与专家效用排名一致性偏弱，中层和深层尤其明显。也就是说，被 router 选中的专家未必是最有用的那个。
想拿到更丰富的选择信号，常规办法都有代价：看专家内部激活要先预计算一遍；把多个完整表示分别送进同一专家，等于把它的计算重复几遍。
方法：Multi-Router 选人，Multi-View 调计算
Multi-Router：聚合多个独立初始化 router 的 sigmoid 分数。训练中这些 router 会分化出差异明显的偏好，于是两类专家都有机会入选——被某个 router 强烈偏好的，和被多个 router 共同支持的。
Multi-View：用被选中专家在各 router 上的相对分数，把学到的 latent view 混合进该专家的输入。路由偏好被复用了一次——既用来选人，也用来决定这个人该以什么视角干活。
预算不变是硬约束：每个被选中的专家仍然只做一次前向，激活专家数、专家 FLOPs、all-to-all 通信量都不增加。
结果
24 层 10B-A1B、708B token 训练：完整 Multi-View MoE 在九个下游任务均值上比基线高 1.18 个百分点。
只用 Multi-Router 也有 0.6 个百分点增益，同时 router 分数与专家效用的秩相关全局提升 8.1%，在单 router 对齐最差的那一层提升约 58%——这个数字说明改动确实打在了「错配」这个靶子上，而不是碰巧正则化。
受控的混合干预实验显示，模型实际用到的输入差异同时依赖专家和 token，不是固定模板。
工程判断
1.18pp 属于「有效但不颠覆」的量级：值得在预训练配方里试，但不该指望它解决路由塌缩或专家冗余这类结构问题。
多 router 的代价主要在训练侧（额外参数与路由计算），推理侧通信量不变这点很关键——MoE 服务化的瓶颈通常在 all-to-all，这条设计正好避开了它。
单一模型规模（24 层 10B-A1B）与单一训练预算，未给更大模型或更长训练的 scaling 曲线；多 router 增加参数与训练开销，推理时路由计算量上升（尽管通信量不变）；增益幅度属中等，需在自家数据分布上复核；未讨论与专家并行/容量因子等部署参数的交互。
本文基于论文原文摘要与方法章节整理，观点由编辑撰写；如与原文有出入，以 arXiv 原文为准。 内容为信息整理与技术评论，不构成投资或决策建议。 发现错误请通过站内纠错页提交（记录可查），修订记录只增不删。