LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing

针对稀疏混合专家（MoE）大语言模型在部署时面临的高内存占用问题，现有压缩方法如专家剪枝或合并常导致知识不可逆丢失或训练开销过大。为此，提出一种新颖的专家压缩范式——专家替换（expert replacing），通过将冗余专家替换为参数高效的模块，并以较低成本恢复其能力。在此基础上，进一步提出LightMoE框架，该框架结合自适应专家选择、分层专家构建和退火式恢复策略，有效减少参数冗余。实验表明，在30%压缩率下，LightMoE性能与LoRA微调相当；在更激进的50%压缩率下，其在五个不同任务上的平均性能优于现有方法5.6%。消融研究验证了所提组件的有效性，尤其在高压缩比下仍能保持稳定性能。此外，推理效率分析显示，该方法显著降低内存消耗，同时保持相近的推理延迟。结果表明，LightMoE在内存效率、训练效率与模型性能之间实现了更优平衡，为MoE模型的高效部署提供了新思路。