Understanding the Weight Averaging Mechanism in LLM Training for Post-Training Quantization

大语言模型通常以高精度预训练，再经训练后量化（PTQ）部署，但权重平均对量化性能的作用机制尚不清晰，且不同平均策略的效果会随量化精度变化。研究将平均权重相对理想无噪声末态的偏差分解为时间滞后与空间噪声，分别刻画训练进展损失和对扰动的鲁棒性，并据此提出滞后—噪声权重平均（LNWA）核族，在两项目标之间构造帕累托前沿，统一涵盖多种经典平均策略。理论分析进一步刻画固定精度下噪声变化的性能容忍范围，以及精度改变时的策略偏好：低精度更需要抑制空间噪声，高精度则更适合减少时间滞后，并给出偏好转换的精度阈值。125M至1.3B参数模型上的实验验证了理论预测与所提策略，为不同量化条件下选择权重平均方案提供了统一的理论依据和实践指导。