Theoretical Modeling of Large Language Model Self-Improvement Training Dynamics Through Solver-Verifier Gap

该研究提出了一种基于“求解器-验证器差距”（solver-verifier gap）的理论框架，用于建模大语言模型（LLM）自提升训练过程中的动态演化机制。该框架受物理势能概念启发，将求解器能力（直接生成响应的质量）与验证器能力（通过自我评估筛选高质量响应的能力）之间的差距视为驱动性能提升的核心动力，并通过耦合微分方程描述其演化规律。理论推导表明，求解器和验证器的能力均遵循指数收敛规律，并最终趋于一个由初始能力差距决定的性能上限。实验在多个主流LLM（如Phi系列和Llama系列）及数据集（如Math、GSM8k）上验证了该框架的有效性：训练轨迹与指数模型高度吻合（R² > 0.9），且验证器能力始终优于求解器，证实了差距存在的关键作用。此外，该研究将框架扩展至交叉提升（cross-improvement）场景，即引入有限的外部数据增强验证环节。理论分析预测，在外部数据量固定的情况下，其分配时机对最终性能影响甚微。这一结论在实验中得到验证，不同分配策略（早期、均匀、晚期引入外部数据）产生的性能差异极小，为实际应用提供了灵活的优化指导。该工作不仅为理解LLM自提升机制提供了首个系统的理论解释，还揭示了突破性能瓶颈的关键路径。