AI4AI-Bench: Auditing Recursive Self-Improvement in LLM Agents

大型语言模型（LLM）代理正逐步具备修改自身运行时框架（harness）的能力，但由此引发的递归式自我改进是否真正提升泛化能力，抑或仅导致训练集过拟合、复杂度膨胀甚至性能退化，尚缺乏系统性评估手段。为此，论文提出SIAS（Self-Improvement Audit Score），一种量化指标，通过联合建模留出集性能增益、训练集与留出集成功率差值（反映过拟合程度）及代码修改复杂度，实现对真实改进的精准识别。基于SIAS，构建AI4AI-Bench——首个面向递归自我改进协议的审计基准，涵盖WebShop、ALFWorld和DBBench三大任务环境，并建立包含“短视修正”“过度泛化”“负向迁移”等六类典型退化模式的可自动检测分类体系。实验表明：在相同条件下，SIAS门控的递归改进相较单次编辑（Harness-R1）平均成功率提升5.2个百分点，过拟合率降低3.8个百分点；相较于无门控递归，性能更稳健且退化风险显著下降。该工作填补了递归自我改进审计机制、质量评估标准与失败归因框架三项关键空白，为可信、可控的AI自治演进提供了可复现、可验证的方法论基础与开源工具支持。