Policy Iteration for Linear-Quadratic Stochastic Differential Games with State- and Control-Dependent Noise

本文提出了一种面向无限时域、多玩家非零和线性二次随机微分博弈的新型序贯策略迭代（Policy Iteration, PI）算法，适用于状态与控制双重依赖型乘性噪声情形。针对此类博弈中耦合的理性矩阵型随机代数Riccati方程难以解析求解的问题，所提PI方法通过逐玩家顺序更新策略，在每次更新中严格保持闭环系统的均方稳定性（Mean-Square Stability, MSS），从而确保迭代过程良定且每一步策略均可实现。理论分析方面，首次导出了该序贯PI映射在纳什均衡处的Fréchet导数闭式表达式，揭示了控制依赖噪声、策略评估敏感性及玩家更新次序对局部误差传播的联合影响机制，并据此给出了显式的局部线性收敛充分条件。为克服初始稳定策略难以获取这一关键瓶颈，进一步设计了一种基于同伦连续的初始化方法，可在有限步内构造出满足均方稳定的初始增益配置。数值算例验证了算法的有效性及理论结果的准确性。本工作填补了含控制依赖噪声的随机LQ博弈中策略迭代方法的空白，为复杂不确定环境下多智能体协同控制提供了新的理论工具与计算框架。