Fine-Tuning Discrete Diffusion Models via Reward Optimization with Applications to DNA and Protein Design(TEST1111111)

该研究针对离散扩散模型在序列生成任务中需兼顾自然性与特定目标优化的问题，提出了一种基于奖励优化的微调算法DRAKES。现有离散扩散模型虽能有效建模生物序列（如蛋白质、DNA）的条件分布，但在实际设计任务中还需优化下游目标（如蛋白稳定性或增强子活性）。为此，研究将奖励最大化问题建模为强化学习框架，在预训练扩散模型基础上引入奖励函数，并通过KL散度约束以保持生成序列的自然性。为解决离散扩散过程中轨迹不可导的问题，DRAKES采用Gumbel-Softmax技巧实现奖励对整个生成路径的直接反向传播，从而完成端到端优化。理论分析表明，该方法可生成既符合原始分布又具有高奖励值的序列。实验验证了DRAKES在DNA增强子活性优化和蛋白质逆折叠稳定性提升任务中的有效性，相较于分类器引导、顺序蒙特卡洛采样等基线方法，在保持序列自然性的前提下显著提升了目标性能指标，且优于无KL正则化的变体，证明了其在防止过优化方面的优势。该工作首次将此类奖励驱动的微调策略应用于连续时间马尔可夫链构建的离散扩散模型，为生物分子设计提供了新工具。