FreIE: Low-Frequency Spectral Bias in Neural Networks for Time-Series Tasks

该文针对时间序列预测任务中神经网络普遍存在的低频谱偏差现象展开研究。现有研究表明，神经网络在训练过程中倾向于优先拟合低频信号，而对高频信号的学习较慢，这一现象被称为“谱偏置”（spectral bias）。尽管已有研究将此现象归因于特定模型结构，但其普适性尚未得到充分验证。为此，作者通过大量实证实验系统考察了多种主流时序模型中的谱偏置现象，结果表明几乎所有模型均存在明显的低频偏好。为缓解该问题并提升模型泛化能力，提出了一种即插即用的损失函数增强算法FreLE（Frequency Loss Enhancement），其核心由显式频率正则化与隐式频率正则化两个模块构成，分别用于平衡不同频率成分的拟合程度和抑制频域噪声干扰。在七个真实世界数据集上的广泛实验表明，FreLE显著优于现有方法，在38次对比中取得第一，18次位列第二。消融实验进一步验证了所提双模块设计的有效性与不可替代性，敏感性分析显示算法对超参数不敏感，且在减少20%参数量的情况下性能仅下降2%，具备良好的计算效率与实用性。研究揭示了谱偏置是跨架构的共性现象，并提供了有效应对策略，推动了频域建模在时间序列预测中的深入应用。