How does Labeling Error Impact Contrastive Learning? A Perspective from Data Dimensionality Reduction

该论文研究了数据增强过程中标签错误（labeling error）对对比学习下游分类性能的理论影响。现有工作通常依赖于“标签一致性”假设，即同一原始样本的不同增强视图具有相同标签，但实际中由于强随机增强（如随机裁剪）可能导致语义丢失，破坏该假设并引入标签错误。为此，论文首次在同时考虑类内与类间增强重叠的情况下，建立了下游分类风险的上下界，揭示了标签错误对模型性能的显著负面影响。为缓解此问题，提出从数据降维视角出发，采用奇异值分解（SVD）减少语义无关信息以降低标签错误，并通过理论与实验证明其有效性。进一步分析表明，SVD虽能减小标签错误，但也可能削弱增强图的连通性，从而恶化分类误差上界，表现出“双刃剑”效应。基于此，论文建议采用适度的嵌入维度（如512或1024）、数据膨胀、弱增强与SVD相结合的策略，以兼顾高图连通性与低标签错误，最终提升模型性能。实验在多个数据集和模型上验证了该策略的有效性。