When to Align, When to Predict: A Phase Diagram for Multimodal Learning

该研究系统探讨了多模态表示学习中的两种主流范式——跨模态对齐（CA）与跨模态预测（CP）——在何种条件下有效或失效，并提出一个统一的线性框架来揭示其内在机制。基于带结构化噪声相关的尖峰信号-噪声模型，推导出表征信号恢复能力的分离比△cA和△cp，揭示了二者互补的失败模式：CA通过对双侧白化处理，在跨模态噪声强相关时性能下降；而CP仅对源模态进行单侧白化，其表现依赖于源模态的质量。由此构建了一个四区相图（Both、CA only、CP only、Neither），将多模态任务划分为不同区域，指导方法选择。研究进一步提出一种数据驱动的诊断方法，利用小规模标注子样估计真实数据集所处的恢复区域及最优预测方向，无需预先训练即可判断是否应采用跨模态学习。实验验证涵盖合成数据、立体视觉基准、图像-文本对以及真实的天体物理数据，结果表明理论预测在非线性场景下依然成立，尤其在“Neither”区域中，跨模态训练反而有害，单独使用高质量模态更优。这项工作为科学领域中常见的异构传感器或多尺度观测数据提供了可解释的分析工具和实践指南。