LGViT: Dynamic Early Exiting for Accelerating Vision Transformer

该文针对视觉Transformer（ViT）在资源受限边缘设备上部署时推理延迟高的问题，系统分析了直接应用早期退出机制导致性能显著下降的原因，指出浅层内部分类器特征表示不足以及深层内部分类器难以捕捉目标语义信息是主要瓶颈。为此，提出一种面向通用ViT的动态早期退出框架LGViT，其核心创新在于引入异构退出头结构：在浅层部署基于卷积的局部感知头（LPH），增强局部特征提取能力；在深层集成基于自注意力的全局聚合头（GAH），提升对全局语义信息的捕获能力。为促进不同结构退出头之间的知识融合，进一步设计了一种新颖的两阶段训练策略——第一阶段进行端到端训练以充分发挥骨干网络潜力，第二阶段冻结骨干网络并利用自蒸馏机制联合优化退出头，通过异构特征、同构特征与预测 logits 的多级监督减少信息损失。在CIFAR-100、Food-101和ImageNet-1K三个主流视觉数据集上，基于ViT、DeiT和Swin三种典型骨干网络的大量实验表明，LGViT在仅牺牲约2%精度的前提下，平均实现1.8倍的推理加速，显著优于现有方法，有效平衡了效率与准确性。