Mamba with Hierarchical Memory: Solving Representation Bottleneck in Long Sequence Modeling

循环线性注意力模型（RLA）虽能以线性复杂度处理长序列，但固定容量的递归状态会压缩不断增长的历史语义，造成语义混叠，且降低困惑度并不必然提升长程推理能力。为突破这一表征瓶颈，提出层级记忆 Mamba（HMM）：在预训练 Mamba 主干上加入轻量工作记忆，从隐藏状态中提取段落级语义，通过语义分段与压缩形成持久长期记忆，并按任务需求检索相关信息、注入主干后层。理论分析指出，有限维状态对不断扩大的历史空间进行映射时不可避免地产生信息碰撞；层级记忆则通过显式组织、存储和复用高层语义缓解该问题，并结合参数化学习与非参数记忆支持跨任务泛化。实验显示，HMM 在 Passkey Retrieval 上较强基线提升 34.3%–37.1%，在 LongBench-E 推理任务上提升 1.6%–14.2%，额外参数仅增加约 2%，训练开销较小。