Mamba 的状态机制及其信息是否可逆
哪些公司问过
答案要点
- 状态空间递推:h_t = Ā h_{t-1} + B̄ x_t,y_t = C h_t,Ā、B̄ 由 A 与步长 Δ 离散化得到
- 选择性:Δ、B、C 由输入决定,可按内容选择保留或遗忘信息
- 训练用硬件感知并行扫描,序列长度上计算量线性增长
- 推理只维护固定大小状态,相比 Transformer 无需随长度增长的 KV 缓存
- 状态是对历史的有损压缩,仅凭状态不可逆,精确回忆能力弱于注意力
易错点
- 说 Mamba 状态随序列增长,实际是固定大小
- 把选择性理解为注意力,它是输入依赖的参数而非 token 两两交互
- 声称状态可以完整还原历史
面试官常见追问
- 是否了解 SSM 相关的 Replay 机制?它主要解决什么问题?
- Mamba 的弱点是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。