面试题库 › 算法 / 大模型 › Mamba 的状态机制及其信息是否可逆

Mamba 的状态机制及其信息是否可逆

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

百度1

常见岗位:大模型算法

答案要点

  1. 状态空间递推:h_t = Ā h_{t-1} + B̄ x_t,y_t = C h_t,Ā、B̄ 由 A 与步长 Δ 离散化得到
  2. 选择性:Δ、B、C 由输入决定,可按内容选择保留或遗忘信息
  3. 训练用硬件感知并行扫描,序列长度上计算量线性增长
  4. 推理只维护固定大小状态,相比 Transformer 无需随长度增长的 KV 缓存
  5. 状态是对历史的有损压缩,仅凭状态不可逆,精确回忆能力弱于注意力

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题