面试题库 › 算法 / 大模型 › Mamba 是否可能取代 Transformer

Mamba 是否可能取代 Transformer

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

哪些公司问过

蚂蚁集团1

常见岗位:NLP / 语音

答案要点

  1. Mamba 基于选择性状态空间模型,参数随输入变化,用并行扫描训练
  2. 优势:计算随长度线性增长,推理状态固定,无需增长的 KV cache
  3. 短板:历史压缩进固定状态,精确回忆、复制、上下文学习等任务通常弱于注意力
  4. Transformer 能直接访问全部历史 token,生态和优化成熟
  5. 趋势是混合架构,少量全注意力层加大量 SSM 或线性注意力层,如 Jamba

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题