prefix LM 与 causal LM 的区别
哪些公司问过
答案要点
- Causal LM:单向注意力,每个 token 只看左侧,自回归预测下一个 token
- Prefix LM:前缀内双向注意力,生成部分单向注意力
- Prefix LM 对前缀理解更充分,适合先理解再生成的任务
- Causal LM 训练简单,每个 token 都参与训练,便于 KV 缓存
- 主流大模型多为 decoder-only 的因果结构
易错点
- 把 Prefix LM 说成所有位置都双向
- 说不出因果掩码的含义
- 忽略 KV 缓存与训练效率的差别
面试官常见追问
- 大模型的训练目标是什么?
- 为什么现在的大模型大多是 Decoder-only?
- Prefix LM 有什么缺点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。