Prefix LM、Causal LM 与 Encoder-Decoder 对比
哪些公司问过
答案要点
- 本质区别在注意力掩码:Causal 全单向;Prefix 前缀双向、生成单向;Encoder-Decoder 编码双向、解码单向加交叉注意力
- Causal LM(GPT、LLaMA):目标统一、每个 token 都有监督信号、便于 KV Cache 与规模扩展,是当前主流
- Prefix LM(如 UniLM):单模型兼顾理解与生成,但前缀不计损失,多轮场景缓存复用不便
- Encoder-Decoder(T5、BART):适合翻译、摘要等条件生成,输入理解充分,但结构更复杂
易错点
- 把 Prefix LM 和 Encoder-Decoder 混为一谈,前者只有一套共享参数
- 认为 Encoder-Decoder 不能做生成,或 Causal LM 不能做理解任务
- 把 Decoder-only 成为主流归因于单一理由
面试官常见追问
- 为什么现在主流大模型多用 Decoder-only?
- Prefix LM 的掩码矩阵长什么样?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。