面试题库 › 算法 / 大模型 › Prefix LM、Causal LM 与 Encoder-Decoder 对比

Prefix LM、Causal LM 与 Encoder-Decoder 对比

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

美团1

常见岗位:大模型算法

答案要点

  1. 本质区别在注意力掩码:Causal 全单向;Prefix 前缀双向、生成单向;Encoder-Decoder 编码双向、解码单向加交叉注意力
  2. Causal LM(GPT、LLaMA):目标统一、每个 token 都有监督信号、便于 KV Cache 与规模扩展,是当前主流
  3. Prefix LM(如 UniLM):单模型兼顾理解与生成,但前缀不计损失,多轮场景缓存复用不便
  4. Encoder-Decoder(T5、BART):适合翻译、摘要等条件生成,输入理解充分,但结构更复杂

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题