Encoder-only、Decoder-only 与编解码架构对比
哪些公司问过
答案要点
- Encoder-only 双向注意力,适合理解类任务
- Decoder-only 因果掩码,适合自回归生成,规模扩展与通用性好
- Encoder-Decoder 通过交叉注意力连接,适合翻译、摘要等序列到序列任务
- Decoder 结构还有 Prefix LM:前缀双向、生成部分因果
- 分类任务上谁更好取决于规模、数据量和是否微调,需结合推理成本考虑
易错点
- 断言 Decoder-only 在所有任务上都更好
- 忽视同参数规模与不同规模的比较前提
- 把 Encoder-Decoder 的交叉注意力和自注意力搞混
面试官常见追问
- 随着序列长度增加,两类模型计算量有什么差异?
- Transformer 中有哪些 Decoder 结构?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。