GPT 与 BERT 的区别
哪些公司问过
答案要点
- 结构:BERT 只用编码器,GPT 只用解码器
- 注意力:BERT 双向自注意力,GPT 用因果掩码的单向注意力
- 训练目标:BERT 是掩码语言模型,GPT 是自回归预测下一个词
- 任务:BERT 擅长理解和文本表示,GPT 擅长生成
- 大模型时代解码器结构成为主流,靠提示也能做理解任务
易错点
- 说成 GPT 用了编码器
- 分不清双向注意力和因果掩码
- 认为 BERT 完全被淘汰,忽略它在文本表示和检索里的价值
面试官常见追问
- BERT 为什么不适合直接做生成?
- 掩码语言模型有什么问题?
- 为什么现在大模型都用解码器结构?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。