面试题库 › 算法 / 大模型 › GPT 与 BERT 的区别

GPT 与 BERT 的区别

难度 ★☆☆在 6 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

腾讯1美团1字节跳动1寒武纪1慧疗互联网医院1

常见岗位:AI 应用 / Agent 开发、计算机视觉、大模型算法、NLP / 语音、产品经理

答案要点

  1. 结构:BERT 只用编码器,GPT 只用解码器
  2. 注意力:BERT 双向自注意力,GPT 用因果掩码的单向注意力
  3. 训练目标:BERT 是掩码语言模型,GPT 是自回归预测下一个词
  4. 任务:BERT 擅长理解和文本表示,GPT 擅长生成
  5. 大模型时代解码器结构成为主流,靠提示也能做理解任务

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题