面试题库 › 算法 / 大模型 › GPT-3 到 ChatGPT 的演进与训练阶段区别

GPT-3 到 ChatGPT 的演进与训练阶段区别

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

百度2

常见岗位:NLP / 语音

答案要点

  1. ChatGPT 基于 GPT-3.5,经 SFT + RLHF 对齐,仍是解码器自回归模型
  2. 预训练:海量无标注文本、下一个 token 预测,学通用知识,只会续写
  3. 指令微调:人工指令-回答对监督训练,学会遵循指令和输出格式
  4. RLHF:奖励模型打分 + PPO 优化,提升有用性与安全性
  5. GPT-3 主要是预训练 + 提示使用;GPT-3.5 加入代码训练、指令微调与 RLHF

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题