GPT-3 到 ChatGPT 的演进与训练阶段区别
哪些公司问过
答案要点
- ChatGPT 基于 GPT-3.5,经 SFT + RLHF 对齐,仍是解码器自回归模型
- 预训练:海量无标注文本、下一个 token 预测,学通用知识,只会续写
- 指令微调:人工指令-回答对监督训练,学会遵循指令和输出格式
- RLHF:奖励模型打分 + PPO 优化,提升有用性与安全性
- GPT-3 主要是预训练 + 提示使用;GPT-3.5 加入代码训练、指令微调与 RLHF
易错点
- 说指令微调让模型学到了新知识:知识主要来自预训练,微调主要改变行为方式
- 把 RLHF 等同于 SFT:RLHF 依赖奖励模型和强化学习,不是直接模仿标注
- 把 GPT-3.5 的细节说得过于确定:OpenAI 未完整公开其训练细节
面试官常见追问
- InstructGPT 的三个步骤是什么?
- 为什么预训练后的模型不能直接对话?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。