讲讲GPT的原理,以及ToT、GoT推理方法
哪些公司问过
答案要点
- GPT 为仅解码器的 Transformer,因果掩码,自回归预测下一个 token
- 预训练加微调或提示使用,GPT-3 展示少样本上下文学习
- 对话模型在此基础上加入指令微调和人类反馈强化学习
- ToT 每步生成多个候选并评估,用 BFS 或 DFS 搜索,可回溯
- GoT 用图组织想法,支持聚合合并,代价是推理调用开销大
易错点
- 说 GPT 用的是编码器或双向注意力
- 把 ToT 当成一种训练方法,它是推理阶段的提示与搜索框架
- 编造未公开模型的具体参数量
面试官常见追问
- GPT 和 BERT 有什么区别?
- ToT 和 CoT 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。