大模型解码策略及输出质量波动的原因
哪些公司问过
答案要点
- 每步从下一个 token 的概率分布中选取,自回归使早期选择影响后续
- 贪心确定但易重复;束搜索适合有标准答案的任务
- 温度调节分布陡峭程度,越低越保守、越高越多样
- top-k 固定候选数,top-p 按累计概率自适应确定候选集
- 可通过约束解码、logits 处理和停止词控制输出格式
易错点
- 认为束搜索在开放式生成中一定优于采样
- 混淆 top-k 和 top-p 的截断方式
- 以为温度为 0 就能保证结果完全确定
面试官常见追问
- 能否从解码方式上约束模型输出?
- 温度设为 0 时,输出为什么也可能不完全一致?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。