如何控制大模型输出的随机性
哪些公司问过
答案要点
- temperature 调低使分布更尖锐,输出更确定
- top_k 与 top_p 缩小采样范围,降低随机性
- 关闭采样用贪心解码,每步选概率最大的词
- 固定随机种子可复现,但需要框架和环境支持
- 温度为 0 也不保证完全一致,浮点运算和批处理会带来波动
易错点
- 认为温度设为 0 就一定完全可复现
- 只记参数名,说不出各自的原理
- 同时调整多个采样参数,分不清哪个起作用
面试官常见追问
- temperature、top-k、top-p 的原理分别是什么?
- 三个参数怎么搭配?
- 需要创意性输出时怎么设置?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。