面试题库 › 算法 / 大模型 › 如何控制大模型输出的随机性

如何控制大模型输出的随机性

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

高德4

常见岗位:大模型算法

答案要点

  1. temperature 调低使分布更尖锐,输出更确定
  2. top_k 与 top_p 缩小采样范围,降低随机性
  3. 关闭采样用贪心解码,每步选概率最大的词
  4. 固定随机种子可复现,但需要框架和环境支持
  5. 温度为 0 也不保证完全一致,浮点运算和批处理会带来波动

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题