面试题库 › 算法 / 大模型 › 大模型重复生成(复读机)问题怎么解决

大模型重复生成(复读机)问题怎么解决

难度 ★★☆在 5 场真实面经中被问到 方向:算法 / 大模型考点:解码策略与幻觉

哪些公司问过

阿里巴巴2字节跳动1米哈游1

常见岗位:大模型算法、AI 应用 / Agent 开发

答案要点

  1. 原因:贪心或束搜索的自我强化,训练数据重复,长文本注意力偏近
  2. 解码层面:top-p、top-k 加温度,重复惩罚,frequency 和 presence 惩罚
  3. no-repeat n-gram:禁止重复出现相同的 n 元片段
  4. 训练层面:数据去重,unlikelihood 训练,对齐阶段以重复样本作负例
  5. 后处理:检测重复后截断或重新生成,设置最大长度和停止条件

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题