大模型重复生成(复读机)问题怎么解决
哪些公司问过
答案要点
- 原因:贪心或束搜索的自我强化,训练数据重复,长文本注意力偏近
- 解码层面:top-p、top-k 加温度,重复惩罚,frequency 和 presence 惩罚
- no-repeat n-gram:禁止重复出现相同的 n 元片段
- 训练层面:数据去重,unlikelihood 训练,对齐阶段以重复样本作负例
- 后处理:检测重复后截断或重新生成,设置最大长度和停止条件
易错点
- 只会调温度,不知道重复惩罚和 n-gram 限制
- 重复惩罚设得过大导致输出怪异
- 忽略训练数据重复也是原因
面试官常见追问
- 重复惩罚设太大有什么问题?
- 为什么贪心解码更容易重复?
- frequency 惩罚和 presence 惩罚有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。