如何设计奖励函数引导安全回复
哪些公司问过
MiniMax1百川智能1
答案要点
- 安全奖励模型或分类器加规则,对有害、隐私泄露、违规内容给大幅负分或作硬约束
- 有用性奖励同时惩罚过度拒答,平衡安全与有用
- 多目标加权或约束优化,用拉格朗日乘子等方式动态调整权重
- KL 惩罚、奖励归一化与截断,降低奖励被钻空子的风险
- 红队测试持续发现漏洞,并回流到奖励模型训练数据
易错点
- 只惩罚有害输出,不惩罚过度拒答,导致模型变得无用
- 把安全分和有用分简单线性相加,高有用分抵消了严重违规
- 去掉 KL 约束追求奖励,策略漂移后容易出现新的不安全行为
面试官常见追问
- 为什么安全和有用性要分开建模?
- 如何发现奖励被钻空子?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。