面试题库 › 算法 / 大模型 › 如何设计奖励函数引导安全回复

如何设计奖励函数引导安全回复

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:奖励模型

哪些公司问过

MiniMax1百川智能1

常见岗位:大模型算法

答案要点

  1. 安全奖励模型或分类器加规则,对有害、隐私泄露、违规内容给大幅负分或作硬约束
  2. 有用性奖励同时惩罚过度拒答,平衡安全与有用
  3. 多目标加权或约束优化,用拉格朗日乘子等方式动态调整权重
  4. KL 惩罚、奖励归一化与截断,降低奖励被钻空子的风险
  5. 红队测试持续发现漏洞,并回流到奖励模型训练数据

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题