面试题库 › 算法 / 大模型 › RLHF 与 RLAIF 差异及 Constitutional AI

RLHF 与 RLAIF 差异及 Constitutional AI

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

MiniMax1百川智能1

常见岗位:大模型算法

答案要点

  1. RLHF 用人类偏好训练奖励模型,RLAIF 用 AI 按准则产生偏好标签
  2. Constitutional AI 监督阶段:依据原则自我批评与修订,用修订结果做 SFT
  3. Constitutional AI 强化学习阶段:AI 按原则比较回答,训练偏好模型后做 RL
  4. RLAIF 优势是成本低、可扩展、迭代快;风险是评判偏见放大与奖励被钻空子
  5. 企业落地需人工标注校准 AI 评判一致性,高风险场景保留人工审核

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题