RLHF 与 RLAIF 差异及 Constitutional AI
哪些公司问过
MiniMax1百川智能1
答案要点
- RLHF 用人类偏好训练奖励模型,RLAIF 用 AI 按准则产生偏好标签
- Constitutional AI 监督阶段:依据原则自我批评与修订,用修订结果做 SFT
- Constitutional AI 强化学习阶段:AI 按原则比较回答,训练偏好模型后做 RL
- RLAIF 优势是成本低、可扩展、迭代快;风险是评判偏见放大与奖励被钻空子
- 企业落地需人工标注校准 AI 评判一致性,高风险场景保留人工审核
易错点
- 认为 RLAIF 完全不需要人工,实际仍需人工制定准则和校准评判
- 把 Constitutional AI 只理解为提示词约束,忽略其监督加 RL 的两阶段训练
- 忽视评判模型的位置偏好、长度偏好等系统性偏差
面试官常见追问
- 如何把 Constitutional AI 的思路用到自己业务的 RL 中?
- 怎么验证 AI 反馈的质量?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。