拒绝采样与 RS-FT 的原理与流程
哪些公司问过
百川智能1
答案要点
- 拒绝采样:以 Pθ 为提议分布,多采样后按奖励或规则筛选高质量样本
- Pθ 不等于目标偏好分布,KL 约束下理想分布 P* ∝ Pθ·exp(r/β)
- RS-FT 流程:每个提示采样 K 个回答,打分筛选最优,再做 SFT,多轮迭代
- 优点是简单稳定、成本低于 PPO;局限是只用正样本、探索受限
- 推理时也可用 best-of-n 提升质量,需权衡采样温度、K 与成本
易错点
- 认为拒绝采样能让模型学会全新能力,实际只能放大已有的好样本
- 采样温度过低导致候选高度相似,筛选失去意义
- 奖励模型偏差被反复筛选放大,多轮后出现钻空子模式
面试官常见追问
- RSO 和 RS-DPO 是怎么用拒绝采样改进 DPO 的?
- 拒绝采样中提议分布和奖励分别起什么作用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。