面试题库 › 算法 / 大模型 › 拒绝采样与 RS-FT 的原理与流程

拒绝采样与 RS-FT 的原理与流程

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

百川智能1

常见岗位:大模型算法

答案要点

  1. 拒绝采样:以 Pθ 为提议分布,多采样后按奖励或规则筛选高质量样本
  2. Pθ 不等于目标偏好分布,KL 约束下理想分布 P* ∝ Pθ·exp(r/β)
  3. RS-FT 流程:每个提示采样 K 个回答,打分筛选最优,再做 SFT,多轮迭代
  4. 优点是简单稳定、成本低于 PPO;局限是只用正样本、探索受限
  5. 推理时也可用 best-of-n 提升质量,需权衡采样温度、K 与成本

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题