面试题库 › 算法 / 大模型 › Toolformer 的训练范式与 RLHF 的区别

Toolformer 的训练范式与 RLHF 的区别

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

京东3

常见岗位:大模型算法

答案要点

  1. Toolformer:模型自己标注候选 API 调用并执行,拿到结果
  2. 筛选标准:插入调用与结果后,后续 token 的损失明显下降才保留
  3. 在筛选后的数据上做普通语言模型微调,无需人工标注
  4. RLHF:人类偏好训练奖励模型,再用强化学习优化策略并加 KL 约束
  5. 区别:信号来源(损失下降还是人类偏好)和训练方式(监督还是强化学习)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题