Toolformer 的训练范式与 RLHF 的区别
哪些公司问过
答案要点
- Toolformer:模型自己标注候选 API 调用并执行,拿到结果
- 筛选标准:插入调用与结果后,后续 token 的损失明显下降才保留
- 在筛选后的数据上做普通语言模型微调,无需人工标注
- RLHF:人类偏好训练奖励模型,再用强化学习优化策略并加 KL 约束
- 区别:信号来源(损失下降还是人类偏好)和训练方式(监督还是强化学习)
易错点
- 把 Toolformer 说成强化学习
- 不知道筛选依据是损失下降
- 混淆监督微调和强化学习的信号来源
面试官常见追问
- Toolformer 为什么用损失下降来筛选?
- Toolformer 有什么局限?
- 现在的工具调用是怎么训练的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。