通过 SFT 与强化学习提升工具调用能力
哪些公司问过
答案要点
- 先定位错误类型:格式错误、参数错误或编造、工具选择错误、多步规划错误
- 工程侧优先:清晰的工具描述与参数 schema、减少功能重叠、受约束解码与校验重试
- SFT 冷启动:高质量轨迹覆盖单步、多步、并行、无需调用、失败恢复等情况
- RL 提升泛化与纠错:沙箱中真实执行,以格式、参数校验、执行成功、任务完成为奖励
- 奖励设计需防投机,例如约束调用次数与无效调用
易错点
- 不分析错误类型就直接上训练
- SFT 数据只包含成功的单步调用,缺少多步和失败恢复场景
- RL 奖励只看最终答案,模型学会绕过工具直接猜答案
面试官常见追问
- SFT 数据中为什么要包含不需要调用工具的样本?
- 工具调用轨迹数据怎么合成?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。