面试题库 › 算法 / 大模型 › SFT 为什么只对回答部分计算 loss,如何实现

SFT 为什么只对回答部分计算 loss,如何实现

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:监督微调

哪些公司问过

美团1海底捞1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. 只对模型需要生成的 assistant token 计算交叉熵,user/system/padding 位置不计 loss
  2. 目的:学习条件分布 P(回答|上下文),与自回归训练目标一致,又不让模型去模仿用户说话
  3. 实现:labels 中 prompt 与 padding 位置置为 -100,利用 CrossEntropyLoss 的 ignore_index 忽略
  4. 注意 labels 与 logits 错位一位(预测下一个 token),且回答末尾的 eos/结束符需要计入 loss
  5. 多轮对话通常每个 assistant 轮都参与训练,loss 按有效 token 数归一化

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题