SFT 为什么只对回答部分计算 loss,如何实现
哪些公司问过
美团1海底捞1
答案要点
- 只对模型需要生成的 assistant token 计算交叉熵,user/system/padding 位置不计 loss
- 目的:学习条件分布 P(回答|上下文),与自回归训练目标一致,又不让模型去模仿用户说话
- 实现:labels 中 prompt 与 padding 位置置为 -100,利用 CrossEntropyLoss 的 ignore_index 忽略
- 注意 labels 与 logits 错位一位(预测下一个 token),且回答末尾的 eos/结束符需要计入 loss
- 多轮对话通常每个 assistant 轮都参与训练,loss 按有效 token 数归一化
易错点
- 只设置 attention_mask 而忘记把 padding 的 label 设为 -100,导致模型学习预测 pad
- 把结束符也 mask 掉,模型学不会停止,推理时不断生成
- 用对话模板拼接后 mask 位置算错,把模板标记或回答开头错误地屏蔽或暴露
面试官常见追问
- 如果把 user 部分也算进 loss 会怎样?
- padding 用 -100 和 attention_mask 有什么区别?
- 多轮对话中历史 assistant 回复要不要算 loss?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。