PyTorch 手写 SFT 的 loss 计算(含 shift)
哪些公司问过
答案要点
- 位置 t 的 logits 预测 t+1 的 token,需 logits[:, :-1] 对齐 labels[:, 1:]
- prompt 和 padding 的 label 设为 -100,配合 ignore_index 只对回答部分算 loss
- cross_entropy 要求类别维在第 2 维:先 view 成 [N, V] 与 [N],或 transpose 成 [B, V, T]
- reduction=mean 已按非忽略 token 数平均;梯度累积时用 sum 再除以全局有效 token 数
- loss 计算常在 fp32 下进行,以减少大词表 softmax 的数值误差
易错点
- 用 HuggingFace 模型传入 labels 时模型内部已做 shift,自己再 shift 会错位两次
- 忘记 contiguous 直接 view 可能报错,可改用 reshape
- 把 padding 用真实 token id 而非 -100 填充,导致 padding 也参与 loss
- 直接把 [B, T, V] 传给 cross_entropy 而不调整维度,类别维会被误当成 T
面试官常见追问
- 为什么只对回答部分算 loss?
- 梯度累积时 loss 归一化有什么问题?
- 做 sequence packing 时 loss 要注意什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。