模型输出异常与误差累积的排查思路
哪些公司问过
答案要点
- 先定位环节:数据预处理、权重加载、推理实现、后处理,构造最小复现样本
- 检查预处理与训练是否一致:tokenizer、对话模板、归一化方式
- 对照实验:同一输入在不同框架或精度下逐层对比中间输出,找到差异放大点
- 数值误差:关键算子用 float32,检查溢出与 NaN;自回归中检查 KV Cache 与位置编码
- 训练侧监控梯度范数,用梯度裁剪、归一化、调整学习率缓解不稳定
易错点
- 一上来就改模型结构,而不先确认预处理和权重加载是否正确
- 不固定随机种子,问题无法稳定复现
- 只看最终输出,不做逐层对比定位
面试官常见追问
- 量化后模型输出变差怎么排查?
- 训练时 loss 突然变成 NaN 怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。