面试题库 › 算法 / 大模型 › 模型输出异常与误差累积的排查思路

模型输出异常与误差累积的排查思路

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:性能分析与调试

哪些公司问过

卓驭2

常见岗位:推理部署与加速

答案要点

  1. 先定位环节:数据预处理、权重加载、推理实现、后处理,构造最小复现样本
  2. 检查预处理与训练是否一致:tokenizer、对话模板、归一化方式
  3. 对照实验:同一输入在不同框架或精度下逐层对比中间输出,找到差异放大点
  4. 数值误差:关键算子用 float32,检查溢出与 NaN;自回归中检查 KV Cache 与位置编码
  5. 训练侧监控梯度范数,用梯度裁剪、归一化、调整学习率缓解不稳定

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题