面试题库 › 算法 / 大模型 › 蒸馏时如何防止小模型学到错误推理链

蒸馏时如何防止小模型学到错误推理链

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:监督微调

哪些公司问过

腾讯1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 用标准答案或单元测试过滤,只保留结果正确的推理链
  2. 多次采样与多数投票提升可信度
  3. 用过程奖励模型或强模型逐步检查,剔除过程错误但答案碰巧正确的样本
  4. 规则过滤重复、过长、格式混乱的链;按可信度加权并混入人工审核数据
  5. 评估时抽查推理过程并测试分布外题目

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题