面试题库 › 算法 / 大模型 › 知识蒸馏的原理与常见方法

知识蒸馏的原理与常见方法

难度 ★★☆在 8 场真实面经中被问到 方向:算法 / 大模型考点:模型压缩与蒸馏

哪些公司问过

腾讯2cvte1虾皮1阿里云1宇树科技1宇树机器人1联芸科技1

常见岗位:NLP / 语音、推荐搜索广告、嵌入式软件、推理部署与加速、大模型算法

答案要点

  1. 用教师的软标签指导学生,温度 T 软化分布,传递类间相似性等暗知识
  2. 损失为师生软分布 KL 散度乘 T²,与硬标签交叉熵加权组合
  3. 特征蒸馏对齐中间层或注意力;关系蒸馏迁移样本间关系;另有自蒸馏、在线蒸馏
  4. 大模型中分白盒 logits 蒸馏和黑盒数据蒸馏,后者用教师生成数据做 SFT
  5. 学生受容量限制通常接近但难全面超越教师,差距大时可用助教模型过渡

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题