知识蒸馏的原理与常见方法
哪些公司问过
答案要点
- 用教师的软标签指导学生,温度 T 软化分布,传递类间相似性等暗知识
- 损失为师生软分布 KL 散度乘 T²,与硬标签交叉熵加权组合
- 特征蒸馏对齐中间层或注意力;关系蒸馏迁移样本间关系;另有自蒸馏、在线蒸馏
- 大模型中分白盒 logits 蒸馏和黑盒数据蒸馏,后者用教师生成数据做 SFT
- 学生受容量限制通常接近但难全面超越教师,差距大时可用助教模型过渡
易错点
- 忘记 KL 项乘 T²,温度改变时软硬损失的梯度量级失衡
- 认为学生一定能达到教师水平,忽视容量差距
- 把黑盒数据蒸馏和 logits 蒸馏混为一谈
面试官常见追问
- 蒸馏中的学生模型是什么?
- 为什么要蒸馏,而不是直接训练小模型?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。