面试题库 › 算法 / 大模型 › 在线策略蒸馏(OPD)的损失与设计思路

在线策略蒸馏(OPD)的损失与设计思路

难度 ★★★在 4 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

高德4

常见岗位:大模型算法

答案要点

  1. OPD:在线策略蒸馏,学生自己采样回答,教师逐 token 提供监督
  2. 损失以学生与教师分布的反向 KL 为核心,可视为逐 token 的负奖励
  3. 在学生自己会遇到的状态上训练,缓解训练与推理的分布偏移
  4. 相比强化学习,信号是稠密的逐 token,不是整条回答的稀疏奖励
  5. 可叠加任务损失,用权重和温度调节蒸馏强度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题