面试题库 › 算法 / 大模型 › PPO 的损失函数与 GAE

PPO 的损失函数与 GAE

难度 ★★★在 19 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动4腾讯3蚂蚁集团3百度2小红书2美团1拼多多1蚂蚁金服1爱奇艺1MiniMax1

常见岗位:大模型算法、推理部署与加速、推荐搜索广告

答案要点

  1. 比率 r = π_new(a|s) / π_old(a|s);策略损失 = -E[min(r·A, clip(r, 1-ε, 1+ε)·A)]
  2. 裁剪限制每次更新的幅度,使训练更稳定
  3. 总损失 = 策略损失 + c1·价值损失(MSE)- c2·熵正则项
  4. TD 误差 δ_t = r_t + γ·V(s_{t+1}) - V(s_t)
  5. GAE:A_t = Σ (γλ)^l · δ_{t+l};λ 平衡偏差与方差(0 为单步 TD,1 接近蒙特卡洛)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题