PPO 的损失函数与 GAE
哪些公司问过
答案要点
- 比率 r = π_new(a|s) / π_old(a|s);策略损失 = -E[min(r·A, clip(r, 1-ε, 1+ε)·A)]
- 裁剪限制每次更新的幅度,使训练更稳定
- 总损失 = 策略损失 + c1·价值损失(MSE)- c2·熵正则项
- TD 误差 δ_t = r_t + γ·V(s_{t+1}) - V(s_t)
- GAE:A_t = Σ (γλ)^l · δ_{t+l};λ 平衡偏差与方差(0 为单步 TD,1 接近蒙特卡洛)
易错点
- 把裁剪写成对 r 取最大值
- 混淆 TD 误差与优势函数
- GAE 公式里漏掉 γλ 的指数衰减
- 忘了价值损失和熵项
面试官常见追问
- 为什么 PPO 要裁剪?
- GAE 里的 λ 有什么作用?
- 价值函数损失为什么需要?
- 优势为正和为负时,裁剪分别限制什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。