策略梯度公式推导与强化学习中的 loss
哪些公司问过
美团1安克1
答案要点
- 目标 J(θ)=E[R(τ)],用对数导数技巧 ∇p=p·∇log p 把梯度化为期望形式
- ∇J=E[Σ∇log π(a_t|s_t)·G_t],环境转移与 θ 无关可消去;G_t 可换成 Q 或优势 A
- 实现:策略 loss=-mean(log_prob·advantage),advantage 需 detach
- 价值网络 loss 为 V(s) 与回报/TD 目标的 MSE,可加熵正则,加权求和后反传
- 方差大时用 baseline、优势函数、GAE 等降低方差
易错点
- 对 advantage 也反传梯度,导致更新方向错误
- 以为 baseline 可以依赖当前动作仍然无偏
- 把 loss 写成正的 log_prob×advantage,做梯度下降时方向反了
面试官常见追问
- 为什么可以对期望求导?
- baseline 为什么能降方差,会不会引入偏差?
- 常见的 baseline 有哪些?
- 你认为科研项目距离落地还需要做哪些工作?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。