面试题库 › 算法 / 大模型 › 策略梯度公式推导与强化学习中的 loss

策略梯度公式推导与强化学习中的 loss

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习

哪些公司问过

美团1安克1

常见岗位:机器学习算法(泛)、推荐搜索广告

答案要点

  1. 目标 J(θ)=E[R(τ)],用对数导数技巧 ∇p=p·∇log p 把梯度化为期望形式
  2. ∇J=E[Σ∇log π(a_t|s_t)·G_t],环境转移与 θ 无关可消去;G_t 可换成 Q 或优势 A
  3. 实现:策略 loss=-mean(log_prob·advantage),advantage 需 detach
  4. 价值网络 loss 为 V(s) 与回报/TD 目标的 MSE,可加熵正则,加权求和后反传
  5. 方差大时用 baseline、优势函数、GAE 等降低方差

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题