面试题库 › 算法 / 大模型 › GAE 广义优势估计

GAE 广义优势估计

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:强化学习

哪些公司问过

阶跃星辰1

常见岗位:大模型算法

答案要点

  1. TD 残差:δ_t = r_t + γV(s_{t+1}) − V(s_t)
  2. GAE:A_t = Σ (γλ)^l δ_{t+l},用 λ 在 TD 与蒙特卡洛之间插值
  3. λ=0 为单步 TD 优势(低方差高偏差),λ=1 为 MC 回报减 V(无偏高方差)
  4. 倒推实现:A_t = δ_t + γλ·A_{t+1},终止状态处截断
  5. 价值目标常取 A_t + V(s_t),λ 常用 0.95 左右

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题