GAE 广义优势估计
哪些公司问过
答案要点
- TD 残差:δ_t = r_t + γV(s_{t+1}) − V(s_t)
- GAE:A_t = Σ (γλ)^l δ_{t+l},用 λ 在 TD 与蒙特卡洛之间插值
- λ=0 为单步 TD 优势(低方差高偏差),λ=1 为 MC 回报减 V(无偏高方差)
- 倒推实现:A_t = δ_t + γλ·A_{t+1},终止状态处截断
- 价值目标常取 A_t + V(s_t),λ 常用 0.95 左右
易错点
- 把 λ 和折扣因子 γ 的作用混淆
- 说反 λ=0 与 λ=1 对应的偏差方差特性
- 倒推计算时没有在回合终止处截断,跨回合累加
面试官常见追问
- 蒙特卡洛估计和时序差分估计的区别?
- 大模型 RLHF 里 GAE 怎么用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。