蒙特卡洛与时序差分回报估计的对比
哪些公司问过
答案要点
- MC 目标是完整轨迹的折扣回报 G_t:无偏、方差高,需等回合结束
- TD 目标是 r+γV(s'),自举:方差低、可在线更新,但依赖估计值而有偏
- MC 适用于回合制任务,TD 可用于连续任务和在线学习
- n 步回报与 TD(λ) 在两者之间折中偏差与方差
- 函数近似下 TD 可能不稳定,MC 对马尔可夫性要求更弱
易错点
- 把偏差和方差的结论说反
- 认为 MC 能用于无终止的连续任务
- 以为 TD 的偏差会一直存在,实际随价值估计收敛而减小
面试官常见追问
- GAE 如何在 MC 与 TD 之间权衡,为什么是 PPO 标配?
- 为什么 TD 方差更低?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。