PPO 的 on-policy 性质及与 TRPO 的关系
哪些公司问过
答案要点
- PPO 用当前策略采样、短期复用后丢弃,属于 on-policy
- 多个 epoch 复用数据使新旧策略不同,用重要性采样比值修正
- TRPO 用 KL 散度约束更新步长,需二阶近似求解,实现复杂
- PPO 用 clip 一阶近似信任域:A>0 限制比值上界,A<0 限制下界
- 损失包括 clip 策略损失、价值 MSE 和熵奖励,优势常用 GAE 估计
易错点
- 因为用了重要性采样就说 PPO 是 off-policy
- 把 clip 理解成直接裁剪梯度
- 忽略 min 操作的作用
面试官常见追问
- PPO 的损失函数是如何计算的?
- 广义优势估计(GAE)是怎么计算的?
- clip 在优势为正和为负时分别怎么起作用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。