面试题库 › 算法 / 大模型 › PPO 的 on-policy 性质及与 TRPO 的关系

PPO 的 on-policy 性质及与 TRPO 的关系

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:强化学习

哪些公司问过

百度2阿里巴巴1

常见岗位:大模型算法

答案要点

  1. PPO 用当前策略采样、短期复用后丢弃,属于 on-policy
  2. 多个 epoch 复用数据使新旧策略不同,用重要性采样比值修正
  3. TRPO 用 KL 散度约束更新步长,需二阶近似求解,实现复杂
  4. PPO 用 clip 一阶近似信任域:A>0 限制比值上界,A<0 限制下界
  5. 损失包括 clip 策略损失、价值 MSE 和熵奖励,优势常用 GAE 估计

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题