强化学习训练有哪些常用技巧
哪些公司问过
答案要点
- 经验回放打破样本相关性、提高数据复用;目标网络延迟更新稳定 Q 目标
- Double DQN 缓解 Q 值高估;PPO 裁剪或 KL 约束限制策略更新幅度
- 基线、优势函数与 GAE 平衡偏差与方差,优势标准化提升稳定性
- 奖励缩放、观测归一化、奖励塑形处理尺度与稀疏奖励问题
- 探索手段:ε-greedy、动作噪声、熵正则;多环境并行采样提升吞吐
易错点
- 把经验回放用于 on-policy 算法,PPO 这类方法不能直接复用旧策略的大量旧数据
- 只看单次运行曲线,强化学习方差大,需多随机种子评估
- 奖励塑形随意加中间奖励,导致策略钻空子偏离真实目标
面试官常见追问
- GAE 中的 λ 怎么理解?
- 奖励塑形有什么风险?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。