DQN 原理与经典强化学习算法
哪些公司问过
答案要点
- 分类:价值类(Q-learning、SARSA、DQN)、策略类(REINFORCE)、Actor-Critic(A2C/A3C、PPO、DDPG、SAC)
- Q-learning:Q(s,a)←Q(s,a)+α[r+γ·maxQ(s',a')-Q(s,a)],off-policy,ε-greedy 探索
- DQN 用神经网络近似 Q 函数,输入状态输出各动作 Q 值,损失为 TD 误差平方
- 经验回放:随机采样打破样本相关性、提高数据复用
- 目标网络:延迟更新计算 TD 目标,稳定训练;改进有 Double、Dueling DQN 与优先回放
易错点
- 把 DQN 说成 on-policy 算法
- 忽略目标网络与经验回放这两个稳定训练的关键设计
- 认为 DQN 可直接处理连续动作空间,实际需要对每个动作取 max
面试官常见追问
- Q-learning 和 SARSA 的区别?
- Double DQN 解决什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。