强化学习基本框架与常用训练框架
哪些公司问过
答案要点
- 基本框架:智能体与环境交互,形式化为 MDP:状态、动作、奖励、转移、策略
- 目标:最大化折扣累积回报,折扣因子 γ 权衡短期与长期收益
- 算法分类:基于价值(Q-learning、DQN)、基于策略(REINFORCE)、Actor-Critic(PPO、SAC)
- 其他划分:有模型/无模型,on-policy/off-policy
- 工程框架:Gymnasium、Stable-Baselines3、RLlib;LLM 方向有 TRL、OpenRLHF、verl 等
易错点
- 把强化学习和监督学习混淆,忽略延迟奖励和探索
- 只列算法名,讲不出智能体与环境的交互循环
- 混淆价值函数 V(s) 和动作价值函数 Q(s,a)
面试官常见追问
- on-policy 和 off-policy 的区别?
- 大模型 RL 训练框架要解决什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。