Agentic RL 与传统大模型强化学习的差异
哪些公司问过
答案要点
- 传统 RL 多为单轮生成整段回答,Agentic RL 是多轮决策并与环境交互
- 轨迹更长,状态和上下文随轮数增长
- 奖励稀疏且延迟,信用分配困难
- 环境返回的 token 不是策略生成的,训练时要做损失掩码
- 需在线交互采样,成本高、方差大,训练更不稳定
易错点
- 把 Agentic RL 说成只是更长的 RLHF
- 忽略环境返回 token 的损失掩码
- 不提稀疏奖励和信用分配
面试官常见追问
- 长时序任务下训练为什么容易崩?
- 怎么缓解信用分配问题?
- 为什么要对工具返回内容做掩码?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。