多轮 Agent 强化学习的轨迹信用分配
哪些公司问过
答案要点
- 目标:把轨迹最终回报合理归因到各步动作或决策
- 蒙特卡洛回报无偏但方差大,TD/GAE 引入价值基线平衡偏差方差
- 无价值网络时可用组内多条轨迹的均值作为基线
- 加入规则或过程奖励的轮次级中间信号,与最终奖励加权
- 反事实重采样估计单步贡献更准,但计算成本高
易错点
- 只用最终奖励,长轨迹下训练信号方差过大
- 过程奖励权重过高,模型刷中间分
- 把环境返回内容计入损失
面试官常见追问
- 多轮端到端训练时工具返回的内容怎么处理?
- 怎么验证信用分配是否合理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。