面试题库 › 算法 / 大模型 › 多轮 Agent 强化学习的轨迹信用分配

多轮 Agent 强化学习的轨迹信用分配

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动1vivo1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. 目标:把轨迹最终回报合理归因到各步动作或决策
  2. 蒙特卡洛回报无偏但方差大,TD/GAE 引入价值基线平衡偏差方差
  3. 无价值网络时可用组内多条轨迹的均值作为基线
  4. 加入规则或过程奖励的轮次级中间信号,与最终奖励加权
  5. 反事实重采样估计单步贡献更准,但计算成本高

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题