verl 中 AgentLoop 的设计特点
哪些公司问过
答案要点
- 通用多轮 rollout 接口,轨迹生成逻辑由用户自定义,框架负责调度与收集
- 异步并发推进多条轨迹,工具等待时不阻塞 GPU,缓解长尾轨迹问题
- 在多个推理服务实例间做请求级负载均衡,利于复用前缀缓存
- 以 token 为单位输入输出,避免反复解码分词导致的不一致
- 输出响应掩码,工具返回内容不计入损失
易错点
- 把 AgentLoop 理解为工具定义框架,它关注的是 rollout 调度与轨迹收集
- 多轮轨迹拼接时重新分词,导致训练与采样的 token 不一致
- 忘记掩码工具输出,让环境 token 参与损失
面试官常见追问
- 为什么多轮 Agent RL 需要异步 rollout?
- 为什么工具返回的 token 要掩码掉?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。