Prompt 回归测试与 Agent 测试框架设计
答案要点
- 评测集:来自线上日志与历史 bad case,覆盖典型、边界与对抗用例,附期望答案或评分细则
- 指标:规则校验格式与工具调用,开放回答用裁判模型打分并与人工对齐
- 应对非确定性:每条用例多次采样,统计通过率和方差
- Agent 分层测试:工具单元测试(模拟依赖)、轨迹检查、端到端多轮模拟
- 接入持续集成:改动自动触发,对比新旧版本,指标退化超阈值阻止上线
易错点
- 只跑一次就判断好坏,忽略输出随机性
- 评测集长期不更新,跟不上线上新出现的问题
- 只看端到端结果,不检查中间工具调用,导致问题难定位
面试官常见追问
- 怎么判断一次改动是真提升还是随机波动?
- 裁判模型不可靠怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。