面试题库 › 算法 / 大模型 › Prompt 回归测试与 Agent 测试框架设计

Prompt 回归测试与 Agent 测试框架设计

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:评估与监控

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 评测集:来自线上日志与历史 bad case,覆盖典型、边界与对抗用例,附期望答案或评分细则
  2. 指标:规则校验格式与工具调用,开放回答用裁判模型打分并与人工对齐
  3. 应对非确定性:每条用例多次采样,统计通过率和方差
  4. Agent 分层测试:工具单元测试(模拟依赖)、轨迹检查、端到端多轮模拟
  5. 接入持续集成:改动自动触发,对比新旧版本,指标退化超阈值阻止上线

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题