Agent 与 Prompt 的版本管理、测试和灰度发布
哪些公司问过
答案要点
- Prompt、模型参数、工具配置纳入版本管理,带版本号、diff、作者和评审记录
- 请求日志记录所用版本号,便于问题追溯与效果归因
- 上线前用覆盖核心场景和历史 bad case 的评测集做离线回归
- 灰度按用户或流量分桶小流量起步,同一用户固定版本,对比成功率、错误率、延迟、成本
- 保留旧版本并通过配置开关一键回滚,分阶段放量直至全量
易错点
- Prompt 直接写死在代码里,改一次就要发版,也没有变更记录
- 灰度时同一用户在新旧版本间来回切换,导致多轮对话体验混乱
- 只看主观感受,不建评测集就全量上线
面试官常见追问
- Prompt 变更的效果怎么评估才可靠?
- 模型供应商升级了底座模型,怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。