LLM 应用的 Prompt 版本管理与 A/B 测试
哪些公司问过
花小小新疆炒米粉1
答案要点
- prompt 从代码中抽离,存 Git、配置中心或管理平台,版本 ID、变更记录、作者可追溯
- 版本绑定模型和生成参数,上线前跑离线评测集
- 线上按版本 ID 加载,日志记录每次请求使用的版本
- A/B:按用户 ID 哈希稳定分流,小流量灰度,监控护栏指标
- 核心指标结合用户反馈与人工或模型评审,做显著性检验,支持一键回滚
易错点
- prompt 硬编码在代码中,改一次就要发版
- 只记录 prompt 文本,不记录对应模型和参数版本
- 样本量不足就根据短期波动下结论
面试官常见追问
- LLM 输出不确定,A/B 指标怎么定?
- 为什么要按用户分流而不是按请求分流?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。