面试题库 › 算法 / 大模型 › LLM 应用的 Prompt 版本管理与 A/B 测试

LLM 应用的 Prompt 版本管理与 A/B 测试

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:提示工程

哪些公司问过

花小小新疆炒米粉1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. prompt 从代码中抽离,存 Git、配置中心或管理平台,版本 ID、变更记录、作者可追溯
  2. 版本绑定模型和生成参数,上线前跑离线评测集
  3. 线上按版本 ID 加载,日志记录每次请求使用的版本
  4. A/B:按用户 ID 哈希稳定分流,小流量灰度,监控护栏指标
  5. 核心指标结合用户反馈与人工或模型评审,做显著性检验,支持一键回滚

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题