大模型应用上线前关注哪些指标
哪些公司问过
答案要点
- 效果:准确率、任务完成率、幻觉率,RAG 需看召回率与引用正确性
- 性能:首 token 延迟、端到端 P50/P99 延迟、吞吐与并发
- 成本:单请求 token 消耗与单位成本是否在预算内
- 稳定与安全:错误率、超时率,提示注入与敏感信息泄露测试
- 保障:监控告警、灰度、降级,Prompt、模型、索引可版本化回滚
易错点
- 只看离线准确率,不看延迟、成本和安全
- 评测集不覆盖真实场景和长尾问题
- 没有回滚和降级预案就全量上线
面试官常见追问
- 降级策略怎么设计?
- 成本超预算先优化哪一层?
- Prompt、模型、索引怎么回滚?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。