AI 产品异常监控需重点关注的指标
答案要点
- 稳定性:上游API失败率、超时率、限流,配置告警与降级或备用模型切换
- 性能:首字延迟和P50、P99延迟,直接影响交互体验
- 质量:幻觉率、拒答率、安全违规、格式错误,及点踩、重试、修改率
- 成本:token用量、单次费用、缓存命中率,防异常调用刷量
- 告警阈值基于基线设置,并与转化、留存等业务指标关联分析
易错点
- 只监控接口成功率,忽略返回内容质量
- 只看平均延迟,忽略长尾延迟
- 不监控成本,被异常流量刷爆预算
面试官常见追问
- 幻觉率在线上怎么度量?
- 上游模型 API 故障怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。