面试题库 › 算法 / 大模型 › 客服对话的上线前评测与上线后回归体系设计

客服对话的上线前评测与上线后回归体系设计

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:评估与监控

哪些公司问过

字节跳动1

常见岗位:产品经理

答案要点

  1. 数据集分上线前评测集与冻结的回归集,按真实意图分布覆盖高频,并补长尾和多轮样本
  2. 每条样本标注期望答案、依据知识和是否应转人工,便于自动判分
  3. 指标分回答层(准确率、幻觉率、拒答)、任务层(完成率)、体验层(转人工率、满意度)
  4. 红队集覆盖诱导幻觉、越权、提示注入、敏感话题,高危问题一票否决
  5. 任何模型、提示词、知识库变更都跑回归,指标不倒退才放行,再灰度验证

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题