如何评估微调后的模型确实有提升
哪些公司问过
答案要点
- 测试集与训练集严格隔离,做去重和数据泄漏检查
- 在同一推理配置下对比微调前后,指标按任务选择(准确率、F1、通过率、裁判模型打分)
- 同时测通用能力基准,检查灾难性遗忘
- 人工盲评计算胜率,上线前做小流量 A/B 测试
- 结合训练/验证曲线和多次采样,排除过拟合和随机波动
易错点
- 只在训练集或与训练集重叠的数据上评估,结论虚高
- 只看目标任务指标,忽略通用能力退化
- 微调前后推理参数(温度、提示模板)不一致,导致对比不公平
面试官常见追问
- 为什么 PPO 效果常常比 DPO 强?
- 怎么理解多轮 DPO 会有提升?
- 用大模型当裁判打分要注意什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。