大小模型结合解决推理延时的方式
哪些公司问过
高德打车1
答案要点
- 路由/级联:按难度或置信度分流,简单请求走小模型,复杂请求升级大模型
- 分工:小模型做意图识别、召回、过滤等前后处理,大模型做核心理解或精排
- 知识蒸馏:大模型生成标签、推理过程或软标签,用于训练线上小模型
- 离线预计算与缓存:大模型批量处理高频请求,线上直接命中
- 用离线评测调路由阈值,平衡质量、延迟和成本
易错点
- 只说“用大模型就慢、用小模型就差”,没给出路由或蒸馏方案
- 蒸馏数据只用公开数据集,与线上 query 分布不一致
- 级联不设置置信度阈值和回退,导致错误请求留在小模型
面试官常见追问
- 线上只能用小模型,但小模型推理能力不够,想用大模型的推理结果怎么办?
- 知识蒸馏具体怎么做?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。