什么业务用大模型,什么业务用小模型
哪些公司问过
答案要点
- 大模型:开放域、复杂语义、推理泛化、生成任务,标注数据需求少
- 小模型:任务固定、高并发低延迟、成本敏感、隐私或端侧部署
- 综合考虑效果、数据、延迟吞吐、算力预算、隐私合规
- 可用大模型生成数据,蒸馏或微调到小模型
- 路由策略:简单请求走小模型,复杂请求走大模型
易错点
- 一刀切地说大模型更好
- 忽略成本、延迟和隐私因素
- 不提蒸馏和路由等组合方案
面试官常见追问
- 为什么不所有任务都用大模型?
- 怎么把大模型能力迁移到小模型?
- 路由怎么做?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。