手机端可运行的小模型与端侧部署
哪些公司问过
答案要点
- 轻量视觉网络:MobileNet、ShuffleNet、EfficientNet 小版本等
- 设计手段:深度可分离卷积、分组卷积与通道重排、倒残差结构、神经架构搜索
- 端侧小语言模型:Qwen、Llama、Gemma、Phi 等系列的小尺寸版本,量化后可在手机运行
- 压缩技术:INT8/INT4 量化、剪枝、知识蒸馏
- 推理框架:TensorFlow Lite、NCNN、MNN、Core ML;大模型常用 llama.cpp、MLC LLM
易错点
- 只看参数量,不考虑内存带宽、算子支持和发热降频
- 量化后不做精度评估就直接上线
- 把 FLOPs 低等同于实际延迟低,深度卷积在部分硬件上效率并不高
面试官常见追问
- 深度可分离卷积为什么能省计算?
- 手机上跑大模型主要瓶颈是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。