端侧与移动端模型部署的难点与优化
哪些公司问过
答案要点
- 难点:算力、内存与存储受限,功耗散热,实时性,框架与算子兼容
- 模型侧:轻量网络、量化、剪枝、蒸馏,大模型常用 INT8 或 INT4 权重量化
- 工程侧:TFLite、NCNN、MNN、TensorRT 等框架,算子融合与不支持算子替换
- 系统侧:控制内存峰值、内存复用、分段加载,必要时端云协同
- 在目标真机上测延迟、功耗、精度,量化后要做精度回归
易错点
- 只说量化,忽视算子兼容和内存峰值问题
- 在 PC 上测性能就下结论,不在目标设备上实测
- 量化后不做精度验证
面试官常见追问
- 简述 MobileNet V1、V2、V3 的区别。
- 浏览器端运行小模型有什么价值和限制?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。