端侧 AI 的模型转换链路与常用工具
答案要点
- 链路:训练框架模型 → 导出 ONNX 等中间格式 → 图优化(常量折叠、算子融合)→ 量化 → 转成目标推理框架格式 → 真机验证
- 按平台选推理框架:安卓常用 TFLite、NCNN、MNN,iOS 用 Core ML,高通 QNN,英伟达 TensorRT,跨平台可用 ONNX Runtime
- 量化是端侧核心:先训练后量化(需要校准集),精度不够再用量化感知训练,敏感层可保留 FP16
- 验证要做精度对齐和性能测试:逐层比对输出,测延迟、内存、功耗,关注算子是否回退到 CPU
- 后台转端侧的可迁移能力是 C++、性能剖析和工程化,需补的是模型、量化和硬件架构知识
易错点
- 以为模型转换成功就结束了,没在真机上对齐精度和测性能
- 默认 NPU 一定比 CPU、GPU 快:算子不支持时会回退,来回拷贝反而更慢
- 导出时保留动态 shape,很多端侧框架支持较差,常需固定输入尺寸
面试官常见追问
- 转换时遇到不支持的算子怎么办?
- 训练后量化精度掉太多怎么办?
- 怎么做精度对齐?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。