如何测评板端推理吞吐、时延与功耗
哪些公司问过
答案要点
- 明确口径:时延是否含前后处理,吞吐在并发下测
- 预热丢弃前若干次,排除加载和冷缓存影响
- 统计 P50、P99 和最大值,反映尾延迟和抖动
- 功耗用板载监测或功率计,计算每瓦性能
- 长时间压测记录温度和频率,观察热节流降频
易错点
- 不预热,把首次加载时间算进时延
- 只报平均值,忽略 P99
- 短时间测试,没发现热节流
面试官常见追问
- 为什么吞吐高不代表时延低?
- 测试结果波动大怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。