TensorRT 的加速原理与使用流程
哪些公司问过
答案要点
- 流程:导入 ONNX 等模型,builder 针对目标 GPU 优化,生成可序列化的 engine/plan
- 层与张量融合,减少 kernel 启动和显存访问
- 支持 FP16 和 INT8,INT8 需要校准或量化感知训练
- 内核自动调优:按 GPU 和形状实测选最快实现,并复用显存
- engine 默认与 GPU 型号和版本绑定,动态形状需配置优化范围,不支持的算子用插件实现
易错点
- 以为 engine 可以在不同 GPU 型号间随意复用
- 把 INT8 加速当成无损,忽视校准带来的精度风险
- 只讲量化,漏掉层融合和内核自动调优
面试官常见追问
- TensorRT 和 OpenVINO 有什么区别?
- INT8 校准是怎么做的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。