面试题库 › 算法 / 大模型 › TensorRT 的加速原理与使用流程

TensorRT 的加速原理与使用流程

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:推理框架与部署

哪些公司问过

蔚来1OPPO1字节跳动1

常见岗位:机器学习算法(泛)、计算机视觉、推理部署与加速

答案要点

  1. 流程:导入 ONNX 等模型,builder 针对目标 GPU 优化,生成可序列化的 engine/plan
  2. 层与张量融合,减少 kernel 启动和显存访问
  3. 支持 FP16 和 INT8,INT8 需要校准或量化感知训练
  4. 内核自动调优:按 GPU 和形状实测选最快实现,并复用显存
  5. engine 默认与 GPU 型号和版本绑定,动态形状需配置优化范围,不支持的算子用插件实现

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题