面试题库 › 算法 / 大模型 › 如何编写TensorRT自定义算子插件

如何编写TensorRT自定义算子插件

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:推理框架与部署

哪些公司问过

小马智行1

常见岗位:推理部署与加速

答案要点

  1. 插件用于实现TensorRT不支持的算子或替换为自定义优化实现
  2. 动态shape场景继承IPluginV2DynamicExt,实现输出形状推导、格式支持声明、configurePlugin和enqueue等接口
  3. enqueue中在给定CUDA stream上启动自定义kernel,可用getWorkspaceSize申请临时显存
  4. 实现serialize、getSerializationSize和对应反序列化逻辑,保证引擎可保存和加载
  5. 通过IPluginCreator创建插件,并用REGISTER_TENSORRT_PLUGIN或插件注册表注册

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题