如何编写TensorRT自定义算子插件
哪些公司问过
答案要点
- 插件用于实现TensorRT不支持的算子或替换为自定义优化实现
- 动态shape场景继承IPluginV2DynamicExt,实现输出形状推导、格式支持声明、configurePlugin和enqueue等接口
- enqueue中在给定CUDA stream上启动自定义kernel,可用getWorkspaceSize申请临时显存
- 实现serialize、getSerializationSize和对应反序列化逻辑,保证引擎可保存和加载
- 通过IPluginCreator创建插件,并用REGISTER_TENSORRT_PLUGIN或插件注册表注册
易错点
- 序列化和反序列化的字段顺序不一致,导致加载引擎后参数错乱
- 在enqueue里用默认stream或做同步,破坏TensorRT的异步执行
- supportsFormatCombination声明了某种精度却没有对应实现
面试官常见追问
- ONNX模型里的自定义算子怎么对应到插件?
- 插件怎么支持FP16或INT8?
- 插件开发时常见的调试方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。