大模型导出时的动态维度问题
哪些公司问过
答案要点
- 动态维度:batch、序列长度、KV cache 长度等推理时不固定的维度
- 追踪式导出会把示例形状固化为常量,需显式声明动态轴
- ONNX 用 dynamic_axes,torch.export 用 Dim 声明动态维度及范围
- 依赖形状的分支和 size() 计算可能被固化,需改写或检查
- TensorRT 需配置最小、最优、最大形状,范围影响内核选择与显存分配
易错点
- 只标注 batch 动态,忘记序列长度和 KV 长度
- 忽视形状相关的控制流被追踪固化
- 动态范围设得过大,导致性能下降和显存浪费
面试官常见追问
- 为什么推理引擎更喜欢静态形状?
- KV cache 在导出时怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。