面试题库 › 算法 / 大模型 › 大模型导出时的动态维度问题

大模型导出时的动态维度问题

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

深信服1

常见岗位:推理部署与加速

答案要点

  1. 动态维度:batch、序列长度、KV cache 长度等推理时不固定的维度
  2. 追踪式导出会把示例形状固化为常量,需显式声明动态轴
  3. ONNX 用 dynamic_axes,torch.export 用 Dim 声明动态维度及范围
  4. 依赖形状的分支和 size() 计算可能被固化,需改写或检查
  5. TensorRT 需配置最小、最优、最大形状,范围影响内核选择与显存分配

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题