面试题库 › 嵌入式 › 模型权重和中间结果一般放在哪里

模型权重和中间结果一般放在哪里

难度 ★★☆在 2 场真实面经中被问到 方向:嵌入式考点:推理框架与部署

哪些公司问过

宇树科技1宇树机器人1

常见岗位:推理部署与加速、嵌入式软件

答案要点

  1. 权重和中间结果通常放在 GPU 显存,主机内存经 PCIe 传输慢
  2. 训练显存包括:参数、梯度、优化器状态、前向激活值
  3. 激活值用于反向传播,占用大,可用激活检查点用计算换显存
  4. 推理无梯度和优化器状态,激活可释放,但要保存随长度增长的 KV 缓存
  5. 放不下时:Offload 到主机内存或硬盘,模型并行分片,量化降低占用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题