模型权重和中间结果一般放在哪里
哪些公司问过
答案要点
- 权重和中间结果通常放在 GPU 显存,主机内存经 PCIe 传输慢
- 训练显存包括:参数、梯度、优化器状态、前向激活值
- 激活值用于反向传播,占用大,可用激活检查点用计算换显存
- 推理无梯度和优化器状态,激活可释放,但要保存随长度增长的 KV 缓存
- 放不下时:Offload 到主机内存或硬盘,模型并行分片,量化降低占用
易错点
- 把权重说成放在硬盘里常驻
- 忘了训练时的梯度和优化器状态
- 忽略推理时的 KV 缓存
面试官常见追问
- 为什么不直接放在内存里?
- KV 缓存是什么,占多少?
- 显存不够怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。