面试题库 › 算法 / 大模型 › 设计更灵活的 GPU 显存缓存分配器

设计更灵活的 GPU 显存缓存分配器

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:CUDA性能优化

哪些公司问过

百度1

常见岗位:大模型算法

答案要点

  1. 预分配大段显存,段内切块复用,减少 cudaMalloc、cudaFree 调用与隐式同步
  2. 大小分级、对齐取整,best-fit 查找,块切分与相邻空闲块合并以降低碎片
  3. 按 CUDA 流隔离块,跨流使用通过事件记录,确认完成后再复用
  4. OOM 时释放缓存空闲段重试;可用虚拟内存映射实现可扩展段
  5. 提供统计接口:峰值、已缓存与已分配量、命中率、碎片率

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题