设计更灵活的 GPU 显存缓存分配器
哪些公司问过
答案要点
- 预分配大段显存,段内切块复用,减少 cudaMalloc、cudaFree 调用与隐式同步
- 大小分级、对齐取整,best-fit 查找,块切分与相邻空闲块合并以降低碎片
- 按 CUDA 流隔离块,跨流使用通过事件记录,确认完成后再复用
- OOM 时释放缓存空闲段重试;可用虚拟内存映射实现可扩展段
- 提供统计接口:峰值、已缓存与已分配量、命中率、碎片率
易错点
- 释放后立即把块给其他流使用,产生读写竞争
- 只做池化不做切分合并,碎片导致显存明明够却 OOM
- 把缓存的显存当成泄漏,未区分已分配与已缓存
面试官常见追问
- 为什么跨流复用需要事件?
- cudaMallocAsync 和自己写池有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。