vLLM 的核心技术
哪些公司问过
答案要点
- vLLM 是高吞吐的大模型推理引擎,核心是 PagedAttention
- PagedAttention:KV Cache 分块、按需分配,物理不连续,用块表映射,减少碎片
- 连续批处理:迭代级调度,请求结束立刻换入新请求,提高 GPU 利用率
- KV Cache 块可共享,用于 beam search、并行采样和前缀缓存
- 支持张量并行,兼容 OpenAI API
易错点
- 认为 PagedAttention 减少了计算量,实际是优化显存管理
- 分不清连续批处理与静态批处理
- 忽略 KV Cache 的显存占用
- 把 vLLM 当作训练框架
面试官常见追问
- 为什么 KV Cache 是推理的瓶颈?
- 连续批处理相比静态批处理有什么好处?
- 前缀缓存是什么?
- 推理的 prefill 和 decode 阶段有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。