SGLang 与 vLLM 的对比
哪些公司问过
答案要点
- 主流框架:vLLM、SGLang、TensorRT-LLM、TGI、LMDeploy 等
- vLLM PagedAttention:KV Cache 分块分页管理,减少碎片,配合连续批处理提升吞吐
- SGLang RadixAttention:基数树管理 KV Cache,自动复用最长公共前缀,LRU 淘汰
- 共享前缀多的场景(多轮、长系统提示、Agent)SGLang 首 token 延迟往往更低
- SGLang 还提供前端 DSL 和结构化输出约束解码;vLLM 也已支持前缀缓存
易错点
- 说 vLLM 完全不能做前缀复用,新版本已有自动前缀缓存
- 脱离负载谈延迟优势,没有压测依据
- 把 RadixAttention 理解成新的注意力计算公式,它本质是 KV Cache 管理与复用
面试官常见追问
- PagedAttention 解决了什么问题?
- 前缀缓存在什么场景收益不大?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。