大模型推理的并行策略(TP/PP/DP/SP/EP)
哪些公司问过
百度1上海AI Lab1
答案要点
- TP:层内切分权重,每层 AllReduce,适合单机内高带宽互联,降低单请求延迟
- PP:按层切分,适合跨机部署,存在流水线气泡;DP:复制模型分摊请求、提升吞吐
- SP/上下文并行:沿序列维切分,应对长序列;EP:MoE 专家分布在多卡,all-to-all 通信
- 70B FP16 权重约 140GB,8 卡 80GB 可用 TP=8,或 TP=4×DP=2,以压测结果为准
- 打满 GPU:连续批处理、PagedAttention、提高并发、chunked prefill、量化给 KV Cache 腾显存
易错点
- 只看 nvidia-smi 的利用率判断打满:它只反映是否有 kernel 在跑,不代表算力被用足
- 以为 TP 越大越快:通信开销增加,小模型过度切分反而变慢
- 忘了 KV Cache 显存:只算权重放得下,并发一高就会显存不足
面试官常见追问
- 为什么 TP 一般不跨机?
- A800 和 A100 部署上有什么需要注意的?
- 怎么判断 GPU 有没有被打满?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。