MoE 和多头注意力的区别
哪些公司问过
答案要点
- 位置不同:多头注意力在注意力层负责 token 间交互,MoE 一般替换 FFN 层做逐 token 变换
- 计算方式不同:多头所有头都计算并拼接,MoE 每个 token 只激活 Top-K 个专家
- 组合方式不同:多头是拼接后线性投影,MoE 是按路由门控权重加权求和
- MoE 的目的在于让总参数量增大而单 token 计算量基本不变
- MoE 额外问题:负载均衡、专家坍缩、专家并行下的 all-to-all 通信
易错点
- 把多头注意力的“多头”等同于 MoE 的“多专家”
- 以为 MoE 替换的是注意力层,主流做法是替换 FFN
- 认为 MoE 总参数大计算量就同比大,忽略激活参数与总参数的区别
- 忽略 MoE 推理时显存仍需容纳全部专家参数
面试官常见追问
- Sparse MoE 的稀疏体现在哪?Router 和 Top-K 怎么工作?
- 什么是专家坍缩?为什么要做负载均衡?
- 给 Attention 加上 Gate,和 MoE 还有什么本质差别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。