面试题库 › 算法 / 大模型 › MoE 和多头注意力的区别

MoE 和多头注意力的区别

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动2

常见岗位:大模型算法

答案要点

  1. 位置不同:多头注意力在注意力层负责 token 间交互,MoE 一般替换 FFN 层做逐 token 变换
  2. 计算方式不同:多头所有头都计算并拼接,MoE 每个 token 只激活 Top-K 个专家
  3. 组合方式不同:多头是拼接后线性投影,MoE 是按路由门控权重加权求和
  4. MoE 的目的在于让总参数量增大而单 token 计算量基本不变
  5. MoE 额外问题:负载均衡、专家坍缩、专家并行下的 all-to-all 通信

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题