面试题库 › 算法 / 大模型 › Token-Mixing(MLP-Mixer)的复杂度与优劣

Token-Mixing(MLP-Mixer)的复杂度与优劣

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

哪些公司问过

京东1

常见岗位:推荐搜索广告

答案要点

  1. token-mixing:转置后对每个通道用共享 MLP 沿 token 维度混合信息,替代自注意力
  2. 复杂度:一层约 O(N·D_s·C),D_s 固定时对 token 数线性;自注意力为 O(N²·d)
  3. 优势:只有矩阵乘和激活、无 softmax,结构简单硬件友好;对位置敏感,无需位置编码
  4. 局限:权重形状与 N 绑定,输入长度或分辨率须固定;混合权重静态,与输入无关
  5. 表达能力弱于注意力,通常依赖大规模预训练数据才能接近 Transformer 效果

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题