Token-Mixing(MLP-Mixer)的复杂度与优劣
哪些公司问过
答案要点
- token-mixing:转置后对每个通道用共享 MLP 沿 token 维度混合信息,替代自注意力
- 复杂度:一层约 O(N·D_s·C),D_s 固定时对 token 数线性;自注意力为 O(N²·d)
- 优势:只有矩阵乘和激活、无 softmax,结构简单硬件友好;对位置敏感,无需位置编码
- 局限:权重形状与 N 绑定,输入长度或分辨率须固定;混合权重静态,与输入无关
- 表达能力弱于注意力,通常依赖大规模预训练数据才能接近 Transformer 效果
易错点
- 把 token-mixing 和 channel-mixing 混淆
- 认为 Mixer 能像 Transformer 一样直接处理变长序列
- 只说复杂度更低,不提静态权重带来的表达能力差距
面试官常见追问
- 为什么说 MLP-Mixer 不需要位置编码?
- 还有哪些替代注意力的 token mixing 方式?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。