ViT 的原理与结构
哪些公司问过
答案要点
- 把图像切成固定大小的 patch,线性投影成序列向量
- 加可学习的位置编码,并在序列前加入 CLS token
- 送入标准 Transformer 编码器:多头自注意力与 MLP 交替
- 取 CLS 的输出接 MLP 头做分类
- 优点是可扩展、效果好;缺点是缺少归纳偏置,依赖大数据预训练
易错点
- 说成 ViT 需要卷积层来提特征
- 忘了位置编码和 CLS token
- 不提缺少归纳偏置、依赖大数据的问题
面试官常见追问
- 为什么 ViT 需要位置编码?
- ViT 和 CNN 相比有什么区别?
- patch 大小怎么影响效果?
- 怎么降低 ViT 的计算量?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。