Transformer、BERT、XLNet、UniLM 的原理与区别
哪些公司问过
答案要点
- Transformer:多头自注意力 + 前馈网络 + 残差和 LayerNorm,编码器-解码器结构,可并行训练
- BERT:双向编码器,MLM + NSP 预训练,下游加任务头微调,偏理解类任务
- XLNet:排列语言模型 + 双流注意力,自回归但能利用双向上下文,没有 [MASK] 带来的预训练-微调不一致
- UniLM:同一网络通过不同注意力掩码统一单向、双向、seq2seq 三种语言建模,兼顾理解与生成
- 核心区别归结为注意力掩码方式和预训练任务的设计
易错点
- 把 BERT 说成解码器结构:BERT 只用了 Transformer 编码器
- 以为 XLNet 真的打乱了输入顺序:位置编码仍按原顺序,只是通过掩码改变预测的分解顺序
- 忽略后续工作的修正:例如 RoBERTa 实验发现去掉 NSP 效果不降反升
面试官常见追问
- 这些模型里 Attention 和 Mask 是怎么用的?
- self-attention 的原理是什么?
- 为什么点积要除以 √d_k?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。