面试题库 › 算法 / 大模型 › Transformer、BERT、XLNet、UniLM 的原理与区别

Transformer、BERT、XLNet、UniLM 的原理与区别

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

拼多多1阿里巴巴1

常见岗位:NLP / 语音

答案要点

  1. Transformer:多头自注意力 + 前馈网络 + 残差和 LayerNorm,编码器-解码器结构,可并行训练
  2. BERT:双向编码器,MLM + NSP 预训练,下游加任务头微调,偏理解类任务
  3. XLNet:排列语言模型 + 双流注意力,自回归但能利用双向上下文,没有 [MASK] 带来的预训练-微调不一致
  4. UniLM:同一网络通过不同注意力掩码统一单向、双向、seq2seq 三种语言建模,兼顾理解与生成
  5. 核心区别归结为注意力掩码方式和预训练任务的设计

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题