面试题库 › 算法 / 大模型 › BERT 及其变体 RoBERTa、ERNIE、DeBERTa

BERT 及其变体 RoBERTa、ERNIE、DeBERTa

难度 ★★☆在 5 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

百度2字节跳动1快手1阿里巴巴1

常见岗位:NLP / 语音、大模型算法

答案要点

  1. BERT 预训练任务:MLM 预测被遮盖 token,NSP 判断句子是否相邻
  2. NSP 用于学习句间关系,RoBERTa 等后续工作发现其收益有限并去掉
  3. RoBERTa:去 NSP、动态掩码、更大 batch 与更多数据;ALBERT:参数分解与共享、SOP
  4. ERNIE(百度):短语级和实体级掩码融入知识,中文效果好
  5. DeBERTa:解耦注意力分离内容与相对位置,增强掩码解码器引入绝对位置

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题