BERT 及其变体 RoBERTa、ERNIE、DeBERTa
哪些公司问过
答案要点
- BERT 预训练任务:MLM 预测被遮盖 token,NSP 判断句子是否相邻
- NSP 用于学习句间关系,RoBERTa 等后续工作发现其收益有限并去掉
- RoBERTa:去 NSP、动态掩码、更大 batch 与更多数据;ALBERT:参数分解与共享、SOP
- ERNIE(百度):短语级和实体级掩码融入知识,中文效果好
- DeBERTa:解耦注意力分离内容与相对位置,增强掩码解码器引入绝对位置
易错点
- 混淆百度 ERNIE 与清华 ERNIE 的做法
- 说 RoBERTa 改了模型结构,实际主要改的是训练方式和数据
- 把 DeBERTa 的解耦注意力说成多头注意力的一种拆分
面试官常见追问
- 各类位置编码的优劣势是什么?
- 请说明 pre-norm 和 post-norm 的区别。
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。