BERT 的预训练任务 MLM 与 NSP
哪些公司问过
答案要点
- MLM与NSP联合训练,总损失为两者之和
- MLM选15%token,按80%[MASK]、10%随机词、10%不变处理,减少预训练与微调不一致
- NSP以50%正例、50%随机句构造句对,用[CLS]做二分类
- 静态mask在预处理时固定,RoBERTa改为动态mask并去掉NSP
- 下游:分类用交叉熵,NER为token级交叉熵或CRF,问答预测起止位置
易错点
- 说MLM和NSP是先后训练的,实际是联合训练
- 以为被选中的15%全部替换为[MASK]
- 把MLM损失算在全部位置,实际只在被选中的位置计算
面试官常见追问
- 为什么后续模型去掉或替换了NSP?
- BERT适合做生成任务吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。