面试题库 › 算法 / 大模型 › BERT 的预训练任务 MLM 与 NSP

BERT 的预训练任务 MLM 与 NSP

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

腾讯2字节跳动2

常见岗位:NLP / 语音、推荐搜索广告

答案要点

  1. MLM与NSP联合训练,总损失为两者之和
  2. MLM选15%token,按80%[MASK]、10%随机词、10%不变处理,减少预训练与微调不一致
  3. NSP以50%正例、50%随机句构造句对,用[CLS]做二分类
  4. 静态mask在预处理时固定,RoBERTa改为动态mask并去掉NSP
  5. 下游:分类用交叉熵,NER为token级交叉熵或CRF,问答预测起止位置

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题