BERT 的特点
哪些公司问过
答案要点
- BERT:基于 Transformer 编码器的预训练模型,双向上下文(GPT 为单向)
- 预训练任务:MLM(随机遮盖约 15% 的 token 并预测)、NSP(判断两句是否连续)
- 输入:词嵌入 + 段嵌入 + 位置嵌入;[CLS] 的输出常用于分类
- 下游:加任务头微调,适合分类、NER、问答等理解任务
- 缺点:不擅长生成;变体:RoBERTa(去掉 NSP、动态掩码)、ALBERT、DistilBERT
易错点
- 说 BERT 是单向模型
- 把 BERT 当作生成模型
- 不知道 MLM 的 80/10/10 处理
- 认为 NSP 一定必不可少
面试官常见追问
- MLM 里被遮盖的 token 怎么处理?
- BERT 和 GPT 有什么区别?
- 为什么 BERT 不适合生成任务?
- RoBERTa 对 BERT 做了哪些改进?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。