RoBERTa 相比 BERT 的改进
哪些公司问过
答案要点
- 结构不变,改进预训练方法
- 更多数据、更大批量、训练更久
- 去掉下一句预测,只保留掩码语言模型
- 动态掩码:每次输入重新生成掩码
- 字节级 BPE 与更大词表,使用更长序列;在 GLUE 等基准上超过 BERT
易错点
- 说 RoBERTa 修改了模型结构
- 说它加入了新的下一句预测任务
- 不知道动态掩码的含义
面试官常见追问
- 为什么要去掉 NSP?
- 动态掩码有什么好处?
- 中文 RoBERTa 的分词方式是怎样的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。