面试题库 › 算法 / 大模型 › BERT 的特点

BERT 的特点

难度 ★★☆在 9 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

腾讯2滴滴2字节跳动1阿里巴巴1微软1小红书1阿里菜鸟1

常见岗位:NLP / 语音、大模型算法、机器学习算法(泛)、计算机视觉、软件开发

答案要点

  1. BERT:基于 Transformer 编码器的预训练模型,双向上下文(GPT 为单向)
  2. 预训练任务:MLM(随机遮盖约 15% 的 token 并预测)、NSP(判断两句是否连续)
  3. 输入:词嵌入 + 段嵌入 + 位置嵌入;[CLS] 的输出常用于分类
  4. 下游:加任务头微调,适合分类、NER、问答等理解任务
  5. 缺点:不擅长生成;变体:RoBERTa(去掉 NSP、动态掩码)、ALBERT、DistilBERT

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题