面试题库 › 算法 / 大模型 › BERT 与 T5 的区别

BERT 与 T5 的区别

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

百度1好未来1

常见岗位:大模型算法、NLP / 语音

答案要点

  1. 结构:BERT 只有编码器;T5 是编码器加解码器
  2. 预训练:BERT 是掩码语言模型;T5 是 span corruption,生成被遮住的片段
  3. 任务形式:BERT 接分类头做理解任务;T5 统一成文本到文本
  4. T5 既能理解也能生成,用前缀区分任务;BERT 原生不擅长生成
  5. T5 使用相对位置偏置,BERT 使用绝对位置编码

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题