BERT 与 T5 的区别
哪些公司问过
答案要点
- 结构:BERT 只有编码器;T5 是编码器加解码器
- 预训练:BERT 是掩码语言模型;T5 是 span corruption,生成被遮住的片段
- 任务形式:BERT 接分类头做理解任务;T5 统一成文本到文本
- T5 既能理解也能生成,用前缀区分任务;BERT 原生不擅长生成
- T5 使用相对位置偏置,BERT 使用绝对位置编码
易错点
- 说 T5 也只有编码器
- 分不清 BERT 的掩码语言模型和 T5 的 span corruption
- 忽略 T5 统一文本到文本的任务形式
面试官常见追问
- BERT 的参数量怎么算?
- 什么是 span corruption?
- 什么场景选 T5,什么场景选 BERT?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。