权重捆绑(Weight Tying)是什么
哪些公司问过
答案要点
- 定义:让两个层共享同一组权重参数
- 典型用法:语言模型输入嵌入层与输出投影层共享,输出层用嵌入矩阵的转置计算 logits
- 作用:省掉一整份 V×d 参数,词表大、模型小时更明显;起正则作用,有研究报告可降低困惑度
- 实现:输出层权重直接引用嵌入矩阵的同一张量,反向传播时两处梯度累加
- 取舍:不少大模型选择不共享,因为该部分参数占比小,解耦后更灵活
易错点
- 忽略维度要求:共享时输出前的隐藏维度必须与嵌入维度一致,否则需额外投影
- 认为所有大模型都使用了权重捆绑
- 只说能省参数,不提其正则作用和适用的模型规模
面试官常见追问
- 共享权重时梯度怎么计算?
- 除了嵌入层,还有哪些权重共享的例子?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。