面试题库 › 算法 / 大模型 › 权重捆绑(Weight Tying)是什么

权重捆绑(Weight Tying)是什么

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

百度1

常见岗位:NLP / 语音

答案要点

  1. 定义:让两个层共享同一组权重参数
  2. 典型用法:语言模型输入嵌入层与输出投影层共享,输出层用嵌入矩阵的转置计算 logits
  3. 作用:省掉一整份 V×d 参数,词表大、模型小时更明显;起正则作用,有研究报告可降低困惑度
  4. 实现:输出层权重直接引用嵌入矩阵的同一张量,反向传播时两处梯度累加
  5. 取舍:不少大模型选择不共享,因为该部分参数占比小,解耦后更灵活

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题