面试题库 › 算法 / 大模型 › 低秩矩阵分解如何用于全连接层压缩

低秩矩阵分解如何用于全连接层压缩

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型压缩与蒸馏

哪些公司问过

字节跳动1

常见岗位:音视频开发

答案要点

  1. 对全连接层权重 W(m×n)做 SVD,保留前 k 个奇异值
  2. 一层替换为两层:n→k→m,中间为无激活的瓶颈层
  3. 参数量由 m·n 降为 k·(m+n),计算量同步下降
  4. 优先用于参数最多的全连接层,如分类头、FFN 投影
  5. 分解后需微调恢复精度;LoRA 也是低秩思想

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题