低秩矩阵分解如何用于全连接层压缩
哪些公司问过
答案要点
- 对全连接层权重 W(m×n)做 SVD,保留前 k 个奇异值
- 一层替换为两层:n→k→m,中间为无激活的瓶颈层
- 参数量由 m·n 降为 k·(m+n),计算量同步下降
- 优先用于参数最多的全连接层,如分类头、FFN 投影
- 分解后需微调恢复精度;LoRA 也是低秩思想
易错点
- 在两层之间加激活,破坏近似关系
- k 选得过小导致精度大幅下降
- 分解后不微调就直接部署
面试官常见追问
- 秩 k 怎么选?
- 卷积层能用矩阵分解吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。