模型参数量的含义与计算方法
哪些公司问过
答案要点
- 参数量是所有可学习参数(权重和偏置)的总数,不含激活值和超参数
- 全连接层:输入维度 × 输出维度 + 输出维度个偏置
- 卷积层:核高 × 核宽 × 输入通道 × 输出通道 + 输出通道个偏置
- Transformer 每层约 12d²(注意力约 4d²,FFN 约 8d²),再加词表 × d 的嵌入层
- 显存估算:FP16 每参数 2 字节,训练还需梯度与优化器状态,开销成倍增加
易错点
- 把激活值或超参数算进参数量
- 卷积层参数量误乘了特征图尺寸
- 只按参数量估算训练显存,忽略梯度、优化器状态和激活值
面试官常见追问
- 参数量和计算量有什么区别?
- 用 Adam 训练时显存大概是参数的多少倍?
- 为什么有些模型输入和输出嵌入共享权重?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。