面试题库 › 客户端 › 模型参数量的含义与计算方法

模型参数量的含义与计算方法

难度 ★★☆在 1 场真实面经中被问到 方向:客户端考点:大模型基础

哪些公司问过

字节跳动1

常见岗位:安卓

答案要点

  1. 参数量是所有可学习参数(权重和偏置)的总数,不含激活值和超参数
  2. 全连接层:输入维度 × 输出维度 + 输出维度个偏置
  3. 卷积层:核高 × 核宽 × 输入通道 × 输出通道 + 输出通道个偏置
  4. Transformer 每层约 12d²(注意力约 4d²,FFN 约 8d²),再加词表 × d 的嵌入层
  5. 显存估算:FP16 每参数 2 字节,训练还需梯度与优化器状态,开销成倍增加

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题