FLOPs 计算与 7B 模型 SFT/RL 算力估算
哪些公司问过
答案要点
- FLOPs 是浮点运算次数(计算量),FLOPS 是每秒运算次数(算力);1 MAC 约等于 2 FLOPs
- 全连接层约 2×d_in×d_out,卷积层约 2×H_out×W_out×C_in×C_out×K×K
- Transformer 训练估算:总 FLOPs≈6ND(前向 2ND、反向 4ND),推理约 2N 每 token
- 估 GPU 时:总 FLOPs ÷(单卡峰值×MFU)÷3600,MFU 常见在 30%–50% 区间
- RL 额外开销:在线采样生成、参考模型与奖励模型前向,PPO 还需训练 critic 并多模型共存
易错点
- 混淆 FLOPs 和 FLOPS
- 估算时直接用硬件峰值而不考虑利用率
- 忽略 RL 中采样生成的开销,只按训练 FLOPs 估算
面试官常见追问
- FLOPs 涉及什么数据类型?
- 落地 PPO 时,奖励模型训练、在线采样、KL 计算各自消耗多少资源?
- 为什么 FLOPs 低不等于推理快?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。