面试题库 › 算法 / 大模型 › FLOPs 计算与 7B 模型 SFT/RL 算力估算

FLOPs 计算与 7B 模型 SFT/RL 算力估算

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

蔚来1

常见岗位:计算机视觉、大模型算法

答案要点

  1. FLOPs 是浮点运算次数(计算量),FLOPS 是每秒运算次数(算力);1 MAC 约等于 2 FLOPs
  2. 全连接层约 2×d_in×d_out,卷积层约 2×H_out×W_out×C_in×C_out×K×K
  3. Transformer 训练估算:总 FLOPs≈6ND(前向 2ND、反向 4ND),推理约 2N 每 token
  4. 估 GPU 时:总 FLOPs ÷(单卡峰值×MFU)÷3600,MFU 常见在 30%–50% 区间
  5. RL 额外开销:在线采样生成、参考模型与奖励模型前向,PPO 还需训练 critic 并多模型共存

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题