面试题库 › 算法 / 大模型 › 用 CUDA 或 Triton 手写 LayerNorm

用 CUDA 或 Triton 手写 LayerNorm

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:CUDA性能优化

哪些公司问过

快手1

常见岗位:推理部署与加速

答案要点

  1. 公式:(x − mean) / sqrt(var + eps) · gamma + beta,eps 防除零
  2. CUDA:一块(或一个 warp)处理一行,跨步循环累加和与平方和,注意越界
  3. 块内归约:warp shuffle → shared memory 汇总 → 同步后广播均值与 rstd
  4. 数值稳定:两遍法或 Welford,避免 E[x²]−E[x]² 的抵消误差
  5. Triton:每 program 一行,mask 处理边界,tl.sum 归约;行太长时分段累加

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题