用 CUDA 或 Triton 手写 LayerNorm
哪些公司问过
答案要点
- 公式:(x − mean) / sqrt(var + eps) · gamma + beta,eps 防除零
- CUDA:一块(或一个 warp)处理一行,跨步循环累加和与平方和,注意越界
- 块内归约:warp shuffle → shared memory 汇总 → 同步后广播均值与 rstd
- 数值稳定:两遍法或 Welford,避免 E[x²]−E[x]² 的抵消误差
- Triton:每 program 一行,mask 处理边界,tl.sum 归约;行太长时分段累加
易错点
- 归约前后漏掉 __syncthreads,读到未写完的数据
- N 不是线程数整数倍时没有越界判断
- 把 eps 加在开方之外,或忘记加 eps
面试官常见追问
- 为什么用 warp shuffle 而不是全用 shared memory 归约?
- 怎么进一步优化访存?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。