手写 Transformer 正弦位置编码
哪些公司问过
答案要点
- 公式:PE(pos,2i)=sin(pos/10000^(2i/d)),PE(pos,2i+1)=cos(pos/10000^(2i/d))
- 偶数维 sin、奇数维 cos,频率随维度呈几何级数递减
- 实现:div_term=exp(arange(0,d,2)·(-ln10000/d)),再分别填充偶数列和奇数列
- 注册为 buffer 不参与训练,前向时截取前 seq_len 行加到嵌入上
- d 为奇数时奇数列比偶数列少一列,切片要注意形状
易错点
- 指数写成 i/d 而不是 2i/d,频率算错
- 奇偶维度用反了,或 sin 和 cos 交错位置错误
- 把位置编码设为可训练参数却说是原始正弦方案
面试官常见追问
- 手撕多头注意力的关键步骤?
- 为什么正弦编码能表示相对位置?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。