面试题库 › 算法 / 大模型 › 手写 Transformer 正弦位置编码

手写 Transformer 正弦位置编码

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:位置编码

哪些公司问过

拼多多1

常见岗位:计算机视觉

答案要点

  1. 公式:PE(pos,2i)=sin(pos/10000^(2i/d)),PE(pos,2i+1)=cos(pos/10000^(2i/d))
  2. 偶数维 sin、奇数维 cos,频率随维度呈几何级数递减
  3. 实现:div_term=exp(arange(0,d,2)·(-ln10000/d)),再分别填充偶数列和奇数列
  4. 注册为 buffer 不参与训练,前向时截取前 seq_len 行加到嵌入上
  5. d 为奇数时奇数列比偶数列少一列,切片要注意形状

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题