Transformer 的位置编码
哪些公司问过
答案要点
- 自注意力不含位置信息,需要位置编码
- 正余弦:PE(pos,2i)=sin(pos/10000^(2i/d)),PE(pos,2i+1)=cos(pos/10000^(2i/d)),不同维度对应不同频率
- 可学习位置嵌入(如 BERT):每个位置一个向量,不能外推到更长序列
- RoPE:对 Q、K 按位置做旋转,注意力分数只依赖相对位置,LLaMA 等使用
- ALiBi:给注意力分数加与距离成正比的偏置;相对位置编码建模词间的相对距离
易错点
- 说自注意力天生知道词序
- 混淆可学习位置嵌入和正余弦编码的外推能力
- 把 RoPE 说成加在输入上
- 不知道 RoPE 让分数只依赖相对位置
面试官常见追问
- RoPE 的原理是什么?
- 为什么正余弦位置编码能表示相对位置?
- 位置编码是加在输入上还是注意力里?
- 怎么扩展模型的上下文长度?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。