RoPE 旋转位置编码原理及奇数维度适配
哪些公司问过
答案要点
- RoPE 对 q、k 的维度两两成对旋转,旋转角为位置 m 乘以频率 θ_i,内积只依赖相对位置 m−n
- 无额外参数,只作用在 q、k 上,具有随距离增大的远程衰减性质
- 长度扩展:位置插值(PI)、NTK-aware 缩放、YaRN 等,通常配合少量长文本继续训练
- 偶数要求针对参与旋转的每头维度;奇数时可补零到偶数,或只旋转部分维度、其余保持不变
易错点
- 把偶数要求说成 hidden_size 必须为偶数:实际看的是每个头参与旋转的维度
- 以为 RoPE 也作用在 V 上:只旋转 q 和 k
- 认为 RoPE 可以无限外推:直接超出训练长度效果会明显下降,需要插值或缩放
面试官常见追问
- RoPE 和正弦绝对位置编码有什么区别?
- NTK-aware 缩放和线性插值有什么不同?
- hidden_size 是奇数还能用 RoPE 吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。