RoPE 与 MRoPE 的原理,以及其他位置编码
哪些公司问过
答案要点
- RoPE:维度两两分组,按位置旋转,内积只依赖相对距离
- 不同维度对用不同旋转频率;外推超出训练长度需配合插值、NTK、YaRN
- MRoPE:把位置拆成时间、高度、宽度三个分量,分别旋转再组合
- 文本三个分量相同,退化为 RoPE;图像高宽变化,视频时间随帧增长
- 其他:正弦绝对位置、可学习绝对位置、T5 相对位置偏置、ALiBi
易错点
- 说 RoPE 是把位置向量加到输入上
- 分不清 MRoPE 的三个分量
- 只会讲 RoPE,说不出其他位置编码
面试官常见追问
- 为什么 RoPE 能编码相对位置?
- RoPE 如何做长度扩展?
- ALiBi 是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。