把大模型上下文扩展到百万级的关键技术与挑战是什么?
哪些公司问过
答案要点
- 瓶颈:注意力计算随长度平方增长,KV Cache 随长度线性增长
- 位置编码外推:RoPE 位置插值、NTK 缩放、YaRN,配合渐进式长文本训练
- FlashAttention 分块计算,序列并行或环形注意力把长序列分到多卡
- 稀疏、滑动窗口、线性注意力或状态空间混合架构降低复杂度
- GQA、KV 量化与压缩降显存,评估需超越大海捞针测试
易错点
- 以为 FlashAttention 把注意力复杂度降成线性
- 只扩位置编码不做长文本继续训练
- 只用大海捞针评估长上下文能力
面试官常见追问
- FlashAttention 降低了计算复杂度吗?
- 位置插值和直接外推有什么区别?
- 什么是 lost in the middle?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。