模型层面如何扩展长上下文能力
哪些公司问过
答案要点
- 位置编码外推:位置插值、NTK-aware、YaRN 调整 RoPE 频率,ALiBi 外推性较好
- 降低注意力开销:滑动窗口、稀疏注意力、分块注意力;FlashAttention 减少显存读写
- 压缩 KV Cache:GQA、MQA、MLA 或 KV 量化
- 训练上分阶段逐步增加序列长度,配合序列并行、Ring Attention 等
- 应用层可配合 RAG 只输入相关片段,减少对超长窗口的依赖
易错点
- 以为 FlashAttention 降低了注意力的计算复杂度
- 以为窗口标称多长就能稳定利用多长,忽视长文中间信息利用变差的问题
- 把 RAG 等应用层方案和模型结构改进混为一谈
面试官常见追问
- Llama 输入长度理论上可以无限长吗?
- 长文本训练有哪些常用 trick?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。