面试题库 › 算法 / 大模型 › 模型层面如何扩展长上下文能力

模型层面如何扩展长上下文能力

难度 ★★★在 7 场真实面经中被问到 方向:算法 / 大模型考点:长上下文处理

哪些公司问过

爱奇艺2小米1字节跳动1阿里巴巴1

常见岗位:大模型算法、AI 应用 / Agent 开发

答案要点

  1. 位置编码外推:位置插值、NTK-aware、YaRN 调整 RoPE 频率,ALiBi 外推性较好
  2. 降低注意力开销:滑动窗口、稀疏注意力、分块注意力;FlashAttention 减少显存读写
  3. 压缩 KV Cache:GQA、MQA、MLA 或 KV 量化
  4. 训练上分阶段逐步增加序列长度,配合序列并行、Ring Attention 等
  5. 应用层可配合 RAG 只输入相关片段,减少对超长窗口的依赖

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题