大模型为何更关注提示的开头和结尾
哪些公司问过
答案要点
- 研究(如《Lost in the Middle》)发现关键信息位于中间时效果下降,呈 U 型
- 因果注意力下开头 token 被所有位置可见,易形成注意力汇聚点
- 近因效应:结尾靠近生成位置,且通常是问题本身
- 位置编码(如 RoPE)随相对距离衰减,中间远处信号较弱
- 实践:关键指令放开头、问题放结尾,重要文档排两端,控制上下文长度
易错点
- 认为上下文窗口越大,所有位置的信息都能被同等利用
- 把关键约束埋在长提示中间
- 把原因简单归为模型“记不住”,讲不出注意力和位置编码层面的机制
面试官常见追问
- RAG 场景下如何缓解中间信息丢失?
- 上下文窗口越长,这个问题就会消失吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。