上下文窗口的限制与注意力稀释现象
答案要点
- 上下文窗口是单次可处理的最大 Token 数,含输入和输出
- 超出需截断或压缩,未超出时长度增加也可能降低效果
- 注意力稀释:关键信息被大量无关 Token 分散权重
- Lost in the Middle:中间位置的信息更容易被忽略
- 用检索精选内容、关键信息放首尾、摘要压缩来缓解
易错点
- 认为标称窗口内的内容都能被同等利用
- 把所有资料一股脑塞进上下文而不做筛选
面试官常见追问
- 怎么测一个模型的有效上下文长度?
- 长对话怎么管理上下文?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。