上下文窗口是什么及其物理限制
哪些公司问过
答案要点
- 上下文是单次推理可见的 token 序列,含系统提示、历史、检索内容、工具定义与结果
- 窗口是输入加输出的最大 token 数,模型无状态,会话记忆靠应用层拼接历史
- 物理限制:注意力平方复杂度、KV Cache 显存线性增长、训练长度限制位置外推
- 长上下文增加延迟和成本,并可能出现中间信息利用变差
- 超出窗口需截断、摘要或检索,工程上要做 token 预算管理
易错点
- 认为模型自身有会话记忆,实际是应用层把历史拼进上下文
- 忘记工具定义和工具返回也占用窗口
- 认为窗口越大效果越好
面试官常见追问
- 上下文窗口大小由什么决定?能人为调整吗?
- 上下文窗口是不是越大越好?
- 1 个汉字、1 个英文单词大概多少 token?为什么不能死记?
- 模型要支持更长上下文需要怎样训练?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。