长上下文模型的适用场景与主要代价
答案要点
- 适合长文档分析、代码库理解、长对话和长 Agent 轨迹
- 好处是免切块,避免检索漏召回和语义割裂
- 自注意力计算随长度平方增长,预填充慢、首 Token 延迟高
- KV Cache 随长度线性增长,占显存、限制并发,且按 Token 计费成本高
- 长度越长有效利用率可能下降,常与 RAG 互补使用
易错点
- 认为窗口越长越好,忽略延迟和费用
- 以为长上下文没有信息遗漏问题
面试官常见追问
- 长上下文能完全替代 RAG 吗?
- 有哪些降低长上下文成本的手段?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。