LongChat 与美团 LongCat 模型介绍
答案要点
- LongChat 是 LMSYS 基于 LLaMA 微调的长上下文对话模型,有 7B/13B 的 16K 版本
- 用压缩旋转位置编码即位置插值,把长序列位置缩放回预训练长度范围再微调
- 配套 LongEval 用话题检索和行检索测试模型的有效上下文长度
- LongCat 是美团开源模型系列,LongCat-Flash 为 MoE 架构,用零计算专家按 token 动态分配算力
易错点
- 把 LongChat 与 LongCat 混为一谈,前者是 LMSYS 的长上下文模型,后者是美团的模型系列
- 把宣称支持的上下文长度当成有效长度,应该用检索类任务实测
- 认为位置插值完全不需要微调,通常仍要少量长文本训练
面试官常见追问
- 位置插值和直接外推有什么区别?
- 怎么评估模型的长上下文能力?
- 零计算专家起什么作用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。