baby-llama2 和 Llama 2 的区别
哪些公司问过
答案要点
- baby-llama2 指沿用 Llama 2 结构的小规模从零训练项目,如 llama2.c、baby-llama2-chinese
- 核心结构一致:decoder-only、RMSNorm pre-norm、SwiGLU、RoPE
- Llama 2 有 7B/13B/70B,约 2T token 预训练,上下文 4096,70B 使用 GQA,chat 版经 SFT 加 RLHF
- baby 版层数、维度、数据和算力都小几个数量级,可能更换分词器,通常只做预训练和 SFT,用于教学和实验
易错点
- 以为 baby-llama2 是 Meta 官方发布的小模型
- 说成结构不同的另一种模型,实际核心结构基本一致
- 说 Llama 2 所有尺寸都用了 GQA,原论文中是 70B 使用
面试官常见追问
- RMSNorm 和 LayerNorm 有什么区别?
- 如果自己从零训练一个小 Llama,主要流程是什么?
- GQA 是什么,为什么能加速推理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。