面试题库 › 算法 / 大模型 › baby-llama2 和 Llama 2 的区别

baby-llama2 和 Llama 2 的区别

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

深信服1

常见岗位:推理部署与加速

答案要点

  1. baby-llama2 指沿用 Llama 2 结构的小规模从零训练项目,如 llama2.c、baby-llama2-chinese
  2. 核心结构一致:decoder-only、RMSNorm pre-norm、SwiGLU、RoPE
  3. Llama 2 有 7B/13B/70B,约 2T token 预训练,上下文 4096,70B 使用 GQA,chat 版经 SFT 加 RLHF
  4. baby 版层数、维度、数据和算力都小几个数量级,可能更换分词器,通常只做预训练和 SFT,用于教学和实验

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题