LLaMA-Factory 与 TRL 等训练框架对比
哪些公司问过
答案要点
- LLaMA-Factory:配置化、低代码,支持 SFT、RM、PPO、DPO、KTO 等,带 WebUI 和多模型对话模板
- TRL:Hugging Face 生态的训练库,提供 SFT、DPO、PPO、GRPO 等 Trainer,可编程、易改算法
- 二者关系:LLaMA-Factory 底层依赖 transformers、PEFT,部分 RL 训练器基于 TRL 封装
- 大规模在线 RL 可选 veRL、OpenRLHF 等,借助 Ray 调度和 vLLM 推理加速 rollout
- 选型依据:迭代速度、定制需求、集群规模和团队对 HF 生态的熟悉程度
易错点
- 把 LLaMA-Factory 和 TRL 当成完全并列的竞品,忽略前者部分功能建立在后者之上
- 用 TRL 默认 generate 跑大规模 GRPO,生成成为瓶颈却不自知
- 对话模板选错导致训练与推理格式不一致
面试官常见追问
- 为什么在线 RL 需要专门框架?
- 用 LLaMA-Factory 做 SFT 要注意什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。