面试题库 › 算法 / 大模型 › LLaMA-Factory 与 TRL 等训练框架对比

LLaMA-Factory 与 TRL 等训练框架对比

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:监督微调

哪些公司问过

MiniMax1

常见岗位:大模型算法

答案要点

  1. LLaMA-Factory:配置化、低代码,支持 SFT、RM、PPO、DPO、KTO 等,带 WebUI 和多模型对话模板
  2. TRL:Hugging Face 生态的训练库,提供 SFT、DPO、PPO、GRPO 等 Trainer,可编程、易改算法
  3. 二者关系:LLaMA-Factory 底层依赖 transformers、PEFT,部分 RL 训练器基于 TRL 封装
  4. 大规模在线 RL 可选 veRL、OpenRLHF 等,借助 Ray 调度和 vLLM 推理加速 rollout
  5. 选型依据:迭代速度、定制需求、集群规模和团队对 HF 生态的熟悉程度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题