面试题库 › 算法 / 大模型 › 全量微调与参数高效微调(PEFT)的对比

全量微调与参数高效微调(PEFT)的对比

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

百度1

常见岗位:AI 应用 / Agent 开发、NLP / 语音

答案要点

  1. 全量微调:更新全部参数,上限高,但显存和存储成本高,易遗忘
  2. PEFT:冻结基座,只训练少量新增或部分参数,省显存、易切换多任务
  3. LoRA:W + BA 低秩更新,B 初始化为零,可合并回原权重,推理无额外延迟;QLoRA 叠加 4 比特量化
  4. Adapter 插入瓶颈模块有推理开销;Prefix/Prompt Tuning 训练前缀或软提示
  5. 选型:小数据或资源有限用 LoRA,大数据且任务差异大可考虑全量微调

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题