全量微调与参数高效微调(PEFT)的对比
哪些公司问过
答案要点
- 全量微调:更新全部参数,上限高,但显存和存储成本高,易遗忘
- PEFT:冻结基座,只训练少量新增或部分参数,省显存、易切换多任务
- LoRA:W + BA 低秩更新,B 初始化为零,可合并回原权重,推理无额外延迟;QLoRA 叠加 4 比特量化
- Adapter 插入瓶颈模块有推理开销;Prefix/Prompt Tuning 训练前缀或软提示
- 选型:小数据或资源有限用 LoRA,大数据且任务差异大可考虑全量微调
易错点
- 说 PEFT 效果一定不如全量微调:小数据下 LoRA 往往相当甚至更好
- 说 LoRA 推理一定有额外开销:合并权重后没有
- 把 Prefix Tuning 和 Prompt Tuning 混为一谈:前者在每层加前缀,后者只在输入层加软提示
面试官常见追问
- LoRA 的秩 r 和 α 怎么设置?
- 为什么 LoRA 的 B 要初始化为零?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。