常见高效微调方法(P-tuning、Prefix等)有何区别?
哪些公司问过
携程1唯品会1
答案要点
- 共同点:冻结主模型,只训练少量新增参数
- Prompt-tuning 只在输入层加软提示,模型越大效果越好
- Prefix-tuning 在每层 K、V 前加前缀,用 MLP 重参数化稳定训练
- P-tuning v1 用 LSTM 加 MLP 生成输入层连续提示,v2 扩展为每层深度提示
- 显存节省主要来自冻结参数无需梯度和优化器状态,权重和激活仍占显存
易错点
- 把 Prefix-tuning 和 Prompt-tuning 混淆,前者作用于每一层
- 以为 PEFT 能省掉激活值显存
- 说 P-tuning v2 和 v1 结构一样只是改名
面试官常见追问
- P-tuning 的原理和实现方式是怎样的?
- LoRA 和这些提示类方法比有什么优势?
- 微调时 GPU 显存都存了什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。