Prompt Tuning、P-Tuning、Prefix Tuning 对比
哪些公司问过
答案要点
- Prompt Tuning:仅输入层加可训练软提示,参数最少,小模型上效果有限
- P-Tuning v1:输入层连续提示,用 LSTM 或 MLP 提示编码器
- Prefix Tuning:每层注意力的 K、V 前加可训练前缀,用 MLP 重参数化稳定训练
- P-Tuning v2:每层加深层提示,去掉重参数化,跨规模和序列标注任务接近全量微调
- LoRA 在权重上加低秩增量,可合并、不占上下文长度,多数场景更常用
易错点
- 把提示词工程和 Prompt Tuning 混为一谈,后者需要训练连续向量
- 说 Prompt Tuning 每一层都加提示,那是 Prefix Tuning 和 P-Tuning v2
- 忽视提示类方法会占用上下文长度
面试官常见追问
- P-Tuning v2 相比 Prefix Tuning 为什么去掉了重参数化编码器?
- 什么是提示学习,它有什么优点?
- 什么场景下选择 LoRA?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。