面试题库 › 算法 / 大模型 › 常见高效微调方法(P-tuning、Prefix等)有何区别?

常见高效微调方法(P-tuning、Prefix等)有何区别?

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

携程1唯品会1

常见岗位:AI 应用 / Agent 开发、大模型算法、NLP / 语音

答案要点

  1. 共同点:冻结主模型,只训练少量新增参数
  2. Prompt-tuning 只在输入层加软提示,模型越大效果越好
  3. Prefix-tuning 在每层 K、V 前加前缀,用 MLP 重参数化稳定训练
  4. P-tuning v1 用 LSTM 加 MLP 生成输入层连续提示,v2 扩展为每层深度提示
  5. 显存节省主要来自冻结参数无需梯度和优化器状态,权重和激活仍占显存

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题