面试题库 › 算法 / 大模型 › LISA 分层采样微调与 LoRA 可解冻层选择

LISA 分层采样微调与 LoRA 可解冻层选择

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

蚂蚁集团1

常见岗位:大模型算法

答案要点

  1. LISA 基于观察:LoRA 微调中 Embedding 层与输出层的权重更新范数显著大于中间层
  2. 策略:Embedding 和输出头常驻训练,中间层每 K 步随机采样 γ 层解冻,其余冻结
  3. 显存节省主要来自未激活层无需存梯度与优化器状态;对原权重做全参更新,效果常优于 LoRA
  4. LoRA 常注入 q/k/v/o 投影与 FFN;扩充词表时 Embedding 与输出层也需训练
  5. 逐层解冻从顶层开始逐步放开,减少对底层通用表示的破坏,缓解遗忘

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题