LISA 分层采样微调与 LoRA 可解冻层选择
哪些公司问过
答案要点
- LISA 基于观察:LoRA 微调中 Embedding 层与输出层的权重更新范数显著大于中间层
- 策略:Embedding 和输出头常驻训练,中间层每 K 步随机采样 γ 层解冻,其余冻结
- 显存节省主要来自未激活层无需存梯度与优化器状态;对原权重做全参更新,效果常优于 LoRA
- LoRA 常注入 q/k/v/o 投影与 FFN;扩充词表时 Embedding 与输出层也需训练
- 逐层解冻从顶层开始逐步放开,减少对底层通用表示的破坏,缓解遗忘
易错点
- 认为 LISA 按梯度大小动态挑选层,原方法中间层是随机均匀采样
- 以为未选中层完全不参与反向传播
- 把 LISA 当成一种低秩适配方法,实际更新的是原始权重
面试官常见追问
- LISA 的两个关键超参数怎么理解?
- 冻结的中间层还需要做反向传播吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。