LoRA 的 rank 如何选择?合并 adapter 时出现异常怎么排查?
哪些公司问过
答案要点
- rank 依据任务难度、数据量、过拟合风险与显存预算选择,一般从较小值起做对比实验
- 缩放系数为 alpha/r,调整 rank 时要同步考虑 alpha
- 合并是 W + (alpha/r)·BA 的线性运算,不涉及梯度;梯度爆炸发生在训练阶段
- 训练梯度爆炸:降低学习率、梯度裁剪、warmup、检查混合精度溢出
- 合并异常:核对缩放系数与目标模块,在 16 位基座上合并并对比前后输出
易错点
- 混淆训练与合并阶段,以为合并本身会引起梯度问题
- 只改 rank 不改 alpha,导致实际更新幅度变化
- 在量化基座上直接合并,造成精度下降
面试官常见追问
- LoRA 一般加在哪些层?
- QLoRA 训练出的 adapter 合并要注意什么?
- rank 越大效果越好吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。