LoRA 原理与 r、alpha、target_modules 等超参
哪些公司问过
答案要点
- 冻结W,学习低秩增量ΔW=BA,B∈R^{d×r}、A∈R^{r×k},r远小于d、k
- B初始化为0保证初始增量为0,训练后可合并回权重,推理无额外延迟
- r决定容量与参数量;alpha/r为实际缩放比例
- target_modules指定注入层,常从q、v投影扩展到全部线性层
- lora_dropout正则化,学习率通常高于全参微调
易错点
- 把alpha当成学习率,实际它是增量的缩放系数
- 以为LoRA推理一定变慢,合并权重后与原模型一致
- 只调r不调target_modules,效果不够时注入层覆盖不全
面试官常见追问
- LoRA在机器人或垂直领域模型微调中的优势?
- r是不是越大越好?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。