LoRA 的落地场景与常用超参配置
哪些公司问过
答案要点
- 场景:领域适配与指令微调、输出格式与风格定制、扩散模型人物/画风定制
- 多任务/多租户:一个基座挂多个 LoRA,按需切换,部署成本低
- 秩 r 常取 8–64,alpha 常为 r 的 1–2 倍,缩放系数为 alpha/r
- 学习率常见 1e-4 到 2e-4 量级,高于全量微调;dropout 0.05–0.1
- 目标模块:q、v 起步,覆盖所有线性层通常更好;显存紧张用 QLoRA
易错点
- 照搬全量微调的小学习率,导致 LoRA 几乎学不动
- 只调大 r 却不检查数据质量,效果提升有限
- 合并权重后又叠加同一个 LoRA,导致增量被加两次
面试官常见追问
- r 越大越好吗?
- 多个 LoRA 怎么部署?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。