LoRA 的原理与常见变体
哪些公司问过
答案要点
- LoRA:冻结 W,学习低秩增量 BA,B 初始化为 0,缩放 α/r,可合并回权重
- QLoRA:4 位 NF4 量化底座、双重量化、分页优化器,大幅降低显存
- AdaLoRA:SVD 式参数化,按重要性动态分配秩
- LoRA+ 给 B 更大学习率;rsLoRA 缩放改为 α/√r;DoRA 分解幅度与方向
- 部署:LoRA、DoRA 可合并;QLoRA 合并需先反量化;多适配器可不合并直接服务
易错点
- 说 A、B 都随机初始化,实际 B 通常初始化为 0
- 以为 QLoRA 训练后可直接无损合并进 4 位权重
- 只列名字不说各变体解决什么问题
面试官常见追问
- LoRA 一般加在哪些层?
- 多个 LoRA 怎么同时部署?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。