LoRA 的原理
哪些公司问过
答案要点
- 冻结预训练权重 W,只训练低秩增量:ΔW = B·A,r 远小于 d(常取 4–64)
- 前向:h = W·x + (α/r)·B·A·x;A 高斯初始化,B 零初始化,起始增量为 0
- 可训练参数量可降到原来的万分之一级,显存占用低,可为不同任务保存多个适配器
- 推理时可把 B·A 合并回 W,没有额外推理延迟
- 相关技术:QLoRA(4-bit 量化基座 + LoRA)、AdaLoRA(自适应秩)、DoRA
易错点
- 说 LoRA 微调时基座模型参数也在更新:基座是冻结的
- 把 A、B 的初始化说反,或都设为 0
- 以为 rank 越大越好:会增加参数和过拟合风险
- 以为 LoRA 会增加推理延迟:合并之后没有
面试官常见追问
- LoRA 的 rank 怎么选?
- 为什么 B 初始化为 0、A 用高斯?
- QLoRA 是什么?
- LoRA 和全参数微调怎么选?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。