LoRA 初始化、参数量计算与手写实现
哪些公司问过
答案要点
- W = W0 + (α/r)·BA,冻结 W0,只训练低秩矩阵 A、B
- A 随机初始化、B 零初始化,使初始 ΔW 为零、输出与原模型一致
- A、B 同时为零时两者梯度恒为零,训练无法启动
- 单层参数量 r×(d+k);两层 1 万×1 万、r=100 共 400 万,约为原参数的 2%
- forward:原层输出加 scaling 乘 B(A(dropout(x))),训练后可把 BA 合并回权重
易错点
- 把 A、B 都初始化为零,导致梯度恒为零
- 参数量算成 r×d×k,或只算了其中一个矩阵
- forward 中忘记乘缩放系数,或忘记冻结原权重
面试官常见追问
- LoRA 实际训练时,base 模型的参数是固定不变的吗?
- A 和 B 都设置成 0,求梯度时一直都是 0 吗?
- scale 和 alpha 一般设多少,动机是什么?
- 为什么一个随机高斯初始化,一个零初始化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。