面试题库 › 算法 / 大模型 › LoRA 初始化、参数量计算与手写实现

LoRA 初始化、参数量计算与手写实现

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

百度1虾皮1腾讯音乐1上海AI Lab1

常见岗位:大模型算法、计算机视觉、NLP / 语音

答案要点

  1. W = W0 + (α/r)·BA,冻结 W0,只训练低秩矩阵 A、B
  2. A 随机初始化、B 零初始化,使初始 ΔW 为零、输出与原模型一致
  3. A、B 同时为零时两者梯度恒为零,训练无法启动
  4. 单层参数量 r×(d+k);两层 1 万×1 万、r=100 共 400 万,约为原参数的 2%
  5. forward:原层输出加 scaling 乘 B(A(dropout(x))),训练后可把 BA 合并回权重

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题