面试题库 › 算法 / 大模型 › LoRA 原理与 r、alpha、target_modules 等超参

LoRA 原理与 r、alpha、target_modules 等超参

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

腾讯1阿里巴巴1宇树科技1软通动力1

常见岗位:大模型算法、AI 应用 / Agent 开发

答案要点

  1. 冻结W,学习低秩增量ΔW=BA,B∈R^{d×r}、A∈R^{r×k},r远小于d、k
  2. B初始化为0保证初始增量为0,训练后可合并回权重,推理无额外延迟
  3. r决定容量与参数量;alpha/r为实际缩放比例
  4. target_modules指定注入层,常从q、v投影扩展到全部线性层
  5. lora_dropout正则化,学习率通常高于全参微调

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题