面试题库 › 算法 / 大模型 › LoRA 的原理与常见变体

LoRA 的原理与常见变体

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

淘天集团1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. LoRA:冻结 W,学习低秩增量 BA,B 初始化为 0,缩放 α/r,可合并回权重
  2. QLoRA:4 位 NF4 量化底座、双重量化、分页优化器,大幅降低显存
  3. AdaLoRA:SVD 式参数化,按重要性动态分配秩
  4. LoRA+ 给 B 更大学习率;rsLoRA 缩放改为 α/√r;DoRA 分解幅度与方向
  5. 部署:LoRA、DoRA 可合并;QLoRA 合并需先反量化;多适配器可不合并直接服务

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题