面试题库 › 算法 / 大模型 › LoRA 的原理

LoRA 的原理

难度 ★★☆在 77 场真实面经中被问到 方向:算法 / 大模型考点:参数高效微调

哪些公司问过

字节跳动9阿里巴巴8美团6京东6百度5腾讯4华为4携程4快手3小米2哔哩哔哩2

常见岗位:大模型算法、NLP / 语音、AI 应用 / Agent 开发、推荐搜索广告、机器学习算法(泛)

答案要点

  1. 冻结预训练权重 W,只训练低秩增量:ΔW = B·A,r 远小于 d(常取 4–64)
  2. 前向:h = W·x + (α/r)·B·A·x;A 高斯初始化,B 零初始化,起始增量为 0
  3. 可训练参数量可降到原来的万分之一级,显存占用低,可为不同任务保存多个适配器
  4. 推理时可把 B·A 合并回 W,没有额外推理延迟
  5. 相关技术:QLoRA(4-bit 量化基座 + LoRA)、AdaLoRA(自适应秩)、DoRA

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题