面试题库 › 算法 / 大模型 › 多任务学习中任务收敛不一致与 loss 平衡方法

多任务学习中任务收敛不一致与 loss 平衡方法

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:多任务与多目标

哪些公司问过

美团1小马智行1

常见岗位:推理部署与加速、推荐搜索广告

答案要点

  1. 先定位原因:loss 量纲差异、任务难度与数据量差异、梯度方向冲突
  2. 静态权重:人工设定各任务 loss 权重,简单但需反复调参
  3. 动态权重:不确定性加权、GradNorm、DWA 等根据训练状态自动调整
  4. 梯度手术:PCGrad 等方法去除冲突梯度分量,缓解相互拉扯
  5. 结构与训练策略:MMoE/PLE、独立学习率、分阶段训练、按任务早停

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题