多任务学习中任务收敛不一致与 loss 平衡方法
哪些公司问过
答案要点
- 先定位原因:loss 量纲差异、任务难度与数据量差异、梯度方向冲突
- 静态权重:人工设定各任务 loss 权重,简单但需反复调参
- 动态权重:不确定性加权、GradNorm、DWA 等根据训练状态自动调整
- 梯度手术:PCGrad 等方法去除冲突梯度分量,缓解相互拉扯
- 结构与训练策略:MMoE/PLE、独立学习率、分阶段训练、按任务早停
易错点
- 只调静态权重,忽略 loss 量纲本身不可比的问题
- 把梯度冲突和量纲差异混为一谈,两者对应的解法不同
- 只看总 loss 下降,没有分别监控各任务指标
- 硬共享底层导致负迁移时仍一味调权重,不考虑改用专家结构
面试官常见追问
- 不确定性加权的思路是什么?
- GradNorm 是怎么平衡任务的?
- 怎么判断任务之间存在梯度冲突?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。