InfoNCE 的矩阵实现、温度系数与假负样本
哪些公司问过
答案要点
- L2 归一化后 S=QK^T/τ,形状 N×N,对角线为正样本
- 损失为每行 -log(exp(S_ii)/Σ_j exp(S_ij)),等价于以对角线为标签的交叉熵
- 温度小聚焦难负样本、区分度强但不稳定,温度大分布平滑
- 假负样本把语义相近样本推远,损害表征质量
- 缓解:屏蔽同 ID 样本、过滤高相似负样本、去偏损失或软标签
易错点
- 忘记向量归一化,温度的作用难以解释
- 把温度只说成调学习率,讲不出对难负样本的影响
- 忽略同一 batch 中重复物品造成的假负样本
面试官常见追问
- batch 大小对 InfoNCE 有什么影响?
- 推荐场景的 batch 内负采样有什么偏差?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。