交叉熵与 InfoNCE 的区别
哪些公司问过
答案要点
- 交叉熵用于监督分类,在固定标签集合上衡量预测分布与真实分布的差异
- InfoNCE 用正样本和若干负样本的相似度做 softmax,目标是识别出正样本
- InfoNCE 等价于以正样本为目标类的多分类交叉熵,类别由批内或队列样本动态构成
- InfoNCE 引入温度系数 τ,τ 越小对难负样本的惩罚越集中
- InfoNCE 是互信息下界,效果依赖负样本数量和质量,故有大 batch 和负样本队列
易错点
- 认为 InfoNCE 和交叉熵毫无关系,或认为两者完全一样
- 忽略温度系数的作用,或把它当成学习率之类的超参
- 把负样本数量对效果的影响说成可以无限增大而无代价
面试官常见追问
- 温度系数 τ 取大取小有什么影响?
- 为什么负样本越多通常越好?
- 批内负样本有什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。