面试题库 › 算法 / 大模型 › 交叉熵与 InfoNCE 的区别

交叉熵与 InfoNCE 的区别

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:表示与对比学习

哪些公司问过

字节跳动1

常见岗位:人工智能

答案要点

  1. 交叉熵用于监督分类,在固定标签集合上衡量预测分布与真实分布的差异
  2. InfoNCE 用正样本和若干负样本的相似度做 softmax,目标是识别出正样本
  3. InfoNCE 等价于以正样本为目标类的多分类交叉熵,类别由批内或队列样本动态构成
  4. InfoNCE 引入温度系数 τ,τ 越小对难负样本的惩罚越集中
  5. InfoNCE 是互信息下界,效果依赖负样本数量和质量,故有大 batch 和负样本队列

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题