面试题库 › 算法 / 大模型 › InfoNCE 的矩阵实现、温度系数与假负样本

InfoNCE 的矩阵实现、温度系数与假负样本

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:损失函数

哪些公司问过

哔哩哔哩2小红书1

常见岗位:推荐搜索广告、大模型算法

答案要点

  1. L2 归一化后 S=QK^T/τ,形状 N×N,对角线为正样本
  2. 损失为每行 -log(exp(S_ii)/Σ_j exp(S_ij)),等价于以对角线为标签的交叉熵
  3. 温度小聚焦难负样本、区分度强但不稳定,温度大分布平滑
  4. 假负样本把语义相近样本推远,损害表征质量
  5. 缓解:屏蔽同 ID 样本、过滤高相似负样本、去偏损失或软标签

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题