面试题库 › 算法 / 大模型 › 对比学习温度系数对表示的影响

对比学习温度系数对表示的影响

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:表示与对比学习

哪些公司问过

字节跳动1

常见岗位:推荐搜索广告

答案要点

  1. τ 缩放相似度 logits:sim/τ 后再 softmax,控制分布尖锐程度
  2. 每个负样本的梯度权重正比于其 softmax 概率,τ 越小越聚焦困难负样本
  3. τ 小:表示更均匀、区分度强,但会推开语义相近的伪负样本,容忍度差、训练易不稳
  4. τ 大:分布平滑、对相似样本更宽容,但困难负样本区分不足,均匀性下降
  5. 常见取值 0.05–0.5;MoCo 用 0.07,CLIP 设为可学习参数并初始化为 0.07

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题