对比学习温度系数对表示的影响
哪些公司问过
答案要点
- τ 缩放相似度 logits:sim/τ 后再 softmax,控制分布尖锐程度
- 每个负样本的梯度权重正比于其 softmax 概率,τ 越小越聚焦困难负样本
- τ 小:表示更均匀、区分度强,但会推开语义相近的伪负样本,容忍度差、训练易不稳
- τ 大:分布平滑、对相似样本更宽容,但困难负样本区分不足,均匀性下降
- 常见取值 0.05–0.5;MoCo 用 0.07,CLIP 设为可学习参数并初始化为 0.07
易错点
- 把 τ 小和 τ 大对均匀性的影响说反
- 只说影响 softmax 尖锐程度,不讲对困难负样本梯度的作用
- 认为 τ 越小越好,忽略对语义相似样本的过度排斥
面试官常见追问
- 为什么 embedding 要先做 L2 归一化再除以 τ?
- τ 可学习时要注意什么?
- τ 和 batch size、负样本数有什么关系?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。