CLIP 模型的原理与训练
哪些公司问过
答案要点
- CLIP 是图文对比学习模型,双塔结构:图像编码器和文本编码器
- 两路输出投影到同一向量空间,比较向量相似度
- 训练:批内 N 对图文,匹配对相似度最高,用对称对比损失
- 零样本分类:把类别名写成文本提示,选与图像最相似的
- 应用:图文检索、多模态模型的视觉编码器;衍生有 SigLIP、OpenCLIP
易错点
- 把 CLIP 说成生成模型
- 说不清对比学习的正负样本
- 以为零样本不需要任何文本提示
- 忽略温度系数和批内负样本的作用
面试官常见追问
- CLIP 的图文对齐层是怎么工作的?
- CLIP 有哪些衍生的进阶模型?
- 为什么用 CLIP,它的优势是什么?
- CLIP 的局限有哪些?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。