多模态大模型如何编码并对齐图文输入
哪些公司问过
答案要点
- 各模态先分别编码:图像用 ViT 或 CLIP 视觉编码器,文本用分词加嵌入
- 对比学习对齐:用图文对训练,让配对样本向量接近
- 投影层对齐:线性层、MLP 或 Q-Former 把视觉特征映射到语言模型空间
- 也可用交叉注意力让文本关注视觉特征
- 视频按帧率抽帧编码,加时间位置并压缩 token 数量
易错点
- 只说用 ViT,不说怎么和文本对齐
- 混淆对比学习对齐和投影层对齐
- 视频输入不提抽帧和 token 压缩
面试官常见追问
- CLIP 的训练目标是什么?
- Q-Former 是做什么的?
- 视频 token 太多怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。