面试题库 › 算法 / 大模型 › 多模态大模型如何编码并对齐图文输入

多模态大模型如何编码并对齐图文输入

难度 ★★★在 5 场真实面经中被问到 方向:算法 / 大模型考点:视觉与多模态模型

哪些公司问过

字节跳动2快手1华为1vivo1

常见岗位:大模型算法、NLP / 语音

答案要点

  1. 各模态先分别编码:图像用 ViT 或 CLIP 视觉编码器,文本用分词加嵌入
  2. 对比学习对齐:用图文对训练,让配对样本向量接近
  3. 投影层对齐:线性层、MLP 或 Q-Former 把视觉特征映射到语言模型空间
  4. 也可用交叉注意力让文本关注视觉特征
  5. 视频按帧率抽帧编码,加时间位置并压缩 token 数量

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题