面试题库 › 算法 / 大模型 › 你对多模态模型有哪些了解

你对多模态模型有哪些了解

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:视觉与多模态模型

哪些公司问过

小米1字节跳动1

常见岗位:大模型算法、音视频开发、软件开发

答案要点

  1. 多模态指处理文本、图像、音频、视频等多种模态,关键是跨模态对齐
  2. CLIP 双塔结构,用图文对比学习对齐,支持零样本分类和检索
  3. 多模态大模型常见为视觉编码器加投影层加 LLM,如 LLaVA、BLIP-2
  4. 训练一般分图文对齐预训练和指令微调两阶段
  5. 应用有图文问答、文档理解、图像生成;难点为幻觉、高分辨率开销、细粒度对齐

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题