你对多模态模型有哪些了解
哪些公司问过
答案要点
- 多模态指处理文本、图像、音频、视频等多种模态,关键是跨模态对齐
- CLIP 双塔结构,用图文对比学习对齐,支持零样本分类和检索
- 多模态大模型常见为视觉编码器加投影层加 LLM,如 LLaVA、BLIP-2
- 训练一般分图文对齐预训练和指令微调两阶段
- 应用有图文问答、文档理解、图像生成;难点为幻觉、高分辨率开销、细粒度对齐
易错点
- 只会罗列模型名称,讲不出对齐和融合的基本结构
- 把 CLIP 当成生成模型,它主要用于表示对齐和检索
- 忽略视觉 token 数量对推理成本的影响
面试官常见追问
- CLIP 是怎么训练的?
- 视觉特征怎么接入大语言模型?
- 多模态模型的幻觉怎么缓解?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。