图文多模态大模型的发展历程
哪些公司问过
答案要点
- 早期视觉语言预训练:检测器区域特征 + BERT 式 Transformer,双流(ViLBERT、LXMERT)与单流(VisualBERT、UNITER)
- CLIP 阶段:双塔编码器在大规模图文对上做对比学习,零样本能力强;ALBEF、BLIP 融合对比与生成
- 接入大模型:Flamingo 门控交叉注意力、BLIP-2 的 Q-Former、LLaVA 投影层加视觉指令微调
- 当前趋势:GPT-4V、Gemini、Qwen-VL 等多模态大模型,动态分辨率、视频理解、更原生的多模态训练
易错点
- 把 CLIP 说成使用了跨模态注意力,它是双塔对比学习结构
- 混淆 Flamingo、BLIP-2、LLaVA 的视觉与语言连接方式
- 把具体模型的发布时间和参数说得过于肯定
面试官常见追问
- 位置编码的演变过程是怎样的?
- 图文对齐时一般采用哪种方式?
- 模型的能力是在预训练阶段确定还是后训练结束之后?
- 现在后训练为啥比之前更能激发模型的能力,有哪些形式上的创新?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。