多模态大模型的结构与训练流程
哪些公司问过
答案要点
- 结构:视觉编码器、连接器(MLP/Q-Former/交叉注意力)、大语言模型
- 阶段一:图文对对齐预训练,常冻结两端只训连接器
- 阶段二:多模态指令微调,放开语言模型,视觉编码器视情况解冻
- 阶段三:DPO/RLHF等偏好对齐,降低幻觉
- 坑点:分辨率与token数、数据质量、纯文本能力退化、视觉编码器学习率
易错点
- 第一阶段就全量放开训练,容易破坏语言模型和视觉编码器的预训练能力
- 只用多模态数据微调,导致纯文本能力明显下降
- 忽视视觉token数量对上下文长度和推理成本的影响
面试官常见追问
- 把纯视觉模型改造成VL模型,哪些模块必须重新设计?
- 高分辨率图像怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。