多模态大模型的架构与训练流程
哪些公司问过
答案要点
- 架构:视觉编码器(ViT)+ 连接模块 + 大语言模型
- Q-Former 用可学习查询压缩为固定 token 数,短但可能丢细节
- MLP 投影保留全部 patch 信息、结构简单,但 token 数多
- 流程:数据构建→对齐预训练(主要训连接模块)→指令微调→偏好对齐
- 指令微调阶段放开语言模型,视需要解冻视觉编码器
易错点
- 说 Q-Former 一定优于 MLP
- 把对齐预训练和指令微调混为一谈
- 忽略视觉 token 数量对推理成本的影响
面试官常见追问
- 谈谈对 Qwen-VL 系列的了解?
- 换用新版本模型后推理耗时变长,可能是什么原因?
- 为什么对齐阶段要冻结大模型?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。