面试题库 › 算法 / 大模型 › 多模态大模型的架构与训练流程

多模态大模型的架构与训练流程

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动2百度1上海人工智能实验室1

常见岗位:大模型算法

答案要点

  1. 架构:视觉编码器(ViT)+ 连接模块 + 大语言模型
  2. Q-Former 用可学习查询压缩为固定 token 数,短但可能丢细节
  3. MLP 投影保留全部 patch 信息、结构简单,但 token 数多
  4. 流程:数据构建→对齐预训练(主要训连接模块)→指令微调→偏好对齐
  5. 指令微调阶段放开语言模型,视需要解冻视觉编码器

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题