介绍 Qwen2.5-VL 和 Llama
哪些公司问过
答案要点
- Llama 是 Meta 开源的 Decoder-only 文本大模型,Qwen2.5-VL 是阿里通义的视觉语言多模态模型
- Llama 关键结构:RMSNorm 前置归一化、SwiGLU、RoPE,Llama 2 大模型起引入 GQA
- Qwen2.5-VL 由视觉编码器、MLP 融合层和 Qwen2.5 语言模型组成,支持图像和视频输入、文本输出
- Qwen2.5-VL 的 ViT 支持原生动态分辨率并使用窗口注意力,2×2 patch 合并减少视觉 token
- Qwen2.5-VL 用 M-RoPE 编码时间、高、宽,视频时间维对齐绝对时间,擅长文档解析与定位
易错点
- 把 Qwen2.5-VL 当成纯文本模型,或把 Llama 早期版本说成多模态
- 说 Llama 用 LayerNorm 后置、ReLU 等与实际不符的结构
- 把动态分辨率误解为把所有图片缩放到固定尺寸
面试官常见追问
- Llama 里 QKV 是怎么计算的,GQA 有什么不同?
- 一张图片是怎么变成 LLM 能处理的 token 的?
- M-RoPE 和普通 RoPE 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。