面试题库 › 算法 / 大模型 › 介绍 Qwen2.5-VL 和 Llama

介绍 Qwen2.5-VL 和 Llama

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

字节跳动1

常见岗位:大模型算法

答案要点

  1. Llama 是 Meta 开源的 Decoder-only 文本大模型,Qwen2.5-VL 是阿里通义的视觉语言多模态模型
  2. Llama 关键结构:RMSNorm 前置归一化、SwiGLU、RoPE,Llama 2 大模型起引入 GQA
  3. Qwen2.5-VL 由视觉编码器、MLP 融合层和 Qwen2.5 语言模型组成,支持图像和视频输入、文本输出
  4. Qwen2.5-VL 的 ViT 支持原生动态分辨率并使用窗口注意力,2×2 patch 合并减少视觉 token
  5. Qwen2.5-VL 用 M-RoPE 编码时间、高、宽,视频时间维对齐绝对时间,擅长文档解析与定位

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题