面试题库 › 算法 / 大模型 › 如何把图片、视频等多模态信息融入推荐大模型

如何把图片、视频等多模态信息融入推荐大模型

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型推荐

哪些公司问过

淘天集团1

常见岗位:大模型算法

答案要点

  1. 提取:图片用 CLIP、ViT 等视觉编码器,视频抽帧后聚合或用视频编码器,文本用文本编码器
  2. 对齐:基于用户行为构造正样本做对比学习,或加投影层与推荐模型联合训练,弥合通用语义与推荐目标的差距
  3. 融合:与 ID embedding、行为特征拼接或注意力融合;大模型中用投影层映射为 token 或量化为语义 ID
  4. 成本:物品侧多模态特征离线预计算并缓存,线上直接查表
  5. 收益:对冷启动和长尾物品的帮助尤其明显

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题