面试题库 › 算法 / 大模型 › 多模态图文特征如何融合,提升商品表征

多模态图文特征如何融合,提升商品表征

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:Embedding技术

哪些公司问过

阿里巴巴1vivo1

常见岗位:大模型算法

答案要点

  1. 分别提取特征:视觉模型(ResNet、ViT、CLIP 图像编码器)和文本模型(BERT)
  2. 融合方式:拼接、加权求和、门控或注意力动态加权
  3. 对比学习做图文对齐,映射到同一语义空间
  4. 结合共同点击、共同购买等行为做对比训练,兼顾内容和协同信号
  5. 处理模态缺失;对冷启动商品帮助大,用召回率和点击率评估

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题