多模态图文特征如何融合,提升商品表征
哪些公司问过
答案要点
- 分别提取特征:视觉模型(ResNet、ViT、CLIP 图像编码器)和文本模型(BERT)
- 融合方式:拼接、加权求和、门控或注意力动态加权
- 对比学习做图文对齐,映射到同一语义空间
- 结合共同点击、共同购买等行为做对比训练,兼顾内容和协同信号
- 处理模态缺失;对冷启动商品帮助大,用召回率和点击率评估
易错点
- 只拼接,不考虑模态对齐
- 忽略模态缺失的情况
- 只用内容特征,不结合行为信号
面试官常见追问
- 为什么多模态能帮助冷启动?
- 如何处理某个模态缺失?
- 拼接和注意力融合有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。