如何把图片、视频等多模态信息融入推荐大模型
哪些公司问过
答案要点
- 提取:图片用 CLIP、ViT 等视觉编码器,视频抽帧后聚合或用视频编码器,文本用文本编码器
- 对齐:基于用户行为构造正样本做对比学习,或加投影层与推荐模型联合训练,弥合通用语义与推荐目标的差距
- 融合:与 ID embedding、行为特征拼接或注意力融合;大模型中用投影层映射为 token 或量化为语义 ID
- 成本:物品侧多模态特征离线预计算并缓存,线上直接查表
- 收益:对冷启动和长尾物品的帮助尤其明显
易错点
- 直接使用通用视觉向量,不与推荐目标对齐
- 线上实时调用视觉编码器,导致延迟和成本过高
- 视频只取首帧,丢失关键信息
面试官常见追问
- 什么是语义 ID?
- 多模态特征和 ID 特征怎么平衡?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。