多模态 Embedding 接入精排模型的融合方式
哪些公司问过
答案要点
- 离线预计算多模态 Embedding 存入特征服务,精排在线查表,控制延迟与成本
- 拼接融合:投影层降维后与 ID Embedding 等特征拼接输入 MLP
- 交互融合:目标物品与用户历史物品的多模态向量做注意力或相似度特征
- 门控融合按物品热度等动态加权;也可量化为语义 ID 作为离散特征
- 用行为数据对比学习对齐内容向量,收益集中在冷启动与长尾物品
易错点
- 精排在线实时跑多模态大模型,延迟不可接受
- 直接拼接高维冻结向量,不做投影和归一化
- 编码模型升级后只更新部分物品向量,造成空间不一致
面试官常见追问
- 为什么直接拼接多模态向量效果可能不好?
- 多模态特征上线有哪些挑战?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。