生成式召回在低延迟推荐链路中如何落地
哪些公司问过
答案要点
- 生成式召回常把物品编码为语义 ID(如 RQ-VAE 分层量化),自回归生成后用束搜索得到候选
- 延迟主要来自逐步解码,层数、束宽和模型规模直接决定开销
- 模型侧用小规模专用模型,结合蒸馏、量化、KV cache 降低推理成本
- 前缀树约束解码保证生成合法 ID;近线预计算和缓存减少在线计算
- 作为一路新召回与双塔、倒排并行,设超时降级,用 A/B 实验权衡效果与延迟
易错点
- 直接用通用大模型做在线召回,延迟和成本都无法接受
- 只看离线召回率,不看在线 P99 延迟和超时比例
- 一次性替换原有召回通道,没有并行灰度和降级
- 忽略语义 ID 冲突和物品更新带来的编码失效
面试官常见追问
- 生成式召回相比双塔 ANN 有什么优势?
- 语义 ID 冲突或物品更新怎么处理?
- 怎么评估生成式召回值不值得上线?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。