RQ-VAE 的流程、损失与梯度传播
哪些公司问过
答案要点
- 流程:编码,多级残差量化,下标组成语义 ID,解码重建
- 每级对上一级残差量化,各级码字之和为量化向量
- 损失:重建损失、码本损失、承诺损失,后两者用 stop gradient 区分更新对象
- 量化取最近码字不可导,用直通估计 STE 把梯度复制回编码器
- 需要防止码本坍缩,如 k-means 初始化、重置闲置码字
易错点
- 说不清三项损失分别更新谁
- 忽略量化不可导,没提 STE
- 不知道码本坍缩问题
面试官常见追问
- stop gradient 在代码上怎么实现?
- 除了 STE 还有什么办法解决梯度截断?
- 码本坍缩是什么,怎么缓解?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。