VQ-VAE 与 RQ-VAE 的损失函数和码本塌陷
哪些公司问过
答案要点
- 损失:重建损失 + 码本损失 ||sg[z_e]-e||² + 承诺损失 β||z_e-sg[e]||²
- 量化不可导,用直通估计把梯度从解码器传到编码器
- RQ-VAE 多级残差量化,每级的码本和承诺损失求和
- 码本坍缩:少数码字被频繁使用,其余闲置,表达力下降
- 缓解:K-means 初始化、重启死码、EMA 更新、余弦距离、低维码字
易错点
- 说量化操作可以直接反向传播
- 把码本损失和承诺损失的停止梯度位置写反
- 把码本坍缩和 VAE 的后验坍缩混为一谈
面试官常见追问
- 为什么不像 VAE 那样重建分布,而用残差量化?
- RQ-VAE 引入推荐解决了什么问题?
- 码本中某些 code 被使用的概率很低是什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。