Zero123 模型的特点及与相关方法的区别
哪些公司问过
上海人工智能实验室1
答案要点
- 任务:单张图像加相对相机变换,生成新视角图像
- 在 Stable Diffusion 上微调,训练数据为 3D 数据集渲染的多视角图像对
- 条件:CLIP 图像嵌入与相对视角经交叉注意力注入,输入图像潜变量按通道拼接
- 借助 2D 扩散先验实现零样本泛化,可配合分数蒸馏重建 3D
- 局限是多视角一致性不足,后续 Zero123++、SyncDreamer 等改进
易错点
- 把 Zero123 当成直接输出 3D 模型的方法,它输出的是新视角图像
- 以为多视角之间天然一致,实际独立采样会有不一致
- 忽视其训练依赖合成渲染数据,真实场景图像泛化有限
面试官常见追问
- Zero123 和 DreamFusion 的区别?
- 为什么要把输入图像的潜变量按通道拼接?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。