DiT 架构流程与 AdaLN 时间步注入
哪些公司问过
答案要点
- DiT 用 Transformer 替代 U-Net,作用在 VAE 潜空间的 patch token 上
- 流程:VAE 编码 → Patchify + 位置编码 → N 个 DiT block → LayerNorm + 线性解码 → Unpatchify
- 时间步和类别嵌入相加成条件向量,经 MLP 回归每个 block 的 γ、β、α
- AdaLN-Zero:门控 α 初始化为零,block 初始为恒等映射,稳定训练
- 扩展性好:模型计算量(Gflops)越大、patch 越小,生成质量通常越好
易错点
- 以为 DiT 直接在像素空间做:原论文是在 VAE 潜空间做的潜扩散
- 把 AdaLN 说成普通 LayerNorm 加条件拼接:它是用条件回归缩放和偏移参数
- 漏掉 AdaLN-Zero 的零初始化和门控,这是它稳定训练的关键
面试官常见追问
- 扩散模型的基本流程是什么?
- AdaLN 和 cross-attention 注入条件有什么区别?
- patch size 怎么影响 DiT?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。