PyTorch 计算图与 autograd 机制原理
哪些公司问过
答案要点
- 动态图(define-by-run):前向执行时实时记录运算,每次迭代重建,支持 Python 控制流
- 非叶子张量通过 grad_fn 指向反向节点,节点经 next_functions 连接成 DAG
- backward 按反向拓扑序做向量-雅可比积,梯度累加到叶子节点 .grad,非叶子默认不保留
- 反向后图默认释放,需重复反向时用 retain_graph;梯度会累加,每步要清零
- model.eval 只切换 Dropout/BN 行为,no_grad/inference_mode 才停止建图
易错点
- 以为 model.eval 会关闭梯度计算,验证时不加 no_grad 导致显存浪费
- 忘记梯度累加特性,不清零导致梯度错误
- 对非叶子张量读 .grad 得到 None,却不知道需要 retain_grad
面试官常见追问
- 为什么每个训练 step 要 zero_grad?
- no_grad 和 inference_mode 有什么区别?
- detach 的作用是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。
相关面试题
- Dataset、DataLoader 和 Sampler 的区别4 场
- TensorFlow 与 PyTorch 的特点与区别2 场
- TensorFlow 图优化与 torch.compile 原理2 场
- concat 与 stack、reshape 与 transpose 的区别2 场
- MLIR 是什么以及为什么要设计 MLIR2 场
- PyTorch 中 nn.Module 与 nn.functional 的区别2 场
- 机器学习 / 深度学习框架的原理与对比2 场
- PyTorch DataLoader 与 Sampler 的区别1 场
- PyTorch 中交叉熵损失的实现1 场
- 介绍一下 PyTorch 框架1 场