TensorFlow 图优化与 torch.compile 原理
哪些公司问过
答案要点
- 图优化在图构建后、执行前进行;TF 主要由 Grappler 完成,可叠加 XLA
- 常见策略:常量折叠、算术简化与公共子表达式消除、死节点剪枝、布局优化、算子融合、内存优化
- torch.compile:PyTorch 2.0 引入,保持 eager 写法
- TorchDynamo 字节码级图捕获(图中断 + guard)→ AOTAutograd 生成前反向图 → Inductor 生成 Triton/C++ 代码
- 代价与注意:首次编译开销、图中断影响收益、形状变化触发重编译,可用动态形状
易错点
- 以为 torch.compile 要把模型改写成静态图:它尽量保留原有 Python 代码
- 只看单次运行时间评估,没有排除首次编译开销
- 忽略动态形状导致的频繁重编译
面试官常见追问
- 什么是图中断,有什么影响?
- torch.compile 有哪些模式?
- 算子融合为什么能加速?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。