PyTorch 数据加载、autograd 与 DDP 原理
哪些公司问过
答案要点
- DataLoader 组合 Sampler、collate_fn、多进程 worker 与 pin_memory 完成批加载
- sampler 与 shuffle 互斥;DistributedSampler 按 rank 切分,每轮需 set_epoch
- autograd 前向建动态图,backward 反向求导,梯度累加需 zero_grad
- DDP 一进程一卡,梯度分桶 AllReduce 并与反向重叠,各卡参数一致
- 梯度累积时可用 no_sync 跳过中间步的通信
易错点
- 分布式训练忘记调用 sampler.set_epoch,导致每个 epoch 数据顺序相同
- 忘记 zero_grad,梯度在多个 step 间意外累加
- 以为 DDP 是同步参数,实际同步的是梯度,参数一致依赖相同初值和相同更新
面试官常见追问
- DDP 和 DataParallel 有什么区别?
- DistributedSampler 数据不能整除时怎么处理?
- DataLoader 很慢怎么排查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。