面试题库 › 算法 / 大模型 › PyTorch 数据加载、autograd 与 DDP 原理

PyTorch 数据加载、autograd 与 DDP 原理

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

寒武纪1沐曦1

常见岗位:计算机视觉

答案要点

  1. DataLoader 组合 Sampler、collate_fn、多进程 worker 与 pin_memory 完成批加载
  2. sampler 与 shuffle 互斥;DistributedSampler 按 rank 切分,每轮需 set_epoch
  3. autograd 前向建动态图,backward 反向求导,梯度累加需 zero_grad
  4. DDP 一进程一卡,梯度分桶 AllReduce 并与反向重叠,各卡参数一致
  5. 梯度累积时可用 no_sync 跳过中间步的通信

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题