面试题库 › C++ / 后端 › DistributedSampler原理与ConcatDataset多任务加载

DistributedSampler原理与ConcatDataset多任务加载

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:分布式训练与并行

哪些公司问过

小马智行1

常见岗位:推理部署与加速

答案要点

  1. 按num_replicas和rank划分:全局下标按rank起步、步长为进程数交错取样,各进程不重叠
  2. shuffle时用seed+epoch作为种子,各进程打乱结果一致;每个epoch需调用set_epoch
  3. drop_last为False时补齐重复样本使总数可被进程数整除,为True时丢弃尾部
  4. ConcatDataset记录各子集累计长度,用二分查找把全局下标映射到子数据集和局部下标
  5. DistributedSampler作用于ConcatDataset总长度,batch内会混合不同任务样本

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题