DistributedSampler原理与ConcatDataset多任务加载
哪些公司问过
答案要点
- 按num_replicas和rank划分:全局下标按rank起步、步长为进程数交错取样,各进程不重叠
- shuffle时用seed+epoch作为种子,各进程打乱结果一致;每个epoch需调用set_epoch
- drop_last为False时补齐重复样本使总数可被进程数整除,为True时丢弃尾部
- ConcatDataset记录各子集累计长度,用二分查找把全局下标映射到子数据集和局部下标
- DistributedSampler作用于ConcatDataset总长度,batch内会混合不同任务样本
易错点
- 忘了每个epoch调用set_epoch,导致每轮数据顺序相同
- 以为DistributedSampler是连续切块,实际是按步长交错取样
- 忽略补齐带来的重复样本对验证指标的影响
面试官常见追问
- 如果想让每个batch只包含同一个任务的数据怎么办?
- 验证时用DistributedSampler会有什么问题?
- 多个数据集大小差距很大怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。