Dataset、DataLoader 和 Sampler 的区别
哪些公司问过
答案要点
- Dataset:定义数据集,实现 __len__ 和 __getitem__,返回单个样本
- Sampler:生成下标序列,决定取样顺序,如顺序、随机或自定义
- DataLoader:组合 Dataset 与 Sampler,负责批量、打乱和并行加载
- 常用参数:batch_size、shuffle、num_workers、pin_memory、collate_fn
- 职责划分:Dataset 管样本,Sampler 管顺序,DataLoader 管批量与并行
易错点
- 把 DataLoader 当成数据集本身
- 不知道 Sampler 的作用
- 变长数据不写 collate_fn 导致拼批报错
- num_workers 设得过大导致内存暴涨
面试官常见追问
- num_workers 设多少合适?
- collate_fn 有什么用?
- 类别不均衡时怎么采样?
- IterableDataset 和 Dataset 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。