为大模型设计训练数据加载器
哪些公司问过
答案要点
- 离线分词存成二进制分片,训练时 memory-map 或流式读取,避免全量载入内存
- 预训练用 packing 拼接定长序列;微调按长度分桶做动态批,超长截断或滑窗
- 分布式采样:各 rank 读不同分片,确定性全局 shuffle,多数据源按配比混合
- 多 worker 预取、pin memory,数据加载与计算重叠
- checkpoint 保存数据位置与随机状态,支持断点续训且不重不漏
易错点
- 训练时在线分词,CPU 成为瓶颈
- 断点续训只恢复模型和优化器,没恢复数据位置,导致数据重复
- 各 rank 用相同随机种子读同一份数据,数据并行失去意义
面试官常见追问
- packing 会带来什么问题?
- 如何判断数据加载是不是瓶颈?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。