面试题库 › 算法 / 大模型 › 为大模型设计训练数据加载器

为大模型设计训练数据加载器

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

华为1

常见岗位:大模型算法

答案要点

  1. 离线分词存成二进制分片,训练时 memory-map 或流式读取,避免全量载入内存
  2. 预训练用 packing 拼接定长序列;微调按长度分桶做动态批,超长截断或滑窗
  3. 分布式采样:各 rank 读不同分片,确定性全局 shuffle,多数据源按配比混合
  4. 多 worker 预取、pin memory,数据加载与计算重叠
  5. checkpoint 保存数据位置与随机状态,支持断点续训且不重不漏

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题