千万级 Excel 数据如何快速解析并入库
答案要点
- 知道 xlsx 单表约 104 万行上限,千万级往往是多表、多文件或 CSV
- 流式事件解析,避免整份加载导致内存溢出,如 EasyExcel、POI 事件模式、openpyxl 只读模式
- 生产者消费者加有界队列,解析与写库解耦,多线程批量插入,事务按批提交
- 写入加速:批量语句重写和多值插入,大量数据可转 CSV 用 LOAD DATA,导入期间暂缓二级索引
- 可靠性:异步任务加进度查询,按批记录进度支持续传,错误行单独输出
易错点
- 用普通对象模型一次性加载整个文件,导致内存溢出
- 逐条插入且每条单独提交事务,速度极慢
- 没有断点续传和错误行处理,一行脏数据导致整个任务失败重来
面试官常见追问
- 批量插入每批多大合适?
- 导入到一半失败了怎么办?
- 多线程写库为什么不是线程越多越快?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。