超大文档入库撑爆数据库的解决思路
哪些公司问过
广立微1
答案要点
- 原件存对象存储,数据库只存元数据和路径
- 必须入库时流式解析,按段落或长度分块存储
- 分批插入,每批单独提交,避免大事务和长时间锁
- 消息队列异步处理,记录进度支持断点续传,并限速
- 内容哈希去重,检索交给 ES 或向量库,历史数据分区归档
易错点
- 一次性把整个文件读进内存再插入
- 用一个大事务插入全部数据,长时间锁表并撑大日志
- 把大文件以 BLOB 形式直接存进业务主表
面试官常见追问
- 从数据库读数据映射成实体类时出现大量重复怎么办?
- 为什么不建议在数据库存大字段?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。