文件解析、合法性校验与异步入库系统设计
哪些公司问过
广立微1
答案要点
- 上传与处理解耦:文件存对象存储,生成任务记录并立即返回任务号
- 通过消息队列分发任务,worker 异步消费,便于削峰和水平扩展
- 流式解析大文件,分层校验:格式、类型范围、业务规则、去重
- 合法数据批量写入,非法行记录行号和原因并生成错误报告
- 任务状态机、幂等去重、失败重试与断点记录保证可靠性
易错点
- 在接口线程里同步解析整个文件,导致超时和内存溢出
- 逐行单条插入数据库,吞吐很低
- 只返回“导入失败”,不给出具体行号和原因
面试官常见追问
- 部分数据失败时是整批回滚还是部分成功?
- 如何防止同一个文件被重复导入?
- worker 处理到一半宕机怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。