生产者消费者任务队列如何做任务去重
哪些公司问过
答案要点
- 队列只保证传递、不保证唯一,重复提交和重投都会产生重复任务
- 用业务唯一键(如课件 ID 加内容哈希)标识任务
- 生产侧用唯一索引或 Redis 判重,消费侧用 SET NX 或条件更新原子抢占
- 任务状态机加超时回收,处理异常时可以重新领取
- 产物路径由唯一键决定,重复执行也保持幂等
易错点
- 以为消息队列天然保证不重复
- 用进程内存保存已处理集合,多实例和重启后失效
- 先查再写不原子,并发下两个消费者同时处理同一任务
面试官常见追问
- 去重用的 Set 是静态集合吗?集合不断膨胀怎么办?
- SET NX 加锁后进程挂了怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。