Kafka 出现消息重复投递的场景与应对
哪些公司问过
水滴AI1
答案要点
- 生产端:消息已写入但 ACK 丢失或超时,重试导致重复;Leader 切换时也可能出现
- 幂等生产者用 PID 加分区序列号去重,只覆盖单会话单分区的重试
- 消费端:处理完未提交 offset 就宕机、提交失败、自动提交窗口内崩溃,都会重复消费
- 再均衡:处理超时超过 max.poll.interval.ms 被踢出组,分区重新分配后重复消费
- 最终兜底是消费端幂等:唯一业务 ID、唯一约束、状态机或去重表
易错点
- 以为开启幂等生产者就能实现端到端不重复
- 用 Redis 去重却不考虑过期和与业务写入的原子性
- 先提交 offset 再处理,以为解决了重复,实际引入丢消息
面试官常见追问
- 生产者没有收到 ACK 时会发生什么?
- 消费者宕机或 offset 提交失败为什么会重复消费?
- 如何用唯一业务 ID 实现消费端去重?
- 能不能先提交 offset 再处理来避免重复?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。