Flink 消费 Kafka 如何保证数据不丢
答案要点
- 开启 checkpoint,位点作为状态随 checkpoint 持久化
- 失败后从最近成功的 checkpoint 恢复位点并重放
- 提交回 Kafka 的位点主要用于监控,恢复以 checkpoint 为准
- 端到端需下游幂等写或两阶段提交 sink
- 缓存更新按版本号覆盖,保证重放幂等
易错点
- 以为开启 Kafka 自动提交就能保证不丢
- 把 Flink 内部精确一次当成端到端精确一次
- 下游非幂等写入,重放导致重复
面试官常见追问
- 不开 checkpoint 会怎样?
- Kafka sink 精确一次有什么代价?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。