大数据组件如何保证数据一致性和不丢失
哪些公司问过
答案要点
- 存储层多副本:HDFS 默认三副本、流水线写入、校验和与坏块恢复
- 元数据高可用:NameNode 编辑日志写入多数 JournalNode
- Kafka:acks=all 配合 min.insync.replicas,关闭非同步副本选主,开启幂等生产者
- 消费端处理成功后再提交 offset,至少一次语义下业务需幂等
- Flink checkpoint 加可重放 source 与两阶段提交或幂等 sink,实现端到端精确一次
易错点
- 只说多副本,忽略写入确认机制和选主策略
- 以为 Flink checkpoint 本身就保证输出到外部系统精确一次
- 自动提交 offset 后处理失败,导致消息被跳过
面试官常见追问
- acks=all 就一定不丢消息吗?
- Flink 的两阶段提交是怎么做的?
- 怎么发现数据已经丢了?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。