面试题库 › C++ / 后端 › 大数据组件如何保证数据一致性和不丢失

大数据组件如何保证数据一致性和不丢失

难度 ★★★在 1 场真实面经中被问到 方向:C++ / 后端考点:大数据组件

哪些公司问过

小马智行1

常见岗位:软件开发

答案要点

  1. 存储层多副本:HDFS 默认三副本、流水线写入、校验和与坏块恢复
  2. 元数据高可用:NameNode 编辑日志写入多数 JournalNode
  3. Kafka:acks=all 配合 min.insync.replicas,关闭非同步副本选主,开启幂等生产者
  4. 消费端处理成功后再提交 offset,至少一次语义下业务需幂等
  5. Flink checkpoint 加可重放 source 与两阶段提交或幂等 sink,实现端到端精确一次

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题