写入 Doris 时响应丢失如何保证幂等
哪些公司问过
答案要点
- 响应丢失时状态未知,只能重试,所以必须让重复写入不产生重复数据
- Doris 导入的 Label 在同一库内唯一,同一 label 只成功导入一次,重复提交返回 Label Already Exists 和已有任务状态
- label 由确定性的批次信息生成,如 topic、分区、offset 区间,重试时复用同一 label,或按 label 查询导入结果
- 数据层用 Unique Key 模型按主键覆盖写,配合 sequence 列处理乱序,作为兜底
- 全流程:上游带唯一业务 ID,导入确认成功后再提交 offset,Flink 写入可用两阶段提交做端到端精确一次
易错点
- 每次重试随机生成新 label,导致 label 去重失效,数据重复导入
- 响应丢失后不重试或直接当失败丢弃,造成数据丢失
- 先提交消费 offset 再导入,导入失败时数据丢失
- 认为 label 能永久去重,忽略其保留期,长时间重放仍会重复
面试官常见追问
- 全流程中如何设计最终的数据幂等?
- label 能保证永久去重吗?
- 如果用 Duplicate 明细模型,怎么去重?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。