Paimon Changelog 模式的原理与适用场景
答案要点
- changelog 让主键表流读时产出完整的 +I/-U/+U/-D 变更
- none:不产出,下游需要 normalize 状态补全,成本高
- input:信任输入为完整 CDC 流,直接落 changelog 文件
- lookup 延迟低但开销大,full-compaction 开销小但延迟取决于全量合并频率
- 适用于 CDC 入湖、流式 ETL、分层增量计算
易错点
- 以为主键表流读天然就有完整的 -U 前镜像
- 在 partial-update 等合并引擎下仍用 input,导致 changelog 不正确
- 忽略 full-compaction 模式下数据可见延迟偏大
面试官常见追问
- 为什么 CDC 入湖常选 input?
- Paimon 写入如何保证 Exactly-Once?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。