业务系统数据如何同步到数据仓库
哪些公司问过
半亩花田1
答案要点
- 全量同步:DataX、Sqoop 等按周期整表抽取,适合小表和维表
- 增量同步:按更新时间或自增 ID 抽取变化数据,物理删除难以捕获
- 实时同步:基于 binlog 的 CDC,如 Canal、Debezium、Flink CDC 写入 Kafka 再落仓
- 日志数据用 Filebeat、Flume 等采集,统一进入 ODS 层保留原始数据
- 抽数走从库减少对业务库压力,并做行数和指标的一致性校验
易错点
- 直接在业务主库上跑大批量抽数,影响线上服务
- 以为按更新时间增量抽取能覆盖所有变更,忽略删除和更新时间未维护的情况
- 同步后不做数据校验,问题到报表阶段才暴露
面试官常见追问
- 你们现在的数据采集入湖方式是什么?
- 增量同步时数据被物理删除了怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。