用过哪些 ETL 调度工具,怎么选
哪些公司问过
答案要点
- 调度系统核心:把任务组织成 DAG,管理依赖、周期、重试、超时和告警
- 常见工具:Airflow、DolphinScheduler、Azkaban、Oozie,以及 DataWorks 等云上平台
- 关键能力:按业务日期参数化、补数与重跑、跨 DAG 依赖、并发与资源队列控制
- 选型考虑:代码定义还是可视化配置、高可用部署、监控告警、与现有大数据组件的集成
- DataX、Sqoop、Kettle 等偏数据同步或转换,常被调度系统作为任务节点调用
易错点
- 把 DataX、Sqoop 这类数据同步工具当成调度系统来介绍
- 任务写成追加模式,重跑或补数后数据重复
- 只依赖固定时间点启动,不判断上游是否真的产出
面试官常见追问
- 上游任务延迟或失败,下游怎么处理?
- 补数(回溯历史日期)要注意什么?
- Airflow 的基本架构是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。