如何设计分布式爬虫
哪些公司问过
答案要点
- 调度中心统一维护 URL 队列,用 Redis 或消息队列分发任务
- 抓取节点无状态,可水平扩容
- URL 规范化后用 Redis 集合或布隆过滤器去重
- 按域名限速、遵守 robots 协议,配合代理池应对反爬
- 任务超时重分配、失败重试,监控速率、成功率与积压
易错点
- 没有统一去重,多个节点重复抓取
- 不按域名限速,导致被封或给目标站点造成压力
- 节点宕机后已领取的任务丢失
面试官常见追问
- 布隆过滤器的误判会带来什么影响?
- 如何保证同一域名不会被压得太狠?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。