网页爬虫应该用 DFS 还是 BFS
哪些公司问过
答案要点
- 网页图深度大甚至无限,DFS 容易陷入爬虫陷阱,BFS 更稳妥
- BFS 按层抓取,优先获取离种子近、通常更重要的页面
- 基于队列的 BFS 易于把 URL 队列外置,实现分布式并发抓取
- 实际多用优先级调度,并做 URL 去重、深度限制和同域名限速
- BFS 队列可能很大,需要落盘或外置;DFS 内存占用相对小
易错点
- 只从算法角度比较两者,不结合网页图深度和陷阱问题
- 忽略 URL 去重,导致重复抓取甚至死循环
- 认为 BFS 没有缺点,忽略队列规模膨胀的问题
面试官常见追问
- URL 去重怎么做?
- 如何避免对目标网站造成压力?
- 什么是爬虫陷阱,怎么应对?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。