爬虫的访问控制与常见反爬应对
哪些公司问过
答案要点
- 合规优先:遵守 robots.txt 与平台协议,优先使用官方接口
- 限速限并发:令牌桶、随机间隔,按域名控制请求速率
- 动态调整:遇 429、503 或响应变慢时指数退避降速;分布式下全局限速与去重
- 常见反爬:IP 频率限制、UA 与请求头校验、登录态、验证码、JS 渲染与参数加密
- 应对:规范请求头与会话、无头浏览器渲染、分析接口参数;代理等手段仅在授权场景使用
易错点
- 只讲绕过反爬,不讲限速和合规
- 分布式多节点各自限速,总压力叠加超出预期
- 遇到 429 仍然立即重试,加剧对方压力
面试官常见追问
- 如何控制爬虫请求频率?用什么工具?
- 怎么判断目标站的承载能力?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。