【Python爬虫】反扒机制与高并发爬虫设计

1、服务器反扒机制及策略 1. 反扒机制 1.1 User-Agent限制 解决方案：html 拷贝浏览器的头信息 用Fakeuseragent模块 pip install fake-useragent pip install fake-useragent 1.2 短期内限制IP访问次数 解决方案：采用IP代理，利用代理网站爬取多个代理IPhtml5 2. 帐户控制 2.1 限制页面登录 解决策略

>>阅读原文<<