Python爬虫开发：反爬虫措施以及爬虫编写注意事项

​ 反爬虫的几重措施 1.IP限制 如果是个人编写的爬虫，IP可能是固定的，那么发现某个IP请求过于频繁并且短时间内访问大量的页面，有爬虫的嫌疑，作为网站的管理或者运维人员，你可能就得想办法禁止这个IP地址访问你的网页了。那么也就是说这个IP发出的请求在短时间内不能再访问你的网页了，也就暂时挡住了爬虫。 2.User-Agent User-Agent是用户访问网站时候的浏览器的标识 下面我列出了常

>>阅读原文<<