反爬的几种手段总结

第一种：根据headers设置反爬虫

从用户请求的headers反爬虫是最多见的反爬虫策略，不少网站都会对headers的user-agent进行检测，还有一部分网站会对referer进行检测(一些资源网站的防盗链就是检测referer),若是遇到了这类的反爬虫机制的话，能够直接在爬虫中添加headers，将浏览器的user-agent复制到爬虫的headers中，或者将referer值修改成目标网站域名，对于检测headers的反爬虫，在爬虫中添加headers就能很好地绕过去。

第二种：根据用户行为设置反爬虫

还有一部分网站是经过用户的行为，例如同一个ip短期内屡次访问同一个页面，或者是同一个帐户短期内进行相同的操做。

大多数网站都是前一种状况，对于这种状况，使用ip代理就能够解决，能够专门写一个爬虫，爬取网上公开的代理ip，检测后所有保存起来，这样的代理ip爬虫进行会用到，最好本身准备一个，有了大量的代理ip以后能够每请求就更换一个ip，这在requests或者urllib2中很容易作到，这样的话就能够很容易绕过第一种爬虫。

对于第二种状况，能够在每次请求后随机间隔几秒以后在进行下一次的请求，有些有逻辑漏洞的网站，能够经过请求几回，退出登陆，从新登陆，继续请求来绕过同一个帐户短期内不能屡次进行相同请求的限制。

第三种：根据动态页面设置反爬虫

上述的几种状况大多都是出如今静态页面，还有一部分网站，咱们须要爬取的数据是经过ajax请求获得，或者经过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。若是可以找到ajax请求，也能分析出具体的参数和响应的具体含义，咱们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析获得须要的数据。

可以直接模拟ajax请求获取数据当然是极好的，可是有些网站把ajax请求的全部参数所有加密了，咱们根本没办法构造本身所须要的数据的请求。

用这套框架几乎能绕过大多数的反爬虫，由于它不是在假装成浏览器来获取数据（上述的经过添加Headers必定程度上就是为了假装成浏览器），它自己就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。利用selenium+phantomJS能干不少事情，例如识别点触式（12306）或者滑动式的验证码，对页面表单进行暴力破解等等。