【转载】网站常见的反爬虫和应对方法

http://www.36dsj.com/archives/40809

在咱们的对2016年大数据行业的预测文章《2016年大数据将走下神坛拥抱生活 资本青睐创业机会多》里，咱们曾经提到“在2016年，防止网站数据爬取将变成一种生意。”。今天我找到了来自”BSDR“的一篇文章，文章里主要介绍了常见的反爬虫应对方法，下面是正文。

 

常见的反爬虫

这几天在爬一个网站，网站作了不少反爬虫工做，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各类反爬虫策略和应对的方法总结一下。

从功能上来说，爬虫通常分为数据采集，处理，储存三个部分。这里咱们只讨论数据采集部分。

通常网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。

经过Headers反爬虫

从用户请求的Headers反爬虫是最多见的反爬虫策略。不少网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。若是遇到了这类反爬虫机制，能够直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改成目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。

基于用户行为反爬虫

还有一部分网站是经过检测用户行为，例如同一IP短期内屡次访问同一页面，或者同一帐户短期内屡次进行相同操做。

大多数网站都是前一种状况，对于这种状况，使用IP代理就能够解决。能够专门写一个爬虫，爬取网上公开的代理ip，检测后所有保存起来。这样的代理ip爬虫常常会用到，最好本身准备一个。有了大量代理ip后能够每请求几回更换一个ip，这在requests或者urllib2中很容易作到，这样就能很容易的绕过第一种反爬虫。

对于第二种状况，能够在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，能够经过请求几回，退出登陆，从新登陆，继续请求来绕过同一帐号短期内不能屡次进行相同请求的限制。

动态页面的反爬虫

上述的几种状况大多都是出如今静态页面，还有一部分网站，咱们须要爬取的数据是经过ajax请求获得，或者经过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。若是可以找到ajax请求，也能分析出具体的参数和响应的具体含义，咱们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析获得须要的数据。

可以直接模拟ajax请求获取数据当然是极好的，可是有些网站把ajax请求的全部参数所有加密了。咱们根本没办法构造本身所须要的数据的请求。我这几天爬的那个网站就是这样，除了加密ajax参数，它还把一些基本的功能都封装了，所有都是在调用本身的接口，而接口参数都是加密的。遇到这样的网站，咱们就不能用上面的方法了，我用的是selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操做以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，所有均可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。

用这套框架几乎能绕过大多数的反爬虫，由于它不是在假装成浏览器来获取数据（上述的经过添加 Headers必定程度上就是为了假装成浏览器），它自己就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。利用 selenium+phantomJS能干不少事情，例如识别点触式（12306）或者滑动式的验证码，对页面表单进行暴力破解等等。它在自动化渗透中还 会大展身手，之后还会提到这个。