爬虫进阶 -- 神级程序员：让你的爬虫就像人类的用户行为！

1 前言
近期，有些朋友问我一些关于如何应对反爬虫的问题。因为好多朋友都在问，所以决定写一篇此类的博客。把我知道的一些方法，分享给你们。博主属于小菜级别，玩爬虫也彻底是处于兴趣爱好，若有不足之处，还望指正。

在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差很少同样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最经常使用的方法是写一个自动化程序向网络服务器请求数据（一般是用 HTML 表单或其余网页文件），而后对数据进行解析，提取须要的信息。

说句实在话，若是个人网站老是让人爬来爬取的，常常被虚拟访问者骚扰，我也是蛮烦的，并且若是遇到“霸道”一点的爬虫，都能直接把服务器卡死。所以，咱们在爬取别人网站的时候，也多为对方考虑考虑。不过话说回来，我却没有这个烦恼，为何呢？由于我根本就没有本身的网站。=.=

2 黑科技
网站防采集的前提就是要正确地区分人类访问用户和网络机器人。如今网站有不少技术来防止爬虫，好比验证码，对于一些简单的数字验证码，可使用训练好的caffemodel诸如此类的模型去识别，准确率仍是能够的。固然，也能够在Github搜一搜关于验证码识别的东西，看一看大牛们是怎么玩的。除了这些高大上的，还有一些十分简单的方法可让你的网络机器人看起来更像人类访问用户。

2.1 构造合理的HTTP请求头
除了处理网站表单，requests 模块仍是一个设置请求头的利器。HTTP 的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。HTTP 定义了十几种古怪的请求头类型，不过大多数都不经常使用。

每一个网站都有不一样的请求头，如何获取这个请求头呢？能够用我从前提到过的Fiddler或者审查元素的方法，咱们能够根据实际状况进行配置。例如，GET百度根目录的时候，须要添加的请求头信息以下：