反爬虫策略

目录   一 通过请求头来控制访问 二 通过IP限制来反爬虫 三 通过JS脚本来防止爬虫 四 配置ssl,采用绕过证书验证实现https   一 通过请求头来控制访问 无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers.  请求头报文如下图所示 这里面大部分的字段都是浏览器向服务器表面身份用的，对于爬虫来说，最需注意的字段就是User-Agent、Refe

>>阅读原文<<