Python之爬虫（二十四） 爬虫与反爬虫大战

爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？

从新理解爬虫中的一些概念

爬虫:自动获取网站数据的程序
反爬虫：使用技术手段防止爬虫程序爬取数据
误伤：反爬虫技术将普通用户识别为爬虫，这种状况多出如今封ip中，例如学校网络、小区网络再或者网络网络都是共享一个公共ip，这个时候若是是封ip就会致使不少正常访问的用户也没法获取到数据。因此相对来讲封ip的策略不是特别好，一般都是禁止某ip一段时间访问。
成本：反爬虫也是须要人力和机器成本
拦截：成功拦截爬虫，通常拦截率越高，误伤率也就越高

反爬虫的目的

初学者写的爬虫：简单粗暴，无论对端服务器的压力，甚至会把网站爬挂掉了

数据保护：不少的数据对某些公司网站来讲是比较重要的不但愿被别人爬取

商业竞争问题：这里举个例子是关于京东和天猫，假如京东内部经过程序爬取天猫全部的商品信息，从而作对应策略这样对天猫来讲就形成了很是大的竞争

爬虫与反爬虫大战

上有政策下有对策，下面整理了常见的爬虫大战策略