通常网站是如何判断爬虫的？

有没有想过网站是根据哪些来判断现在有爬虫正抓取自己网站信息?那 网站的反爬虫机制是以什么为基准来建立的呢。下面介绍4中最常见的形式： 1.cookie检测，浏览器是会保存cookie的，这样网站会根据检测cookie来识别你是否是真实的用户，若是爬虫没有伪装好，将会触发被限制网页访问网页访问。 同样网站是可以根据这些途径去监测是否有爬虫，爬虫工作者也都可以依照这原理去攻破。比如是利用IP检测的，我

>>阅读原文<<