怎么防止网站被爬虫爬取的几种办法

今天想对一个问题进行分析和讨论，就是关于爬虫对网站页面爬取的问题，有些网站经过爬虫去采集其它的网站页面信息做为己用，大量的爬取行为会对web服务器有比较性能有影响，主要的表现就是会变得很慢。 对于如何防止网站被爬取，我想从如下几种方法去分析： 1.基于程序自己去防止爬取：做为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，能够用jquery去模仿写html，这种方法假装的页面

>>阅读原文<<