如何防止网站内容被采集

如何防止网站内容被采集

1、总结

一句话总结：js生成的内容网站就没有办法采集。

 

 

2、如何防止网站内容被采集

不少防采集方法在施行的时候须要考虑是否影响搜索引擎对网站的抓取，因此先来分析下通常采集器和搜索引擎爬虫采集有何不一样。
　　相同点：
　　a. 二者都须要直接抓取到网页源码才能有效工做，
　　b. 二者单位时间内会屡次大量抓取被访问的网站内容;
　　c. 宏观上来说二者IP都会变更;
　　d. 二者多没耐心的去破解你对网页的一些加密(验证)，好比网页内容经过js文件加密，好比须要输入验证码才能浏览内容，好比须要登陆才能访问内容等。
　　不一样点：
　　搜索引擎爬虫先忽略整个网页源码脚本和样式以及html标签代码，而后对剩下的文字部分进行切词语法句法分析等一系列的复杂处理。而采集器通常是经过 html标签特色来抓取须要的数据，在制做采集规则时须要填写目标内容的开始标志何结束标志，这样就定位了所须要的内容;或者采用对特定网页制做特定的正则表达式，来筛选出须要的内容。不管是利用开始结束标志仍是正则表达式，都会涉及到html标签(网页结构分析)。
　　而后再来提出一些防采集方法
　　一、限制IP地址单位时间的访问次数
　　分析：没有哪一个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜爱的，就剩下搜索引擎爬虫和讨厌的采集器了。
　　弊端：一刀切，这一样会阻止搜索引擎对网站的收录
　　适用网站：不太依靠搜索引擎的网站
　　采集器会怎么作：减小单位时间的访问次数，减低采集效率
　　二、屏蔽ip
　　分析：经过后台计数器，记录来访者ip和访问频率，人为分析来访记录，屏蔽可疑Ip。
　　弊端：彷佛没什么弊端，就是站长忙了点
　　适用网站：全部网站，且站长可以知道哪些是google或者百度的机器人
　　采集器会怎么作：打游击战呗!利用ip代理采集一次换一次，不过会下降采集器的效率和网速(用代理嘛)。
　　三、利用js加密网页内容
　　Note:这个方法我没接触过，只是从别处看来
　　分析：不用分析了，搜索引擎爬虫和采集器通杀
　　适用网站：极度讨厌搜索引擎和采集器的网站
　　采集器会这么作：你那么牛，都豁出去了，他就不来采你了
　　四、网页里隐藏网站版权或者一些随机垃圾文字，这些文字风格写在css文件中
　　分析：虽然不能防止采集，可是会让采集后的内容充满了你网站的版权说明或者一些垃圾文字，由于通常采集器不会同时采集你的css文件，那些文字没了风格，就显示出来了。
　　适用网站：全部网站
　　采集器会怎么作：对于版权文字，好办，替换掉。对于随机的垃圾文字，没办法，勤快点了。
　　五、用户登陆才能访问网站内容
　　分析：搜索引擎爬虫不会对每一个这样类型的网站设计登陆程序。据说采集器能够针对某个网站设计模拟用户登陆提交表单行为。
　　适用网站：极度讨厌搜索引擎，且想阻止大部分采集器的网站
　　采集器会怎么作：制做拟用户登陆提交表单行为的模块
　　六、利用脚本语言作分页(隐藏分页)
　　分析：仍是那句，搜索引擎爬虫不会针对各类网站的隐藏分页进行分析，这影响搜索引擎对其收录。可是，采集者在编写采集规则时，要分析目标网页代码，懂点脚本知识的人，就会知道分页的真实连接地址。
　　适用网站：对搜索引擎依赖度不高的网站，还有，采集你的人不懂脚本知识
　　采集器会怎么作：应该说采集者会怎么作，他反正都要分析你的网页代码，顺便分析你的分页脚本，花不了多少额外时间。
　　七、防盗链措施(只容许经过本站页面链接查看，如：Request.ServerVariables("HTTP_REFERER") )
　　分析：asp和php能够经过读取请求的HTTP_REFERER属性，来判断该请求是否来自本网站，从而来限制采集器，一样也限制了搜索引擎爬虫，严重影响搜索引擎对网站部分防盗链内容的收录。
　　适用网站：不太考虑搜索引擎收录的网站
　　采集器会怎么作：假装HTTP_REFERER嘛，不难。
　　八、全flash、图片或者pdf来呈现网站内容
　　分析：对搜索引擎爬虫和采集器支持性很差，这个不少懂点seo的人都知道
　　适用网站：媒体设计类而且不在乎搜索引擎收录的网站
　　采集器会怎么作：不采了，走人
　　九、网站随机采用不一样模版
　　分析：由于采集器是根据网页结构来定位所须要的内容，一旦前后两次模版更换，采集规则就失效，不错。并且这样对搜索引擎爬虫没影响。
　　适用网站：动态网站，而且不考虑用户体验。
　　采集器会怎么作：一个网站模版不可能多于10个吧，每一个模版弄一个规则就好了，不一样模版采用不一样采集规则。若是多于10个模版了，既然目标网站都那么费劲的更换模版，成全他，撤。
　　十、采用动态不规则的html标签
　　分析：这个比较变态。考虑到html标签内含空格和不含空格效果是同样的，因此< div >和< div >对于页面显示效果同样，可是做为采集器的标记就是两个不一样标记了。若是次页面的html标签内空格数随机，那么
　　采集规则就失效了。可是，这对搜索引擎爬虫没多大影响。
　　适合网站：全部动态且不想遵照网页设计规范的网站。
　　采集器会怎么作：仍是有对策的，如今html cleaner仍是不少的，先清理了html标签，而后再写采集规则;应该用采集规则前先清理html标签，仍是可以拿到所需数据。
　　总结：
　　一旦要同时搜索引擎爬虫和采集器，这是很让人无奈的事情，由于搜索引擎第一步就是采集目标网页内容，这跟采集器原理同样，因此不少防止采集的方法同时也阻碍了搜索引擎对网站的收录，无奈，是吧?以上10条建议虽然不能百分之百防采集，可是几种方法一块儿适用已经拒绝了一大部分采集器了。