如何避免搜索引擎爬虫产生的流量过大以及搜索引擎设置优化

转载自：http://www.qiexing.com/post/web-seach-spider.html   今天却收到了虚拟主机商的报告：说当月流量已经超出15G！ 登录到后台的统计才发现，正常的网站浏览产生的流量才1G多，而搜索引擎爬虫（也称蜘蛛：spider等）产生的流量却达14G之多！有图为证： 为什么会搜索引擎爬虫会产生这么大的流量，特别是搜狗的爬虫与bspider爬虫真是大的惊人，但

>>阅读原文<<