经过日志分析搜索引擎蜘蛛爬虫的行为

简要说明

作好百度和谷歌优化的第一步就是蜘蛛的抓取，下面的Linux命令能够让你清楚的知道蜘蛛的爬行状况。这里请首先看看日志大小，若是很大(超过50M)建议别用这些命令分析，由于这些命令很消耗CPU，或者抓下来放到分析机上执行，以避免影响网站的速度。这些命令都是Linux下的shell命令，在/var/log/apache2/下面能够找到日志文件。access.log这个文件记录的应该是最近一天的日志状况。

命令

1. 查看百度蜘蛛爬行的次数

1	cat access.log | grep Baiduspider | wc

最左面的数值显示的就是爬行次数。
2. 百度蜘蛛的详细记录(Ctrl C能够终止)

1	cat access.log | grep Baiduspider

也能够用下面的命令：

1 2	cat access.log | grep Baiduspider | tail -n10 cat access.log | grep Baiduspider | head -n10

只看最后10条或最前10条，这用就能知道这个日志文件的开始记录的时间和日期。
3. 百度蜘蛛抓取首页的详细记录

1	cat access.log | grep Baiduspider | grep “GET / HTTP”

百度蜘蛛好像对首页很是热爱每一个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。
4. 百度蜘蛛派性记录时间点分布

1	cat access.log | grep “Baiduspider ” | awk ‘{print $4}’

5. 百度蜘蛛爬行页面按次数降序列表

1	cat access.log | grep “Baiduspider ” | awk ‘{print $7}’ | sort | uniq -c | sort -r

文中的Baiduspider 改为Googlebot均可以查看谷歌的数据，鉴于大陆的特殊性，你们应该对百度的log更为关注。
附：(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log | grep Mediapartners
Mediapartners-Google是什么呢?Google adsense广告之因此能与内容相关，由于每一个包含着adsense的广告被访问后，很快就有个Mediapartners-Google蜘蛛来到这个页面，因此几分钟后再刷新就能显示相关性广告了，真厉害啊！