利用robots.txt对wordpress博客进行优化

本站的配置很简单，由于刚建成哈。

User-agent: *

Disallow: /wp-

1、先来普及下robots.txt的概念：

　　robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它一般告诉网络搜索引擎的漫游器(又称网络蜘蛛)，此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是能够被(漫游器)获取的。这个文件用于指定spider在您网站上的抓取范围，必定程度上保护站点的安全和隐私。同时也是网站优化利器，例如屏蔽捉取站点的重复内容页面。

　　robots.txt目前并非一种标准，只是一种协议!因此如今不少搜索引擎对robots.txt里的指令参数都有不一样的看待。

　　2、使用robots.txt须要注意的几点地方：a

　　一、指令区分大小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果;

　　二、每一行表明一个指令，空白和隔行会被忽略;

　　三、“#”号后的字符参数会被忽略;

　　四、有独立User-agent的规则，会排除在通配“*”User agent的规则以外;

　　五、能够写入sitemap文件的连接，方便搜索引擎蜘蛛爬行整站内容。

　　六、尽可能少用Allow指令，由于不一样的搜索引擎对不一样位置的Allow指令会有不一样看待。

　　3、Wordpress的robots.txt优化设置

　　一、User-agent： *

　　通常博客的robots.txt指令设置都是面对全部spider程序，用通配符“*”便可。若是有独立User-agent的指令规则，尽可能放在通配“*”User agent规则的上方。

　　二、

   Disallow： /wp-admin/

　　Disallow： /wp-content/

　　Disallow： /wp-includes/

　　屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。

　　三、Disallow： /*/trackback

　　每一个默认的文章页面代码里，都有一段trackback的连接，若是不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。

　　四、Disallow： /feed

　　Disallow： /*/feed

　　Disallow： /comments/feed

　　头部代码里的feed连接主要是提示浏览器用户能够订阅本站，而通常的站点都有RSS输出和网站地图，故屏蔽搜索引擎捉取这些连接，节约蜘蛛资源。

　　五、Disallow： /?s=*

　　Disallow： /*/?s=*

　　这个就不用解释了，屏蔽捉取站内搜索结果。站内没出现这些连接不表明站外没有，若是收录了会形成和TAG等页面的内容相近。

　　六、Disallow： /?r=*

　　屏蔽留言连接插件留下的变形留言连接。(没安装相关插件固然不用这条指令)

　　七、Disallow： /*.jpg$

　　Disallow： /*.jpeg$

　　Disallow： /*.gif$

　　Disallow： /*.png$

　　Disallow： /*.bmp$

　　屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不一样的网站管理员能够按照喜爱和须要设置这几条指令。

　　八、Disallow： /?p=*

　　屏蔽捉取短连接。默认头部里的短连接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短连接会301重定向到固定连接，但这样依然形成蜘蛛资源的浪费。

　　九、Disallow： /*/comment-page-*

　　Disallow： /*?replytocom*

　　屏蔽捉取留言信息连接。通常不会收录到这样的连接，但为了节约蜘蛛资源，也屏蔽之。

　　十、Disallow： /a/date/

　　Disallow： /a/author/

　　Disallow： /a/category/

　　Disallow： /?p=*&preview=true

　　Disallow： /?page_id=*&preview=true

　　Disallow： /wp-login.php

　　屏蔽其余的一些形形色色的连接，避免形成重复内容和隐私问题。

　　十、Sitemap:http://***.com/sitemap.txt

　　网站地图地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，方便搜索引擎捉取全站内容，固然你能够设置多个地图地址。要注意的就是Sitemap的S要用大写，地图地址也要用绝对地址。

　　上面的这些Disallow指令都不是强制要求的，能够按需写入。也建议站点开通谷歌管理员工具，检查站点的robots.txt是否规范。

　　好了，以上就是对利用robots.txt对wordpress博客进行优化的详细内容，但愿能够帮助和我同样刚接触wordpress博客的同窗。

——

本文摘录:http://www.williamlong.info/archives/3384.html