wordpress robot设置

User-agent: *表示允许全体搜索引擎蜘蛛访问 User-agent:Baiduspider 表示允许百度搜索引擎蜘蛛访问 Disallow: /abc 表示禁止访问收录abc.文件下的所有内容 Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，不限制abc.php、abc.html文件。 插件、模板、js文件这些是网站的后台程序代码，也可以屏蔽 Disallow:

>>阅读原文<<