robots.txt写法大全和robots.txt语法的做用

一、若是容许全部搜索引擎访问网站的全部部分，能够创建一个空白的文本文档，命名为robots.txt放在网站的根目录下便可，robots.txt写法以下：php User-agent: * Disallow: 或者 User-agent: * Allow: / 二、若是咱们禁止全部搜索引擎访问网站的全部部分，robots.txt写法以下：css User-agent: * Disallow: / 三

>>阅读原文<<